蜘蛛统计分析

蜘蛛统计分析模块可以记录和分析搜索引擎蜘蛛对网站的访问情况，包括访问时间、访问页面、蜘蛛类型等详细信息，帮助优化网站在搜索引擎中的表现。

访问位置

后台：/admin/spider-stats

核心功能

1. 全站蜘蛛监控

• 页面追踪 - 记录首页、文章、栏目、301蜘蛛强引
• 实时捕获 - 自动记录所有蜘蛛访问
• 访问统计 - 显示访问时间、IP、User-Agent 等

2. 六大搜索引擎识别

3. 17 种细分蜘蛛识别

• 百度 PC/移动蜘蛛
• 搜狗 PC/移动蜘蛛
• 360 PC/移动蜘蛛
• 神马 PC/移动蜘蛛
• Bing PC/移动蜘蛛
• 谷歌 PC/移动/图片/视频蜘蛛

4. 数据可视化

• 24小时趋势图 - 折线图显示全天爬取热度
• 蜘蛛分布饼图 - 饼图显示各蜘蛛类型占比
• 统计卡片 - 总爬取、今日、本周、蜘蛛种类数量

5. 多维度筛选

• 按日期筛选 - 查看指定日期的爬取记录
• 按蜘蛛类型 - 查看特定蜘蛛的访问
• 按 URL 关键词 - 搜索特定页面的访问

详细操作指南

查看统计数据

1. 登录后台管理系统
2. 点击左侧菜单 "📊 数据分析 > 🕷️ 蜘蛛统计"
3. 页面默认显示：
   • 四个统计卡片（总爬取、今日、本周、蜘蛛种类）
   • 24小时趋势折线图
   • 蜘蛛分布饼图
   • 详细爬取记录表

使用筛选功能

按日期筛选

1. 在页面上方找到"日期"筛选框
2. 点击日期输入框
3. 选择要查看的日期
4. 系统自动加载该日期的数据

按蜘蛛类型筛选

1. 找到"蜘蛛类型"下拉框
2. 选择要查看的蜘蛛（全部/百度 PC/谷歌移动等）
3. 列表自动过滤

按 URL 关键词筛选

1. 找到"URL关键词"输入框
2. 输入要搜索的 URL 片段
3. 按回车或点击搜索按钮

日志存储说明

日志目录结构

storage/spider_logs/
├── 2026-01-03/
│   ├── 2026-01-03-00/  (00:00-00:59)
│   │   ├── baidu_pc.json
│   │   ├── baidu_mobile.json
│   │   └── ...
│   └── ...
└── 2026-01-04/
    └── ...

JSON 日志格式

[
  {
    "timestamp": "2026-01-03 15:30:45",
    "spider": "baidu_pc",
    "visit_url": "/blogs/1_5.html",
    "redirect_target": "",
    "is_redirect": false,
    "ip": "123.45.67.89",
    "user_agent": "Mozilla/5.0 (compatible; Baiduspider/2.0)"
  }
]

SEO 优化建议

根据蜘蛛数据优化

• 增加蜘蛛爬取频率 - 发布新内容，吸引蜘蛛重访
• 改进页面质量 - 优化被爬取最多的页面
• 提升百度爬取频率 - 使用百度 URL 推送工具
• 监控移动蜘蛛 - 确保移动蜘蛛活跃度接近 PC

常见问题

Q: 为什么我的网站没有蜘蛛访问记录？

A: 可能的原因：

• 网站刚上线，搜索引擎还未发现
• 检查 robots.txt 是否禁止爬虫
• 检查是否被屏蔽或处于沙盒期
• 手动提交网站到搜索引擎

Q: 如何增加蜘蛛访问频率？

A: 可以采取以下措施：

• 定期发布高质量内容
• 修复网站错误和死链
• 提交 Sitemap 到搜索引擎
• 使用搜索引擎链接推送工具
• 增加网站的外链数量