GSC 抓取统计显示 12 万次,服务器日志里只有 8 万次 Googlebot 请求,差的四万很容易被当成数据出错。其实对不上是常态,四个原因几乎每次都会遇到。
原因一:GSC 是抽样
抓取统计报告基于抽样数据,不是全量。站点越大,抽样比例越低,页面上看到的数字是估算值。它能用来看趋势,不能用来对账。
另外这个报告只保留 90 天,时间窗口一长就对不上。想拿半年数据,得自己每周导一次。
原因二:CDN 和缓存
如果站前有 CDN,Googlebot 的请求很多打在边缘节点,回源的只有未命中的部分。GSC 统计的是边缘收到的请求,你的日志记的是回源请求,中间差的量取决于缓存命中率。
缓存命中率高的站,这个差距能到 40%。查的办法很简单,看 CDN 后台的命中率,再对比日志和 GSC 的比例。
原因三:日志里的 Googlebot 有很多假货
UA 里写 Googlebot 的请求,一大半不是真的。有人用脚本扫站、有人抓数据,都爱伪装成蜘蛛。
验证方式只有一种:反向 DNS 查询,确认来源 IP 属于 Google 的网段。我们写脚本把日志里的 IP 逐个反查,通常能筛掉三到五成的假 Googlebot。不加这一步,你会以为蜘蛛抓得很勤,其实抓你没用的东西。
原因四:统计口径不同
GSC 按请求算,一次页面加二十个资源就是二十一次。日志里如果你按页面请求统计,只算 document 类型,两个数天然差几倍。先统一口径,再比数字。
我们统一成只算 HTML 页面请求,CSS、JS、图片全部剔除。这一步做完,双方的量级通常能接近到 20% 以内。
怎么用这两个数
日志用来看路径分布:哪些目录被抓得多,哪些页面被反复抓,状态码分布是什么样。GSC 用来看趋势:整体抓取量是在涨还是跌,和收录变化对不对得上。
两个数不需要精确相等。差一倍以内、趋势一致,就是健康的。差得离谱,先查 CDN 和假蜘蛛,大部分问题出在这两处。
查错的顺序
2026 年 2 月我按这个顺序查过一次,四十分钟定位到原因:先做 IP 反查,去掉假蜘蛛;再看 CDN 命中率;然后统一口径只算 HTML;最后才对比趋势。
顺序很重要。先查口径,往往发现是两个数本来就不该相等,后面的排查都省了。反过来先怀疑工具坏了,容易白折腾。
别花一周去把两个数调平,调不平。把精力放在日志里的路径分布上,那里才有能改的东西。
元析智能
为软件公司做 SEO 和 GEO 优化