跳到主要内容

GSC 抓取统计和服务器日志对不上,原因有四个

GSC 显示 12 万次抓取,日志只有 8 万,差的四万去哪了。这篇写抽样、CDN 缓存、假蜘蛛和统计口径四个原因,以及怎么对齐两个数。

技术SEO 元析智能

GSC 抓取统计显示 12 万次,服务器日志里只有 8 万次 Googlebot 请求,差的四万很容易被当成数据出错。其实对不上是常态,四个原因几乎每次都会遇到。

原因一:GSC 是抽样

抓取统计报告基于抽样数据,不是全量。站点越大,抽样比例越低,页面上看到的数字是估算值。它能用来看趋势,不能用来对账。

另外这个报告只保留 90 天,时间窗口一长就对不上。想拿半年数据,得自己每周导一次。

原因二:CDN 和缓存

如果站前有 CDN,Googlebot 的请求很多打在边缘节点,回源的只有未命中的部分。GSC 统计的是边缘收到的请求,你的日志记的是回源请求,中间差的量取决于缓存命中率。

缓存命中率高的站,这个差距能到 40%。查的办法很简单,看 CDN 后台的命中率,再对比日志和 GSC 的比例。

原因三:日志里的 Googlebot 有很多假货

UA 里写 Googlebot 的请求,一大半不是真的。有人用脚本扫站、有人抓数据,都爱伪装成蜘蛛。

验证方式只有一种:反向 DNS 查询,确认来源 IP 属于 Google 的网段。我们写脚本把日志里的 IP 逐个反查,通常能筛掉三到五成的假 Googlebot。不加这一步,你会以为蜘蛛抓得很勤,其实抓你没用的东西。

原因四:统计口径不同

GSC 按请求算,一次页面加二十个资源就是二十一次。日志里如果你按页面请求统计,只算 document 类型,两个数天然差几倍。先统一口径,再比数字。

我们统一成只算 HTML 页面请求,CSS、JS、图片全部剔除。这一步做完,双方的量级通常能接近到 20% 以内。

怎么用这两个数

日志用来看路径分布:哪些目录被抓得多,哪些页面被反复抓,状态码分布是什么样。GSC 用来看趋势:整体抓取量是在涨还是跌,和收录变化对不对得上。

两个数不需要精确相等。差一倍以内、趋势一致,就是健康的。差得离谱,先查 CDN 和假蜘蛛,大部分问题出在这两处。

查错的顺序

2026 年 2 月我按这个顺序查过一次,四十分钟定位到原因:先做 IP 反查,去掉假蜘蛛;再看 CDN 命中率;然后统一口径只算 HTML;最后才对比趋势。

顺序很重要。先查口径,往往发现是两个数本来就不该相等,后面的排查都省了。反过来先怀疑工具坏了,容易白折腾。

别花一周去把两个数调平,调不平。把精力放在日志里的路径分布上,那里才有能改的东西。

标签:GSC日志分析抓取统计
元

元析智能

为软件公司做 SEO 和 GEO 优化

Start with a diagnosis

聊聊你的软件产品

不管你现在是 SaaS、开发者工具还是工程设计软件,只要你想让目标客户搜得到你,我们可以聊。第一次沟通不收费,会给你一份当前的 SEO 诊断,你能看出问题在哪。