日志里自称 Googlebot 和 Baiduspider 的请求，很多是假的：采集器、扫描器、竞品爬虫都会伪装。我们用 DNS 反查、IP 段核对和行为特征三步验证，一个站一天能筛出 3 万多条假蜘蛛请求。
为什么会有假蜘蛛
伪装成搜索引擎爬虫有三个好处：绕过 robots 限制、绕过部分站点的反爬规则、以及不被当成恶意流量。
内容被大量采集、页面被频繁扫描、服务器被压测，很多都是假蜘蛛干的。
第一步：DNS 反查
Googlebot 的验证方式是：拿请求来源 IP 做反向 DNS 查询，得到的主机名必须是以 googlebot.com 或 google.com 结尾，再正向解析确认 IP 一致。
百度蜘蛛也可以用类似方式验证，反向解析后确认域名属于百度。
这一步能筛掉 80% 以上的假蜘蛛。我们写了个脚本，每天跑一次日志，把"自称蜘蛛但反查失败"的 IP 列出来。
第二步：核对官方 IP 段
Google 会公布 Googlebot 的 IP 段，百度也有官方的蜘蛛 IP 段文档。
把日志里的 IP 和官方段比对，不在段内的一律当假蜘蛛。
这一步比反查更简单，但官方段会更新，要定期同步。我们一般每月更新一次。
第三步：看行为特征
真蜘蛛和假蜘蛛的行为差别很大：
真蜘蛛会遵守 robots，不会请求后台路径；假蜘蛛经常扫 /admin、/wp-login.php。
真蜘蛛的抓取有节奏，假蜘蛛经常短时间高频请求。
真蜘蛛的 UA 和 IP 一致，假蜘蛛经常 UA 乱换。
三个特征一起看，基本能确认。
我们抓过一次
2026 年 4 月，一个客户的日志里每天有 4 万多条"百度蜘蛛"请求。反查发现，其中 3.2 万条来自 6 个 IP，这些 IP 不在百度段内，却在高频请求产品页。
进一步查，这些请求带的 referer 指向一个竞品域名。基本可以确认是竞品在采集。
我们把 IP 段封掉，同时在 robots 里做了频率限制，采集停了。
怎么挡
三件事：WAF 里加规则，只放行验证通过的搜索引擎 IP；服务器层面对未验证的 UA 做限速；把验证脚本做成每日任务，异常时告警。
注意：别把真蜘蛛也挡了。我们见过客户为了防采集，把整个 UA 段屏蔽，结果百度蜘蛛也被挡了，收录掉了两个月。
判断
假蜘蛛是技术 SEO 的"暗面"，它不影响收录，但影响数据判断和安全。
如果你在分析爬虫日志，先验证真假，再谈抓取预算。否则你优化的可能只是一堆假流量。这件事我们做了三个月，采集量降了 90%，服务器压力也小了一半。
元析智能
为软件公司做 SEO 和 GEO 优化