爬虫从发现到入库走四步，卡在哪一步决定怎么修

结论放在前面：一个页面没被收录，原因只可能落在四步里——发现 URL、抓取成功、渲染出内容、通过索引判定。我们排查从来不从"内容质量"开始，而是倒着走：先看索引报告给了什么理由，再看抓取和渲染，最后才怀疑内容。

四步各自会断在哪

第一步，发现。 蜘蛛得先知道 URL 存在，靠内链、sitemap、外链三条路。孤岛页、只出现在筛选结果里的产品页、藏在第 5 页之后的分页，常常连"被发现"都没做到。

第二步，抓取。 知道地址不等于能抓到。robots.txt 规则、服务器 5xx、CDN 拦截、抓取频次过低，都会让请求进不来。判断方法很朴素：看日志里这个路径有没有被请求过。

第三步，渲染。 请求成功了，返回的 HTML 里却没有正文——React、Vue 做的产品页和文档站最常见。初始 HTML 只有一个空挂载点，正文全靠 JS 填。

第四步，索引。 抓到了、渲染了，还可能因为 canonical 指向别处、页面被标 noindex、内容和别的页重复、整体质量不足而不入库。

我们的一次排查

2025 年 6 月，一个做 API 网关的公司找过来，文档站 1200 个页面，GSC 显示只收录了 298 个。他们自己提交过三次 sitemap，也请人改过两轮内容，四个月没起色。

我们先看索引报告，大量文档页的状态是"已发现，尚未编入索引"，说明发现没问题、抓取跟不上。再拉日志：Googlebot 每天只请求 60 次左右，其中 40 多次花在一个带参数的搜索页上。查 robots.txt，发现一行 Disallow: /docs/v2/ 是 2024 年做旧版迁移时留下的，一直没删，而 v2 恰好是现在的主力文档。

顺手又发现 sitemap 里有 3200 条是带 utm 参数的 302 跳转链接，等于往搜索引擎嘴里塞了一堆无效地址。

只改了两处：删掉那行 Disallow，sitemap 只保留返回 200 的规范 URL。第 11 天收录数从 298 涨到 913，一个月后 1200 页里收录了 1100 出头。

排查顺序为什么不能反

内容质量是四步里成本和周期都最高的一环，重写一轮至少两个月才能看出效果；robots.txt 和 sitemap 的问题，半小时就能验证。先把便宜的可能性排掉，是我们给自己定的规矩。有个团队反过来做，先重写了 40 篇文档，最后发现是 CDN 把 Googlebot 的 IP 段拦了，白干三个月。

顺序照抄就行：GSC 索引报告看理由，日志看有没有请求，curl 看返回的 HTML，最后才看页面本身写得怎么样。

另外一句实话：日志里连一次请求都没有的页面，先别想收录，先想它凭什么被找到。