robots.txt 最常写错的 7 处，每一处都有真实事故

robots.txt 是 SEO 里性价比最高的文件，也是最容易一错误终身的文件。我们每年在客户站上至少碰到三四次 robots 事故，下面 7 处按出现频次排，全是真实见过的。

一、上线忘删 Disallow: /

2025 年 4 月，一个 SaaS 客户的测试规则被带到了生产环境：User-agent: * 下面一行 Disallow: /。上线三天，百度收录从 2.1 万掉到 1.4 万，GSC 里"已被 robots.txt 屏蔽"的页面占到全站 92%。他们市场负责人是在周报里看到自然流量腰斩才发现的。

查法：直接 curl 生产环境的 /robots.txt，不要在后台配置面板里看，面板里显示的经常不是线上那一份。

二、屏蔽 /js/ 和 /css/

老教程留下的做法，说屏蔽这些能省抓取预算。现在搜索引擎要执行 JS 才能渲染页面，屏蔽资源的结果是渲染残缺，正文和内链一起丢。2025 年还有人在这么写，我上个月刚在一个客户站见到 Disallow: /static/。

查法：robots 里搜 Disallow，看到 /js、/assets、/static 这类路径就删掉。

三、用 robots 代替 noindex

想让页面不被索引，写 robots 是错的。被屏蔽的 URL 搜索引擎不会去读页面上的 noindex，如果别处有链接指向它，它照样可能被收录；页面上的内链也传不出去。要 noindex 就在 HTML 或响应头里写，别绕路。

四、忘了写 Sitemap 声明

robots.txt 里一行 Sitemap: https://example.com/sitemap.xml 是最省事的提交方式，对百度尤其明显。漏了不致命，但新页面的发现会慢几天到几周。

五、通配符和结尾符搞混

Disallow: /product/ 和 Disallow: /product 是两回事，后者会把 /products/ 一起挡掉。只想匹配结尾用 $，想匹配中间参数用 *。这类错误不报错，只安静地挡掉不该挡的页面。

六、抄了 Crawl-delay

很多模板自带 Crawl-delay: 10，本意是减轻服务器压力。Googlebot 不认这条指令，百度认，但对抓取频次没有好处。服务器扛不住应该优化响应时间或上 CDN，而不是让蜘蛛慢下来——抓取预算本来就不宽裕。

七、robots.txt 放错位置或被缓存

robots.txt 只能放在域名根目录，子目录里的无效。换 CDN 之后旧文件被缓存 24 小时以上很常见，改完必须刷缓存再验证。

我们检查 robots 的三个动作

curl 线上文件，用 GSC 的 robots.txt 测试工具验一个 URL，再翻日志确认没有大面积 403。三步十分钟，能挡掉大部分事故。

我们的立场很简单：robots.txt 只用来拦真正不需要抓的资源，索引控制交给 noindex，别让一个文件兼任两件事。