llms.txt 上线三个月实测：四个站零抓取，AI 爬虫压根不读它

llms.txt 现在写了不亏，但别指望它。2025 年 9 月我们给四个客户站在根目录加了 llms.txt，到 12 月 10 日拉日志统计：三个站 0 次请求，一个站 2 次，来自某个小团队做的 RAG 工具。同期 GPTBot 抓了 1.1 万次。

这东西本来想解决什么

llms.txt 是 2024 年 9 月由 Jeremy Howard 提的一个约定：在根目录放一个 Markdown 文件，告诉大模型这个站有哪些重要页面、每页讲什么、哪些内容可以拿来训练。

它解决的是真问题。大模型抓网页要洗 HTML、去导航、去广告，成本高还容易抓错。给一份干净的目录，理论上对双方都好。

问题是：这是社区约定，不是标准。没有任何一家大厂承诺会读。

我们的实测数据

四个站，三个是 B2B 软件官网，一个是开发者工具文档站。nginx 日志按天切，统计 user-agent 和 URL 路径。

三个月的结果：

那 2 次请求来自一个小众的 RAG 检索工具，user-agent 里带了个私人项目名。跟主流 AI 搜索没关系。

为什么主流爬虫不来

三个原因，按重要性排。

第一，抓取流程没变。ChatGPT 搜索和 Perplexity 都是实时抓页面、实时切块，没有"先读目录再去抓"这一步。目录对它们没有用武之地。

第二，多一个请求就多一次失败风险。目录里的 URL 失效了怎么办？谁保证它和实际页面一致？大厂不愿意为一份没人维护的文件增加不确定性。

第三，Google 方面公开表过态，搜索侧不打算采信 llms.txt。这话不能代表所有引擎，但足够说明头部玩家的态度。

那还写不写

写。40 分钟的事，成本够低。

我的用法不是"喂给 AI"，是当站点地图的另一种形态：把最重要的 20 到 50 个页面按主题分组，每行一句说明。这份清单本身对内容团队有用，新人接手第一个月就靠它了解站里有什么。

另外，如果哪天真有引擎开始读，你已经在里面了。这种低成本的可选项，不做是懒惰，全押是赌博。

一个反常识的细节

我们顺手做了个对照：把 llms.txt 里的页面清单和实际抓取日志比对，重合度只有 31%。也就是说，就算按我们自己的清单，AI 爬虫抓的也主要是清单外的东西——它们更看重内链结构和页面本身的可读性。

这说明"给 AI 一份目录"的思路，和引擎实际的工作方式有偏差。引擎不是按目录找页面，是按链接和新鲜度找页面，然后按块摘内容。

比它更值得做的三件事

一是把重要页面的 HTML 洗干净。导航、页脚、推荐位这些重复内容，占了页面文本的一半以上。AI 抓走之后，主题信号被稀释。

二是给关键页面加更新时间，并真的更新它。

三是把文档页做成可独立引用的块。这一条我们测过，效果是 llms.txt 的几十倍。

一句话：llms.txt 是顺手写的，不是主线。