站点地图和 RSS 对 AI 抓取还有多少用：六个站三个月的日志

站点地图对 AI 抓取有用，但没有你想的那么有用。2026 年 2 月到 4 月，我们统计了六个客户站的日志：AI 爬虫总请求 11.4 万次，其中请求 sitemap 的占 11%，请求 RSS 的占 2%。

三个月的数

sitemap 那 11% 里，大部分集中在月初和站点有新内容发布的那几天。说明它被当作"发现新内容"的工具，不是"读内容"的通道。

sitemap 还有用的地方

新页发现。刚发的页面，内链还没铺开，sitemap 是最快的通知方式。我们观察到一个规律：新页发布后 24 小时内被 AI 爬虫抓到的，八成是通过 sitemap 或内链。

大站分批。页面超过 5000 个的站，sitemap 分索引文件，能让爬虫按板块抓，不至于只扫首页附近。

URL 变更通知。改版之后旧 URL 301 到新 URL，sitemap 同步更新，能加快替换速度。

这三件事都不是"提升引用"，是"缩短发现时间"。别把它当优化手段，把它当基础设施。

RSS 的实际情况

RSS 在 AI 抓取里的存在感很低。六个站三个月只有 2200 次 RSS 请求，其中大部分来自聚合器和阅读工具，不是 AI 爬虫。

但它还有两个用处。一是给内容团队做分发，二是被一些行业聚合站抓取后二次传播。后者的价值在品牌提及，不在 AI 引用。

我的建议是保留 RSS，但别为它投入。生成 RSS 是建站的基本功能，有就行。

真正影响 AI 抓取的是什么

按影响大小排：

内链深度。 从首页点三次以内能到的页面，被抓概率最高。我们查过一个站，深度 5 层以上的 400 个页面，三个月里只有 12 个被 AI 爬虫碰过。

更新频率。 每周有更新的板块，抓取频次明显高。停更半年的板块，爬虫基本不来了。

页面可读性。 内容在 HTML 里还是靠 JS 渲染，直接决定它能不能读到。我们有个客户的核心文档是纯前端渲染，日志显示抓了，但内容没进去。

这三件都比 sitemap 重要。

一个反常识的做法

别把所有 URL 都塞进 sitemap。我们见过一个站 sitemap 里有 5 万个 URL，其中 4.6 万个是参数页和筛选页。

结果是重要页面的信号被稀释，爬虫的抓取预算花在垃圾页上。

现在我们的做法是分文件：核心内容一个，文档一个，博客一个，参数页不放。每个文件不超过 2000 个 URL。

站点地图是给爬虫省时间的，不是给自己省事的。

一份能用的 sitemap 该怎么写

三个基本要求：只有可索引的 200 状态页、lastmod 是真的、重要页面排在前面。

lastmod 这块必须说。很多站的 lastmod 是程序生成的，每次构建都更新，等于没有。爬虫看几次发现日期和内容对不上，就不信这个字段了。

我们的做法是让 lastmod 跟着正文改动走：内容改了就更新，模板换了不动。这需要在发布流程里加一步，不复杂，但大多数站没做。

顺带说一句，sitemap 里的优先级字段都被忽略，不用纠结填 0.8 还是 1.0。

什么时候该停下来别折腾

站里页面不到 500 个的时候，sitemap 的作用基本可以被内链替代。真正该花时间的是把重要页面点三次能到、每周更新几页。

我们见过太多人在这上面花两周，然后把"没效果"归因到 AI 不认 sitemap。方向一开始就偏了。