跳到主要内容

AI 爬虫抓不到的四类内容,第一类最常见

我们抽查十二个站,被 AI 引用的内容九成在 HTML 正文里。这篇写登录墙、交互内容、PDF 和图片文字四类看不见的内容,以及怎么改回来。

技术SEO 元析智能

2026 年 9 月我们抽查了十二个站被 AI 引用的内容,九成来自 HTML 正文,剩下的几乎都是结构化数据或表格。PDF、图片文字、登录后的内容,一次都没被引用过。

第一类:登录或表单后面的内容

留资才能下载的白皮书、试用后才能看的文档、后台里的帮助中心,这些 AI 爬虫都看不到。

你的客户能看到,AI 看不到,于是 AI 只能引用别人对你的描述,那些描述往往不准确。

这个问题在 B2B 里特别普遍,因为大部分深度内容都被锁在表单后面。

第二类:需要交互才出现的内容

tab 切换、折叠面板、点击展开的更多内容、无限滚动加载的列表。

爬虫通常不会点击。它拿到的是初始 HTML,里面只有第一屏的内容。

一个常见的情况是产品对比表放在 tab 里,用户能看,AI 只看到第一个 tab。

第三类:非 HTML 载体

PDF 白皮书、视频、图片里的文字、canvas 渲染的图表。

部分 AI 爬虫能解析 PDF,但解析质量不稳定,索引优先级也低。图片和视频里的信息,基本抓不到。

我们的建议是:核心内容永远要有一份 HTML 版本。

第四类:纯客户端渲染

内容靠 JS 在浏览器里生成,原始 HTML 里只有一个空容器。

搜索引擎有渲染预算,AI 爬虫不一定有。完全依赖客户端渲染的站,被引用的概率很低。

怎么查

先用 curl 抓页面 HTML,看正文在不在。搜三个词:页面标题、一个关键句、一个数字。

再用浏览器打开对比。如果浏览器里有、HTML 里没有,就是渲染或交互问题。

最后看日志,确认 AI 爬虫抓了这个页面没有。抓了但没引用,说明内容拿到了但不够好;没抓,说明路径有问题。

怎么改

关键内容移出登录墙。白皮书正文公开,原始数据放表单后面。

展开内容默认展开,或者做成独立页面。tab 里的内容至少第一个默认可见。

PDF 转 HTML。报告、手册、规格书,都做一个网页版。

客户端渲染的内容做预渲染或者服务端渲染,至少让首屏有 HTML。

一个额外的检查

把页面 URL 贴进几个 AI 引擎直接问,让它说出页面里的具体细节。

说不出,说明内容没被有效抓取或理解;说得出,说明可见性没问题,问题出在结构和表达上。

这个检查不精确,但很快,五分钟能试三四个页面。

一个态度

AI 看不见的内容,等于不存在。

这句话对 SEO 也成立,但 GEO 时代更严重,因为 AI 不会像搜索引擎那样耐心渲染和等待。

做 GEO 之前,先确认一件事:你最重要的内容,在原始 HTML 里能不能读到。读不到,后面所有技巧都没用。

标签:GEO抓取内容结构
元

元析智能

为软件公司做 SEO 和 GEO 优化

Start with a diagnosis

聊聊你的软件产品

不管你现在是 SaaS、开发者工具还是工程设计软件,只要你想让目标客户搜得到你,我们可以聊。第一次沟通不收费,会给你一份当前的 SEO 诊断,你能看出问题在哪。