软件公司别一刀切屏蔽 AI 爬虫。这是我 12 月在一个客户身上验证过的判断：他们 12 月 1 日在 CDN 上开了"阻止 AI 爬虫"开关，三周后品牌词查询里，四个 AI 引擎有三个不再提他们。销售那边开始接到"你们家是不是没做了"的电话。
谁在劝你屏蔽
劝得最凶的是内容站和媒体。它们的生意是卖阅读和订阅，AI 摘要直接把内容吃掉，用户不用点进来。屏蔽对它们来说是止损。
软件公司的账不一样。你的文档被 AI 读走，用户不会因此不买软件；相反，他在 AI 里搜"这个报错怎么解"，看到你的文档，才知道有你这么个工具。文档不是你的商品，是你的漏斗。
把内容站的策略照搬到软件站，是这半年最常见的误判。
三类页面，三种策略
文档页、API 参考、报错说明：全放开。 这是你最该被读的部分。我们把文档放开之后，一个客户在 Perplexity 里的来源占比从 18% 到 39%。
定价页、对比页、功能页：放开，但要做成可引用块。 不放开等于把"选型阶段"让给竞品。
白皮书、研究报告、需要留资的 PDF：可以限制。 这些本来就是转化资产，让 AI 全文读走没意义，给个摘要页引到表单更合理。
屏蔽之后丢的是什么
丢的不是流量，是"被提及"。AI 回答用户问题时，如果没读过你，它就只能从第三方那里拿信息。第三方写的你，通常是过时的、片面的，或者干脆是竞品写的对比文。
那个客户三周里的具体变化：品牌词回答里提到他们产品的比例从 71% 降到 28%；"XX 替代方案"这类查询，回答里出现了两个竞品，没有他们。
流量数字上几乎看不出来，因为本来 AI 带来的直接点击就少。这种损失要几个月后才会在成单里显形。
更细的做法
如果确实要限制，别用 CDN 的一键开关，用 robots.txt 分路径写：
User-agent: GPTBot
Allow: /docs/
Allow: /pricing/
Disallow: /whitepapers/
再加一条：给 ChatGPT-User 单独放行。这个 agent 是用户主动触发的抓取，挡了它等于挡了正在用 AI 查你的潜在客户。
一个更隐蔽的损失
屏蔽还会让竞品的错误描述留在那里。AI 回答"XX 和 YY 有什么区别"时，如果读不到你的页面，它只能引用第三方。我们在 12 月那个客户身上看到一条：某技术博客 2024 年写的对比文，说他们"只支持 MySQL"，实际 2024 年底就支持了 PostgreSQL。
这篇旧文一直挂着。屏蔽之后，它从"众多来源之一"变成了"唯一来源"。错误描述被放大，而且没法通过优化官网来纠正。
这种账很难算，但它真实发生。
我们的立场
除非你的核心资产是可复制的文本内容（报告、数据、课程），否则别屏蔽。软件公司的护城河在执行和集成，不在那几页文字。
真担心被白嫖，就把最有价值的部分做成交互——在线试用、沙盒、计算器。文本被读走不可怕，读完之后用不上才可惜。
元析智能
为软件公司做 SEO 和 GEO 优化