[{"data":1,"prerenderedAt":346},["ShallowReactive",2],{"blog-llms-txt-three-month-test":3,"blog-prev-llms-txt-three-month-test":196,"blog-next-llms-txt-three-month-test":279},{"id":4,"title":5,"author":6,"body":7,"canonical":180,"category":181,"cover":180,"date":182,"description":183,"draft":184,"extension":185,"keywords":180,"meta":186,"navigation":187,"noindex":184,"ogImage":180,"path":188,"seo":189,"seoDescription":180,"seoTitle":180,"stem":190,"tags":191,"updated":180,"__hash__":195},"blog\u002Fblog\u002Fllms-txt-three-month-test.md","llms.txt 上线三个月实测：四个站零抓取，AI 爬虫压根不读它","元析智能",{"type":8,"value":9,"toc":170},"minimark",[10,14,18,21,24,27,30,33,36,116,119,122,125,128,131,134,137,140,143,146,149,152,155,158,161,164,167],[11,12,13],"p",{},"llms.txt 现在写了不亏，但别指望它。2025 年 9 月我们给四个客户站在根目录加了 llms.txt，到 12 月 10 日拉日志统计：三个站 0 次请求，一个站 2 次，来自某个小团队做的 RAG 工具。同期 GPTBot 抓了 1.1 万次。",[15,16,17],"h2",{"id":17},"这东西本来想解决什么",[11,19,20],{},"llms.txt 是 2024 年 9 月由 Jeremy Howard 提的一个约定：在根目录放一个 Markdown 文件，告诉大模型这个站有哪些重要页面、每页讲什么、哪些内容可以拿来训练。",[11,22,23],{},"它解决的是真问题。大模型抓网页要洗 HTML、去导航、去广告，成本高还容易抓错。给一份干净的目录，理论上对双方都好。",[11,25,26],{},"问题是：这是社区约定，不是标准。没有任何一家大厂承诺会读。",[15,28,29],{"id":29},"我们的实测数据",[11,31,32],{},"四个站，三个是 B2B 软件官网，一个是开发者工具文档站。nginx 日志按天切，统计 user-agent 和 URL 路径。",[11,34,35],{},"三个月的结果：",[37,38,39,58],"table",{},[40,41,42],"thead",{},[43,44,45,49,52,55],"tr",{},[46,47,48],"th",{},"站点",[46,50,51],{},"llms.txt 请求",[46,53,54],{},"GPTBot 请求",[46,56,57],{},"其他 AI 爬虫",[59,60,61,76,90,103],"tbody",{},[43,62,63,67,70,73],{},[64,65,66],"td",{},"A（文档站）",[64,68,69],{},"2",[64,71,72],{},"4100",[64,74,75],{},"6300",[43,77,78,81,84,87],{},[64,79,80],{},"B",[64,82,83],{},"0",[64,85,86],{},"3100",[64,88,89],{},"4900",[43,91,92,95,97,100],{},[64,93,94],{},"C",[64,96,83],{},[64,98,99],{},"2400",[64,101,102],{},"3800",[43,104,105,108,110,113],{},[64,106,107],{},"D",[64,109,83],{},[64,111,112],{},"1500",[64,114,115],{},"2100",[11,117,118],{},"那 2 次请求来自一个小众的 RAG 检索工具，user-agent 里带了个私人项目名。跟主流 AI 搜索没关系。",[15,120,121],{"id":121},"为什么主流爬虫不来",[11,123,124],{},"三个原因，按重要性排。",[11,126,127],{},"第一，抓取流程没变。ChatGPT 搜索和 Perplexity 都是实时抓页面、实时切块，没有\"先读目录再去抓\"这一步。目录对它们没有用武之地。",[11,129,130],{},"第二，多一个请求就多一次失败风险。目录里的 URL 失效了怎么办？谁保证它和实际页面一致？大厂不愿意为一份没人维护的文件增加不确定性。",[11,132,133],{},"第三，Google 方面公开表过态，搜索侧不打算采信 llms.txt。这话不能代表所有引擎，但足够说明头部玩家的态度。",[15,135,136],{"id":136},"那还写不写",[11,138,139],{},"写。40 分钟的事，成本够低。",[11,141,142],{},"我的用法不是\"喂给 AI\"，是当站点地图的另一种形态：把最重要的 20 到 50 个页面按主题分组，每行一句说明。这份清单本身对内容团队有用，新人接手第一个月就靠它了解站里有什么。",[11,144,145],{},"另外，如果哪天真有引擎开始读，你已经在里面了。这种低成本的可选项，不做是懒惰，全押是赌博。",[15,147,148],{"id":148},"一个反常识的细节",[11,150,151],{},"我们顺手做了个对照：把 llms.txt 里的页面清单和实际抓取日志比对，重合度只有 31%。也就是说，就算按我们自己的清单，AI 爬虫抓的也主要是清单外的东西——它们更看重内链结构和页面本身的可读性。",[11,153,154],{},"这说明\"给 AI 一份目录\"的思路，和引擎实际的工作方式有偏差。引擎不是按目录找页面，是按链接和新鲜度找页面，然后按块摘内容。",[15,156,157],{"id":157},"比它更值得做的三件事",[11,159,160],{},"一是把重要页面的 HTML 洗干净。导航、页脚、推荐位这些重复内容，占了页面文本的一半以上。AI 抓走之后，主题信号被稀释。",[11,162,163],{},"二是给关键页面加更新时间，并真的更新它。",[11,165,166],{},"三是把文档页做成可独立引用的块。这一条我们测过，效果是 llms.txt 的几十倍。",[11,168,169],{},"一句话：llms.txt 是顺手写的，不是主线。",{"title":171,"searchDepth":172,"depth":172,"links":173},"",2,[174,175,176,177,178,179],{"id":17,"depth":172,"text":17},{"id":29,"depth":172,"text":29},{"id":121,"depth":172,"text":121},{"id":136,"depth":172,"text":136},{"id":148,"depth":172,"text":148},{"id":157,"depth":172,"text":157},null,"技术SEO","2025-11-11","2025 年 9 月给四个客户站加了 llms.txt，三个月 nginx 日志里 0 次请求。这个文件现在写了也没坏处，但把它当 GEO 主线的人会失望。",false,"md",{},true,"\u002Fblog\u002Fllms-txt-three-month-test",{"title":5,"description":183},"blog\u002Fllms-txt-three-month-test",[192,193,194,181],"llms.txt","AI爬虫","GEO","fY7VWTLVy8RRkVWEU1S1F1WDnrBgHylQ1gfh0QaVI40",{"id":197,"title":198,"author":6,"body":199,"canonical":180,"category":267,"cover":180,"date":268,"description":269,"draft":184,"extension":185,"keywords":180,"meta":270,"navigation":187,"noindex":184,"ogImage":180,"path":271,"seo":272,"seoDescription":180,"seoTitle":180,"stem":273,"tags":274,"updated":180,"__hash__":278},"blog\u002Fblog\u002Finformation-gain-paragraph.md","信息增益不是玄学，它落在一段具体的话里",{"type":8,"value":200,"toc":259},[201,204,207,210,213,216,219,222,225,228,231,234,237,240,243,246,249,253,256],[11,202,203],{},"信息增益不是把文章写得更长，也不是多塞几个小节。它落在一段具体的话里：有一句话，同行写不出来，只有你能写。我判断一篇稿子能不能发，就看这一句在不在。",[15,205,206],{"id":206},"什么叫只有你能写的一句话",[11,208,209],{},"举个我们自己的例子。“我们在 8 核 16G 的机器上压过这个接口网关，QPS 到 1200 时，P99 延迟从 38 毫秒跳到 240 毫秒。”这句话同行写不出来，因为他没测过，也没必要测。",[11,211,212],{},"再比如“客户花了 11 万买这套系统，第三年续费时砍掉了 40% 的模块”。这种数字只有做过交付的人说得出。",[15,214,215],{"id":215},"四种能造出增益的原料",[11,217,218],{},"第一种是实测数据，自己跑出来的性能、耗时、排名、流量。第二种是客户现场细节，他们怎么用、卡在哪、内部谁反对。第三种是成本，报价区间、实施周期、人力投入。第四种是失败记录，什么方案没成，为什么。",[11,220,221],{},"这四样都不需要什么资源，只需要你在一线待过。写不出来往往是因为离业务太远，不是因为文笔。",[15,223,224],{"id":224},"我们毙过的一篇稿",[11,226,227],{},"2025 年 4 月，一篇 3200 字的“XX 选型指南”，结构清楚、小标题工整、配了图。审下来我毙了，因为里面每一句话都能在另外三篇文章里找到，没有一句是我们独有的。",[11,229,230],{},"那篇稿子改了两轮还是不行，最后换题重写。换成“我们给 6 家客户做选型时，报价差在哪四块”，两天就写完了，阅读量和咨询量都是原来那篇的三倍。",[15,232,233],{"id":233},"写作时怎么保住这句话",[11,235,236],{},"初稿第一件事就是把这句独有信息写出来，放在开头第二段，不要埋到文末。埋到文末的独家内容，读者看不到，AI 摘录时也不一定能摘到。",[11,238,239],{},"然后围绕它搭结构：这句话讲的是哪个结论，前面补背景，后面补怎么得到的、什么条件下成立。",[15,241,242],{"id":242},"一篇文章的标准",[11,244,245],{},"我们现在的标准是至少两处独有信息：一处是数据，一处是判断。只有数据没有判断，是调研报告；只有判断没有数据，是个人意见。",[11,247,248],{},"两处都凑不齐，说明这个题我们不该写。写不出来就换题，换题比硬写便宜得多。",[15,250,252],{"id":251},"这也解释了-e-e-a-t","这也解释了 E-E-A-T",[11,254,255],{},"E-E-A-T 里的经验和实操，最终都要落成这样的句子。作者署名、作者简介、更新时间只是外壳，外壳里没有这种话，搜索引擎和 AI 都看得出来。",[11,257,258],{},"我见过太多页面把作者简介写得很漂亮，正文全是转述。这种东西写一百篇，不如一篇带实测数据的。",{"title":171,"searchDepth":172,"depth":172,"links":260},[261,262,263,264,265,266],{"id":206,"depth":172,"text":206},{"id":215,"depth":172,"text":215},{"id":224,"depth":172,"text":224},{"id":233,"depth":172,"text":233},{"id":242,"depth":172,"text":242},{"id":251,"depth":172,"text":252},"SEO","2025-11-10","判断一篇稿子能不能发，我只看有没有一句话是同行写不出来的。实测数据、客户现场、成本和失败记录是四种能造出增益的原料，凑不齐就别写，换题比硬写便宜。",{},"\u002Fblog\u002Finformation-gain-paragraph",{"title":198,"description":269},"blog\u002Finformation-gain-paragraph",[275,276,277],"信息增益","内容质量","选题判断","DlQ7Lc2zyKf2vCQItaKdtferfzdxF44z7Rk1Sb8xsbs",{"id":280,"title":281,"author":6,"body":282,"canonical":180,"category":267,"cover":180,"date":335,"description":336,"draft":184,"extension":185,"keywords":180,"meta":337,"navigation":187,"noindex":184,"ogImage":180,"path":338,"seo":339,"seoDescription":180,"seoTitle":180,"stem":340,"tags":341,"updated":180,"__hash__":345},"blog\u002Fblog\u002Fsaas-directory-submission-list.md","软件公司目录站清单：十二个值得提交，三类碰不得",{"type":8,"value":283,"toc":329},[284,287,290,293,296,299,302,305,308,311,314,317,320,323,326],[11,285,286],{},"目录站到底还值不值得做？值得，但只做十二个左右，一次做完，别买套餐。这两年我们给 9 家软件公司提过目录站，累计 60 多个提交位，真正带来引荐流量的不到三分之一，但那三分之一撑起了品牌名的基本盘。",[11,288,289],{},"今年 3 月我们复盘过一个客户，他在 20 个目录上挂了两年。查数据发现，其中 5 个目录每月合计带来 60 多次点击，其余 15 个几乎没有引荐，但还是值得留着，因为搜公司全称时，前两页会同时出现好几个目录页，这对品牌可信度是有用的。",[15,291,292],{"id":292},"十二个还值得提交的目录",[11,294,295],{},"按类型分四组。产品发现类：Product Hunt、AlternativeTo、SaaSHub、Slant。评测与对比类：G2、Capterra、软服之家、企服点评。开发者类：开源中国的软件库、GitHub 相关主题页。商业背书类：云厂商或渠道商的合作伙伴目录、本地软件行业协会名录。",[11,297,298],{},"前八个性价比最高，基本免费或只收一点审核费。后四个要花时间准备材料，但能带来\"被第三方收录\"的事实，对品牌词搜索有帮助。",[15,300,301],{"id":301},"三类碰不得",[11,303,304],{},"第一类，付费批量套餐，一次 100 家、报价几千块。这些站点是同一套模板，页面没有自然流量，收录率低。我们抽过 40 个位置，能搜到的只有 9 个。",[11,306,307],{},"第二类，纯 SEO 目录，打开首页全是外链、没有内容、域名注册不到两年。这类站自己都活不久，你挂上去也留不住。",[11,309,310],{},"第三类，要求\"先互链再收录\"的目录。这是拿收录当筹码换链接，价值低，风险高。",[15,312,313],{"id":313},"提交资料的三处统一写法",[11,315,316],{},"公司全称统一，一个字都别变，包括括号和英文名。一句话描述统一，控制在 60 字以内，每次复制粘贴，不要每次现编。官网 URL 统一，带不带 www、带不带结尾斜杠，全站只用一个版本。",[11,318,319],{},"这三处不统一，搜索引擎那边对品牌的识别就会散，用户搜品牌名时也容易把不同的写法当成两家公司。我们给一个客户做品牌词诊断时发现，他在 30 多个目录上的公司名有 7 种写法，直接导致搜索品牌名时结果页混乱。",[15,321,322],{"id":322},"怎么验收",[11,324,325],{},"提交后 30 天查一次收录和链接状态，60 天查一次有没有引荐流量。建一张表记 URL、提交日期、状态。这张表一般 3 个月就能筛掉一半无效目录。",[11,327,328],{},"目录是一次性基石，不是增长手段。指望它带来客户，会失望；不做它，品牌名在搜索里就是单薄的。",{"title":171,"searchDepth":172,"depth":172,"links":330},[331,332,333,334],{"id":292,"depth":172,"text":292},{"id":301,"depth":172,"text":301},{"id":313,"depth":172,"text":313},{"id":322,"depth":172,"text":322},"2025-11-12","这两年我们给 9 家软件公司提过目录站，累计 60 多个提交位。这篇列出 12 个还值得提交的目录、3 类不该碰的站，以及提交资料必须统一的三处写法，附验收方法。",{},"\u002Fblog\u002Fsaas-directory-submission-list",{"title":281,"description":336},"blog\u002Fsaas-directory-submission-list",[342,343,344],"目录站","SaaS获客","外链","S1B9CXmKZMhO8fTeRVsxUWTlxUDPmS3ulOSRHIjE29Y",1794088110938]