[{"data":1,"prerenderedAt":257},["ShallowReactive",2],{"blog-google-baidu-crawl-budget":3,"blog-prev-google-baidu-crawl-budget":98,"blog-next-google-baidu-crawl-budget":166},{"id":4,"title":5,"author":6,"body":7,"canonical":82,"category":83,"cover":82,"date":84,"description":85,"draft":86,"extension":87,"keywords":82,"meta":88,"navigation":89,"noindex":86,"ogImage":82,"path":90,"seo":91,"seoDescription":82,"seoTitle":82,"stem":92,"tags":93,"updated":82,"__hash__":97},"blog\u002Fblog\u002Fgoogle-baidu-crawl-budget.md","Google 和百度的抓取预算，逻辑完全不同","元析智能",{"type":8,"value":9,"toc":73},"minimark",[10,14,19,22,25,28,31,34,37,40,43,46,49,52,55,58,61,64,67,70],[11,12,13],"p",{},"Google 的抓取预算按站点健康度和页面价值分配，百度按站点评价和更新频率分配。两边对低价值页面的处理方式几乎相反，同一套优化动作在两边可能得到相反结果。",[15,16,18],"h2",{"id":17},"google-的抓取预算怎么算","Google 的抓取预算怎么算",[11,20,21],{},"Google 公开的说法是抓取预算等于抓取容量和抓取需求，实际影响最大的是站点健康度：服务器响应速度、5xx 错误率、重复内容、软 404。",[11,23,24],{},"我们测过一个 8 万页的电商站，抓取预算被大量参数页吃掉，核心产品页平均 11 天才被抓一次。后来用 robots 屏蔽参数页，核心页抓取频率提到 2 天一次。",[11,26,27],{},"Google 的逻辑是\"你值得抓多少，取决于你有多健康、页面有多重要\"。低价值页面不会直接拖累别的页面，但会占预算。去年 10 月我们给一个客户做完参数页屏蔽，Googlebot 对核心页的抓取量两周涨了 60%。",[15,29,30],{"id":30},"百度的逻辑",[11,32,33],{},"百度的抓取频次更看站点整体评价和更新频率。它喜欢\"稳定更新、结构清楚、有备案\"的站。",[11,35,36],{},"我们观察到：同样规模的两个站，一个每天更新 3 篇、一个每周更新 1 篇，前者抓取频次是后者的 4 倍。百度对\"活跃度\"的敏感度比 Google 高，这条在 2025 年下半年几次波动里都能验证。",[11,38,39],{},"另一个差别：百度对低质页面的容忍度更低。站内堆大量采集页，百度可能直接压整站抓取频次；Google 更多是忽略那些页面，不牵连整站。",[15,41,42],{"id":42},"一个对照观察",[11,44,45],{},"去年我们同时接了 2 个内容结构几乎一样的站，A 站 2 千页、B 站 8 万页。",[11,47,48],{},"A 站：Google 抓取频次每天 400 多次，收录率 92%。B 站：Google 每天抓 2000 多次，收录率只有 31%，大量页面收了不排。百度那边，A 站抓取频次反而比 B 站高。",[11,50,51],{},"结论很清楚：页面多不等于抓得多、收得好。B 站后来砍到 1.2 万页，收录率提到 67%。",[15,53,54],{"id":54},"两边都能用的三件事",[11,56,57],{},"一，砍掉没价值的页面。两边都受益，Google 省预算，百度提评价。",[11,59,60],{},"二，修 5xx 和 404。Google 看重健康度，百度看重抓取体验，两边都在意。",[11,62,63],{},"三，给重要页面更多内链。这是唯一能明确\"告诉\"两边爬虫哪个页面重要的手段。",[15,65,66],{"id":66},"一个判断",[11,68,69],{},"补充一句：抓取预算别只看总量。我们每周看的是“核心页面被抓频次”和“被抓后收录率”，这两个数比日志里的总抓取量有用得多。总量涨了但核心页没动，说明涨的都是低质页，没意义。",[11,71,72],{},"别用同一套\"收录量\"指标衡量两边。Google 看有效收录，百度看抓取频次和索引量趋势，指标混着看，会得出错误的结论。",{"title":74,"searchDepth":75,"depth":75,"links":76},"",2,[77,78,79,80,81],{"id":17,"depth":75,"text":18},{"id":30,"depth":75,"text":30},{"id":42,"depth":75,"text":42},{"id":54,"depth":75,"text":54},{"id":66,"depth":75,"text":66},null,"技术SEO","2026-01-16","Google 的抓取预算按站点健康度和页面价值分配，百度按站点评价和更新频率分配。两边对低价值页面的处理方式几乎相反，同一套优化动作在两边效果可能相反。我们做了个对照观察，结果和很多教程说的不一样。",false,"md",{},true,"\u002Fblog\u002Fgoogle-baidu-crawl-budget",{"title":5,"description":85},"blog\u002Fgoogle-baidu-crawl-budget",[94,95,96],"抓取预算","爬虫","百度与Google","EnSOLTN57ZcNZI9A3DhIn3Qm-1p6PikhdEuoppXs1pg",{"id":99,"title":100,"author":6,"body":101,"canonical":82,"category":154,"cover":82,"date":155,"description":156,"draft":86,"extension":87,"keywords":82,"meta":157,"navigation":89,"noindex":86,"ogImage":82,"path":158,"seo":159,"seoDescription":82,"seoTitle":82,"stem":160,"tags":161,"updated":82,"__hash__":165},"blog\u002Fblog\u002Fsecurity-blog-vulnerability-analysis.md","安全厂商的技术博客，别写成产品软文",{"type":8,"value":102,"toc":148},[103,106,109,112,115,118,121,124,127,130,133,136,139,142,145],[11,104,105],{},"安全公司的技术博客，最常见的失败是把漏洞分析写成产品软文。开头一段漏洞背景，中间一段“我们的产品如何检测”，结尾一段“欢迎试用”。这种文章在安全圈传不开，因为读者要的是攻击细节，不是你的功能。",[15,107,108],{"id":108},"一个能传开的写法",[11,110,111],{},"2025 年 12 月我们和一个做 WAF 的客户复盘了他们阅读量最高的 5 篇文章，共同结构是：漏洞怎么被发现的、利用链怎么走、为什么现有防护会漏、检测规则长什么样、最后才提一句产品能力。",[11,113,114],{},"第五部分占比不到 10%，前四部分占 90%。这个比例很关键。读者看到前四部分觉得你有真东西，第五部分他才会看。",[15,116,117],{"id":117},"具体写什么",[11,119,120],{},"第一，带 PoC 或者复现步骤。能公开的细节尽量公开，不能公开的写清“出于负责任披露暂不公开”并给出时间线。安全社区对披露流程很敏感，写清楚反而加分。",[11,122,123],{},"第二，写检测规则。给一条 Sigma 规则、一段 YARA、或者一个 Suricata 签名，这类内容会被大量转载和引用，外链自然来。",[11,125,126],{},"第三，写失败经验。我们有个客户写过一篇“我们漏掉的一个绕过手法”，讲自家规则为什么没挡住。这篇文章带来的正面反馈比十篇成功案例都多，因为它可信。",[15,128,129],{"id":129},"带来的流量长什么样",[11,131,132],{},"漏洞分析类内容的搜索流量不大，长尾很散，但有两个特点：来的都是同行和从业者，以及被引用的周期长。一篇 2024 年的分析，到 2026 年每月还有几十次访问。",[11,134,135],{},"对企业业务真正有用的地方在信任转化。我们追踪过一个客户的转化路径，从漏洞分析页进入的访客，申请 demo 的比例是首页访客的 2.4 倍。样本不大，但方向清楚。",[11,137,138],{},"排版也影响传播。时间线用有序列表，命令和规则用代码块，受影响版本单独一行加粗。这看起来是小事，但转载的人经常直接复制你的排版，格式乱了，传播效果就打折。",[15,140,141],{"id":141},"一条内容纪律",[11,143,144],{},"别追热点追到没有自己的分析。行业里出了大漏洞，所有安全厂商都在写，你写得比别人晚、比别人浅，就是纯陪跑。我们的做法是：只写我们有一手观察的漏洞，其他热点用一条短讯带过，把精力留给能写深的题目。",[11,146,147],{},"安全博客的价值不在更新频率，在不可替代性。一个月一篇有独家细节的分析，胜过十篇转述。",{"title":74,"searchDepth":75,"depth":75,"links":149},[150,151,152,153],{"id":108,"depth":75,"text":108},{"id":117,"depth":75,"text":117},{"id":129,"depth":75,"text":129},{"id":141,"depth":75,"text":141},"内容运营","2026-01-15","漏洞分析写得好能带来客户，写成“我们的产品可以防”就没人愿意看。我们复盘了 3 个安全博客两年里阅读量最高的文章，找出一个可以复用的内容结构和比例。",{},"\u002Fblog\u002Fsecurity-blog-vulnerability-analysis",{"title":100,"description":156},"blog\u002Fsecurity-blog-vulnerability-analysis",[162,163,164],"安全博客","漏洞分析","技术内容","0Qnrkx8_Zj7woAGzGGsHCmVZP6TRiCvnxDDxEhupHuw",{"id":167,"title":168,"author":6,"body":169,"canonical":82,"category":83,"cover":82,"date":246,"description":247,"draft":86,"extension":87,"keywords":82,"meta":248,"navigation":89,"noindex":86,"ogImage":82,"path":249,"seo":250,"seoDescription":82,"seoTitle":82,"stem":251,"tags":252,"updated":82,"__hash__":256},"blog\u002Fblog\u002Fjs-rendered-site-crawl-check.md","前端渲染的站，工具爬不到的内容怎么查",{"type":8,"value":170,"toc":238},[171,174,178,181,184,187,190,193,196,199,202,205,208,211,214,217,220,223,226,229,232,235],[11,172,173],{},"2026 年 1 月我们看一个 React 写的文档站，用 curl 抓首页 HTML，正文里一个标题都找不到，浏览器渲染完却有 42 个标题。这类站不是不能做 SEO，但前提是先搞清楚搜索引擎到底能看到什么。",[15,175,177],{"id":176},"两个视角先分清","两个视角，先分清",[11,179,180],{},"源码视角：curl 或者查看页面源代码，看到的是服务器返回的原始 HTML。渲染视角：浏览器执行 JS 之后的 DOM。",[11,182,183],{},"搜索引擎两个都看，先看源码，再排队渲染。渲染要花资源，所以有预算限制，页面越多、越深，越容易被漏掉。",[11,185,186],{},"我的做法是两个都抓一遍。curl 下来的 HTML 里搜 h1、正文关键词、内链，渲染后的 DOM 里再搜一遍，缺什么一目了然。",[15,188,189],{"id":189},"三种常见缺失",[11,191,192],{},"第一种，整站客户端渲染。源码里只有一个空的 div 加一段脚本，所有内容都靠 JS 生成。这类站被抓到的概率取决于渲染预算，首页和热门页问题不大，长尾页经常抓不到。",[11,194,195],{},"第二种，懒加载。图片和正文要滚动才加载，蜘蛛不滚动。首屏以下的内容经常抓不到，或者抓到的是占位符。",[11,197,198],{},"第三种，折叠内容。tab 切换、展开更多里的文字，源码里没有，渲染后要点击才出现。蜘蛛不会点。",[15,200,201],{"id":201},"怎么查",[11,203,204],{},"先 curl 抓 5 个不同类型的页面：首页、产品页、文档页、博客文章、列表页。统计每个页面的标题数、正文字数、内链数，再和浏览器渲染后的数字对比。",[11,206,207],{},"GSC 的 URL 检查里有一个已渲染 HTML 的查看入口，能直接看到 Google 拿到的版本。这个比任何第三方工具都准。",[11,209,210],{},"最后看日志。如果 Googlebot 抓了 URL 但不抓 JS 和 CSS 资源，渲染一定不完整。日志里按资源类型统计一下就能看出来。",[15,212,213],{"id":213},"怎么改",[11,215,216],{},"能上服务端渲染就上，改造成本一次性，收益长期。改不动的话，至少把首屏关键内容和内链放进原始 HTML。",[11,218,219],{},"还有个便宜办法，用预渲染服务给蜘蛛返回渲染好的 HTML，用户仍然走 JS。这个方案适合内容为主的站，不适合交互复杂的应用。",[15,221,222],{"id":222},"预渲染的代价",[11,224,225],{},"预渲染服务按页面数收费，几千页的站一个月几十美元，页面多的要上百。它能解决被抓到的问题，解决不了体验问题。",[11,227,228],{},"我们用它做过两个内容型站点，效果还行。交互重的应用不建议用，预渲染出来的页面和真实应用差太多，用户点进去会觉得是另一个页面。",[11,230,231],{},"还有一点，预渲染要按 UA 判断，别把真实用户也导到预渲染版本上。配错了会出现用户看到旧内容的事故。",[15,233,234],{"id":234},"我们的判断",[11,236,237],{},"完全依赖客户端渲染、又不肯改架构的 B2B 站，我们不接 SEO 项目。内容做得再好，蜘蛛看不到就是零。先花两个月改架构，比后面两年补内容便宜。",{"title":74,"searchDepth":75,"depth":75,"links":239},[240,241,242,243,244,245],{"id":176,"depth":75,"text":177},{"id":189,"depth":75,"text":189},{"id":201,"depth":75,"text":201},{"id":213,"depth":75,"text":213},{"id":222,"depth":75,"text":222},{"id":234,"depth":75,"text":234},"2026-01-17","一个 React 文档站首屏 HTML 里一个标题都没有，渲染后有 42 个。这篇写源码和渲染后 DOM 怎么对比、三种常见缺失，以及改架构还是改内容。",{},"\u002Fblog\u002Fjs-rendered-site-crawl-check",{"title":168,"description":247},"blog\u002Fjs-rendered-site-crawl-check",[253,254,255],"JavaScript渲染","抓取","技术检测","lUfzeCkh4UTT-pF0e5AfL3OzlpnNOjAsPSjIxGtREyI",1794088109172]