Google 的抓取预算按站点健康度和页面价值分配,百度按站点评价和更新频率分配。两边对低价值页面的处理方式几乎相反,同一套优化动作在两边可能得到相反结果。
Google 的抓取预算怎么算
Google 公开的说法是抓取预算等于抓取容量和抓取需求,实际影响最大的是站点健康度:服务器响应速度、5xx 错误率、重复内容、软 404。
我们测过一个 8 万页的电商站,抓取预算被大量参数页吃掉,核心产品页平均 11 天才被抓一次。后来用 robots 屏蔽参数页,核心页抓取频率提到 2 天一次。
Google 的逻辑是"你值得抓多少,取决于你有多健康、页面有多重要"。低价值页面不会直接拖累别的页面,但会占预算。去年 10 月我们给一个客户做完参数页屏蔽,Googlebot 对核心页的抓取量两周涨了 60%。
百度的逻辑
百度的抓取频次更看站点整体评价和更新频率。它喜欢"稳定更新、结构清楚、有备案"的站。
我们观察到:同样规模的两个站,一个每天更新 3 篇、一个每周更新 1 篇,前者抓取频次是后者的 4 倍。百度对"活跃度"的敏感度比 Google 高,这条在 2025 年下半年几次波动里都能验证。
另一个差别:百度对低质页面的容忍度更低。站内堆大量采集页,百度可能直接压整站抓取频次;Google 更多是忽略那些页面,不牵连整站。
一个对照观察
去年我们同时接了 2 个内容结构几乎一样的站,A 站 2 千页、B 站 8 万页。
A 站:Google 抓取频次每天 400 多次,收录率 92%。B 站:Google 每天抓 2000 多次,收录率只有 31%,大量页面收了不排。百度那边,A 站抓取频次反而比 B 站高。
结论很清楚:页面多不等于抓得多、收得好。B 站后来砍到 1.2 万页,收录率提到 67%。
两边都能用的三件事
一,砍掉没价值的页面。两边都受益,Google 省预算,百度提评价。
二,修 5xx 和 404。Google 看重健康度,百度看重抓取体验,两边都在意。
三,给重要页面更多内链。这是唯一能明确"告诉"两边爬虫哪个页面重要的手段。
一个判断
补充一句:抓取预算别只看总量。我们每周看的是“核心页面被抓频次”和“被抓后收录率”,这两个数比日志里的总抓取量有用得多。总量涨了但核心页没动,说明涨的都是低质页,没意义。
别用同一套"收录量"指标衡量两边。Google 看有效收录,百度看抓取频次和索引量趋势,指标混着看,会得出错误的结论。
元析智能
为软件公司做 SEO 和 GEO 优化