大多数软件公司站的抓取问题不是抓取不够，是抓取被浪费了。我们今年给 6 个软件公司站做日志分析，按百度蜘蛛和 Googlebot 的请求量算，平均 38% 的抓取花在了不该抓的 URL 上，真正会带来排名的产品页、文档页反而抓得很浅。下面是我们查出来的四类最常见浪费，以及具体的查法。
第一类：参数和筛选页
产品列表页带筛选参数，是抓取浪费的大头。一个做项目管理软件的客户，产品列表页有状态、行业、规模三个筛选维度，组合出来的 URL 有 60 多种。百度蜘蛛每天来抓 800 次，其中 500 多次落在这些组合 URL 上，每个页面内容还差不多。
查法：把日志按 URL 里的问号参数分组，数每个参数组合的抓取次数，再看这些页面的收录和排名。如果某个组合抓了 50 次以上、排名在 50 名开外，基本就是浪费。
改法：给筛选页加 noindex 或者用 robots.txt 屏蔽参数组合，只保留默认列表页。这个客户屏蔽后第 3 周，核心产品页的抓取频次从每周 2 次涨到每周 11 次。
第二类：CMS 后台和测试环境暴露在公网
说出来有点丢人，但这真的常见。我们接手的一个开发者工具站，robots.txt 里没屏蔽 /admin，Google 收录了 200 多个后台页面，还有一批 staging.example.com 的页面被收录。后台页面不会被用户搜到，但会分走抓取频次，也有安全风险。
查法：GSC 的索引报告里筛 /admin、?preview=、staging、test 这些词；百度搜索资源平台的收录量也能看个大概。日志里看这些路径的抓取占比。
改法：robots.txt 屏蔽 + 后台加登录鉴权 + 测试环境加 Basic Auth。已经收录的页面用 410 或 301 处理，别放那里不管。
第三类：分页和标签页无限翻
博客标签页、分页的 ?page=99、日历归档，是第三类。一个 SaaS 站的分页参数被蜘蛛翻到了第 87 页，后面全是空列表。这种页面抓一次是浪费，抓几百次就是灾难。
查法：日志里筛 page=、tag=、category= 这些参数，看最大页码和抓取次数。GSC 里看这些页面的抓取频次。
改法：分页加上限（比如只保留前 10 页 index，后面的 noindex），标签页合并或者 noindex，日历归档直接去掉。列表页本身要保留，但别让蜘蛛无限翻。
第四类：已经放弃的老页面和重复域名
老站迁移、换域名之后，旧域名的页面如果还挂着，蜘蛛会继续抓。我们见过一个客户，旧域名没做 301，两个域名同时在线 8 个月，新域名收录量一直上不去。还有一种是文章改版后旧 URL 没处理，同一个内容挂两个地址。
查法：日志里按 host 分组，看有没有多个域名；按 URL 的模式看改版前的路径还有没有请求。GSC 的重复网页报告、百度的重复内容提示也能辅助判断。
改法：旧域名整站 301 到新域名，旧 URL 写规则跳转，别保留双份内容。改完在 GSC 里提交改版，百度那边用抓取诊断确认新 URL 可抓。
我们自己的检查顺序
先看日志总量和各路径占比，再对照 GSC 索引报告，最后才动手改。顺序反了容易拍脑袋。改完至少观察 3 周，抓取频次的恢复比排名快，别指望第二天就见效。
如果你们站日抓取量在 1000 次以下，先别研究抓取预算，先把内容做起来。抓取预算是流量上来之后才值得抠的细节。
元析智能
为软件公司做 SEO 和 GEO 优化