2026 年 2 月看一个客户站的日志，5xx 只占全部请求的 0.7%，但集中在两个接口上，连续三天之后 Googlebot 的抓取量掉了一半以上。状态码处理有个顺序问题：数量最多的不一定最急，5xx 才是第一优先级。
5xx 为什么排第一
搜索引擎把 5xx 当成站点故障信号。短时间没关系，连续出现会降低抓取频次，恢复要等好几周。我们见过最严重的一次，一个接口超时返回 502，蜘蛛每次抓产品页都失败，两周后整站抓取量掉了六成，修好接口之后一个月才回到原来的水平。
查法：日志里按状态码和路径交叉统计，看 5xx 集中在哪些 URL。如果集中在一个接口，那是代码问题；如果分散在全站，看服务器负载和数据库连接。
404 要分两类
第一类，站内链过去的 404。这是事故，用户会点到，蜘蛛也会跟过去，优先级仅次于 5xx。查法是爬一遍站，看哪些页面的出链返回 404，按来源页的内链数排序。
第二类，外链造成的 404。老的推广链接、别人转载的旧地址，这类页面上已经没有入口，但外站还在链。能 301 到相近内容的就跳，实在没有对应内容就让它 404。
还有一类不算问题：从来没被收录、也没有任何内链的 404，蜘蛛偶尔抓到一次，不用管。
301 要看跳转次数
一个 URL 跳两次以上，就会损失一部分权重。我们查过一个站，旧域名先跳到新域名首页，再跳到产品页，中间隔了两跳，落地页在搜索结果里显示的还是首页标题。
修法是把跳转链捋直，旧 URL 直接 301 到最终页面。日志里看 Referer 和响应码就能找出跳转链，不用装工具。
429 和 403 是另一回事
429 是限速，蜘蛛抓太快被服务器挡了。看到这个码要查 WAF 和 CDN 的限速规则，把 Googlebot 加入白名单。403 通常也是防火墙，但恶意爬虫也会遇到 403，所以要结合 IP 反查确认是不是真的蜘蛛。
这两个码出现频率不高，但一旦出现，说明有东西在挡蜘蛛，比 404 严重。
一个真实的处理顺序
2026 年 1 月我们给一个电商站做这轮处理，日志里 404 有 1800 条、5xx 只有 60 条。按数量看肯定先修 404，按影响看得先修 5xx。
先修 5xx 花了三天，给超时的接口加了缓存，抓取量一周后回到正常。再处理 404：站内链的有 120 条，一天修完；外链造成的 1600 多条，抽了 40 个有搜索流量的做 301，剩下的不动。
如果顺序反过来，修 404 的两周里抓取量还在往下掉，客户会以为我们什么都没做。顺序不是理论问题，是沟通问题。
我们每周查一次
按状态码乘路径前缀交叉统计，只看超过 50 次的组合。修完记录日期，下周再看有没有变化。这套检查不需要工具，一条命令加一张表就够。
元析智能
为软件公司做 SEO 和 GEO 优化