抓取频次上不去，先看服务器那 200 毫秒

抓取频次是搜索引擎给的配额，影响配额的因素里，服务器响应时间排第一，站点结构第二，内容更新频率第三。很多人一上来就研究权重，其实先看服务器那 200 毫秒更划算。

怎么测

日志里算每个请求的耗时，取 P95，别取平均值。GSC 的抓取统计能看总请求量和平均响应时间。分路径看，动态页和静态页要分开算，不然会被平均数骗。

我们的判断标准：P95 超过 800 毫秒就要优化，超过 1.5 秒基本会拖累抓取。百度对响应时间比 Google 更敏感，1200 毫秒以上就能看到抓取量明显下滑。

2026 年 4 月那次优化

一个 API 工具站，日抓取 900 次，P95 响应 1.1 秒。查下来三个原因：文档页每次请求都查数据库、没做页面级缓存、CDN 只缓存静态资源不缓存 HTML。

改法：页面级缓存 10 分钟，渲染结果存 Redis，数据库加索引，CDN 加 HTML 缓存规则。P95 从 1.1 秒压到 180 毫秒。一个月后日抓取 2400 次，收录涨 34%。

其他影响因素

5xx 比例、404 比例、sitemap 有效性、内容更新频率、外链数量。这些都要在响应时间之后看。5xx 尤其要命，蜘蛛连续遇到几次服务端错误会主动降频，恢复比降频慢得多。

验证方法

改完持续观察 3 到 4 周。抓取量涨了但收录没涨，说明问题在发现或质量环节；抓取量没动，说明瓶颈不在响应时间，回去看结构。

一个配套动作

压响应时间的同时，把 404 和 5xx 也清一遍。我们见过一个站响应时间只有 120 毫秒，但 5xx 占 3%，抓取量一直上不去。修完错误率后，抓取量涨得比优化响应时间还快。

监控上加一条：蜘蛛请求的错误率超过 1% 就报警。这条比看总抓取量更早发现问题。

一个误解

有人说"抓取频次是看权重的，小站怎么优化都没用"。对了一半。权重（外链、品牌）决定上限，响应时间和结构决定能不能接近上限。小站优化响应时间，从日抓 100 次到 500 次是常见的，这 5 倍不是权重给的。

立场

服务器优化是 SEO 里最被低估的一项，因为它看起来不像 SEO。它归运维，但影响的是抓取。做 SEO 的人至少要能看懂 P95 和 5xx 比率。