前端渲染的站，工具爬不到的内容怎么查

2026 年 1 月我们看一个 React 写的文档站，用 curl 抓首页 HTML，正文里一个标题都找不到，浏览器渲染完却有 42 个标题。这类站不是不能做 SEO，但前提是先搞清楚搜索引擎到底能看到什么。

两个视角，先分清

源码视角：curl 或者查看页面源代码，看到的是服务器返回的原始 HTML。渲染视角：浏览器执行 JS 之后的 DOM。

搜索引擎两个都看，先看源码，再排队渲染。渲染要花资源，所以有预算限制，页面越多、越深，越容易被漏掉。

我的做法是两个都抓一遍。curl 下来的 HTML 里搜 h1、正文关键词、内链，渲染后的 DOM 里再搜一遍，缺什么一目了然。

三种常见缺失

第一种，整站客户端渲染。源码里只有一个空的 div 加一段脚本，所有内容都靠 JS 生成。这类站被抓到的概率取决于渲染预算，首页和热门页问题不大，长尾页经常抓不到。

第二种，懒加载。图片和正文要滚动才加载，蜘蛛不滚动。首屏以下的内容经常抓不到，或者抓到的是占位符。

第三种，折叠内容。tab 切换、展开更多里的文字，源码里没有，渲染后要点击才出现。蜘蛛不会点。

怎么查

先 curl 抓 5 个不同类型的页面：首页、产品页、文档页、博客文章、列表页。统计每个页面的标题数、正文字数、内链数，再和浏览器渲染后的数字对比。

GSC 的 URL 检查里有一个已渲染 HTML 的查看入口，能直接看到 Google 拿到的版本。这个比任何第三方工具都准。

最后看日志。如果 Googlebot 抓了 URL 但不抓 JS 和 CSS 资源，渲染一定不完整。日志里按资源类型统计一下就能看出来。

怎么改

能上服务端渲染就上，改造成本一次性，收益长期。改不动的话，至少把首屏关键内容和内链放进原始 HTML。

还有个便宜办法，用预渲染服务给蜘蛛返回渲染好的 HTML，用户仍然走 JS。这个方案适合内容为主的站，不适合交互复杂的应用。

预渲染的代价

预渲染服务按页面数收费，几千页的站一个月几十美元，页面多的要上百。它能解决被抓到的问题，解决不了体验问题。

我们用它做过两个内容型站点，效果还行。交互重的应用不建议用，预渲染出来的页面和真实应用差太多，用户点进去会觉得是另一个页面。

还有一点，预渲染要按 UA 判断，别把真实用户也导到预渲染版本上。配错了会出现用户看到旧内容的事故。

我们的判断

完全依赖客户端渲染、又不肯改架构的 B2B 站，我们不接 SEO 项目。内容做得再好，蜘蛛看不到就是零。先花两个月改架构，比后面两年补内容便宜。