页面里的 meta 标签不是唯一入口，HTTP 头也能控制索引、传 canonical、声明多语言。X-Robots-Tag 和 Link 头用得对，能解决一批页面里改不了的问题。
头信息能干什么
2025 年 12 月我们在一个客户站上用过一次：整站 3000 多个 PDF 文件没法改页面标签，只能靠头信息统一控制，这是头信息最典型的场景。
三个常见用途：控制页面索引和抓取、声明 canonical、声明 hreflang。
好处是不用改页面 HTML，服务器层就能统一配置。坏处是不直观，出了问题不好查。
X-Robots-Tag 的三个用法
第一，给非 HTML 文件加 noindex。PDF、图片、JS 文件没法写 meta 标签，只能靠头。我们给一个客户的 PDF 白皮书加了 X-Robots-Tag: noindex，索引里的 PDF 数量从 3000 降到 200。
第二，给整类路径统一加规则。比如测试环境、预览环境、下载目录，用服务器配置统一加 noindex，比逐个页面改可靠。
第三，给特定爬虫设规则。可以指定 UA，比如对某个爬虫单独加 nofollow。
Link 头：canonical 和 hreflang
HTTP 头里可以写 Link: <https://example.com/page>; rel="canonical"，效果和页面里的 canonical 标签一样。
hreflang 也可以放在头里，适合那些页面 HTML 不好改的站。
但注意：头里的 Link 和页面里的标签同时存在时，要保证指向一致，冲突了搜索引擎可能两个都不认。
一个坑：多个头指令冲突
我们见过一个客户，服务器统一加了 X-Robots-Tag: noindex，页面里又写了 canonical 指向主页面。两个指令一个说"别收录"，一个说"收这个"，搜索引擎会按 noindex 处理，canonical 白写。
还有一种：CDN 缓存了旧的 X-Robots-Tag，页面改了但头没变，索引状态一直不更新。
怎么查
用 curl 看响应头是最直接的：curl -I https://example.com/page。
重点看三个：有没有 X-Robots-Tag、有没有 Link 头、有没有和页面标签冲突。
批量查的话，用爬虫工具导出响应头列，或者写脚本跑一遍核心页面。
一个建议
头信息适合做"批量、统一"的规则，不适合做单页的精细控制。单页控制还是用 meta 标签，直观、好排查。
用头信息之前，先想清楚会不会和页面标签冲突。冲突是这类问题最常见的来源。
判断
这套东西我们一般只在页面标签改不了的场景用，不主动扩大使用范围。头信息最大的问题是不可见：你在页面源代码里看不到它，出问题要查服务器和 CDN。
还有一个小提醒：头信息改完要清 CDN 缓存。我们踩过这个坑，服务器配置改了，CDN 还返回旧头，查了一天才发现。
HTTP 头是技术 SEO 的进阶工具，用得好能解决一批麻烦，用不好会制造更难查的问题。
如果你不确定，先用 curl 看一遍现状，再决定动不动。
元析智能
为软件公司做 SEO 和 GEO 优化