一个 B2B 电商站的筛选组合生成了 6 万多个 URL，抓取预算的 62% 花在参数页上，核心产品页一周才被抓一次。我们用 5 条规则把参数页从 6 万压到 800。
先算清楚参数页有多少
三个筛选维度各 10 个值，组合起来理论上是 1000 种；如果再叠加排序、页码、视图模式，实际 URL 能到几万个。
查法：从日志里把带问号的 URL 全提出来，按参数名分组，数每个参数组合的抓取次数和收录数。我们那个客户，日志里 62% 的抓取请求落在参数页，而这些页面的收录率只有 8%。
规则一：只保留有搜索需求的组合
不是所有筛选组合都值得收录。用关键词工具查"产品词 + 筛选值"有没有搜索量，有量的保留，没量的不收录。
那个客户 6 万多个组合里，真正有搜索需求的只有 800 个左右。
规则二：参数顺序统一，去掉无意义参数
?color=red&size=1 和 ?size=1&color=red 是两个 URL，内容一样。排序参数、追踪参数、会话参数，全部规范化或者屏蔽。
做法：服务端对参数排序，追踪参数用 canonical 合并，视图模式参数直接不走 URL。
规则三：没有搜索量的组合用 robots 屏蔽
屏蔽的是"组合页"，不是"单个筛选值页"。比如颜色筛选可以收录，颜色 + 尺码 + 价格区间的三重叠组合就屏蔽。
robots 屏蔽的页面不会被抓取，也就不会浪费预算。代价是这些页面也拿不到排名，但它们本来也没有排名。
规则四：筛选页要有独立价值
保留下来的 800 个筛选页，不能只是列表换个顺序。我们给每个页面加了筛选条件说明、适用场景、相关产品推荐，让它有独立的内容价值。
这一步决定了收录之后能不能排上去。只靠参数组合的页面，收录了也是零展现。
规则五：内链只指向有价值的筛选页
导航和列表页里的筛选链接，只链到保留下来的 800 个页面。无价值的组合不生成可点击链接，减少蜘蛛的发现路径。
结果
调整从 2026 年 1 月开始，做了 6 周。第 8 周看数据：抓取请求里参数页占比从 62% 降到 9%，核心产品页的平均抓取间隔从 7 天缩到 1.5 天，有排名的关键词从 1200 个涨到 3100 个。
询盘量第 10 周开始涨，两个月后比调整前高 40%。
一句判断
筛选页不是"要不要收录"的问题，是"哪些组合值得收录"的问题。先算清楚数量和需求，再决定屏蔽还是保留，别一刀切全屏蔽——那会丢掉真正有搜索量的长尾。
元析智能
为软件公司做 SEO 和 GEO 优化