[{"data":1,"prerenderedAt":316},["ShallowReactive",2],{"blog-fake-crawler-detection":3,"blog-prev-fake-crawler-detection":143,"blog-next-fake-crawler-detection":243},{"id":4,"title":5,"author":6,"body":7,"canonical":127,"category":128,"cover":127,"date":129,"description":130,"draft":131,"extension":132,"keywords":127,"meta":133,"navigation":134,"noindex":131,"ogImage":127,"path":135,"seo":136,"seoDescription":127,"seoTitle":127,"stem":137,"tags":138,"updated":127,"__hash__":142},"blog\u002Fblog\u002Ffake-crawler-detection.md","假蜘蛛比真蜘蛛多：我们怎么验证百度谷歌爬虫","元析智能",{"type":8,"value":9,"toc":116},"minimark",[10,14,18,21,24,28,40,43,46,50,53,56,59,63,66,77,80,83,86,89,92,95,98,101,104,107,110,113],[11,12,13],"p",{},"日志里自称 Googlebot 和 Baiduspider 的请求，很多是假的：采集器、扫描器、竞品爬虫都会伪装。我们用 DNS 反查、IP 段核对和行为特征三步验证，一个站一天能筛出 3 万多条假蜘蛛请求。",[15,16,17],"h2",{"id":17},"为什么会有假蜘蛛",[11,19,20],{},"伪装成搜索引擎爬虫有三个好处：绕过 robots 限制、绕过部分站点的反爬规则、以及不被当成恶意流量。",[11,22,23],{},"内容被大量采集、页面被频繁扫描、服务器被压测，很多都是假蜘蛛干的。",[15,25,27],{"id":26},"第一步dns-反查","第一步：DNS 反查",[11,29,30,31,35,36,39],{},"Googlebot 的验证方式是：拿请求来源 IP 做反向 DNS 查询，得到的主机名必须是以 ",[32,33,34],"code",{},"googlebot.com"," 或 ",[32,37,38],{},"google.com"," 结尾，再正向解析确认 IP 一致。",[11,41,42],{},"百度蜘蛛也可以用类似方式验证，反向解析后确认域名属于百度。",[11,44,45],{},"这一步能筛掉 80% 以上的假蜘蛛。我们写了个脚本，每天跑一次日志，把\"自称蜘蛛但反查失败\"的 IP 列出来。",[15,47,49],{"id":48},"第二步核对官方-ip-段","第二步：核对官方 IP 段",[11,51,52],{},"Google 会公布 Googlebot 的 IP 段，百度也有官方的蜘蛛 IP 段文档。",[11,54,55],{},"把日志里的 IP 和官方段比对，不在段内的一律当假蜘蛛。",[11,57,58],{},"这一步比反查更简单，但官方段会更新，要定期同步。我们一般每月更新一次。",[15,60,62],{"id":61},"第三步看行为特征","第三步：看行为特征",[11,64,65],{},"真蜘蛛和假蜘蛛的行为差别很大：",[11,67,68,69,72,73,76],{},"真蜘蛛会遵守 robots，不会请求后台路径；假蜘蛛经常扫 ",[32,70,71],{},"\u002Fadmin","、",[32,74,75],{},"\u002Fwp-login.php","。",[11,78,79],{},"真蜘蛛的抓取有节奏，假蜘蛛经常短时间高频请求。",[11,81,82],{},"真蜘蛛的 UA 和 IP 一致，假蜘蛛经常 UA 乱换。",[11,84,85],{},"三个特征一起看，基本能确认。",[15,87,88],{"id":88},"我们抓过一次",[11,90,91],{},"2026 年 4 月，一个客户的日志里每天有 4 万多条\"百度蜘蛛\"请求。反查发现，其中 3.2 万条来自 6 个 IP，这些 IP 不在百度段内，却在高频请求产品页。",[11,93,94],{},"进一步查，这些请求带的 referer 指向一个竞品域名。基本可以确认是竞品在采集。",[11,96,97],{},"我们把 IP 段封掉，同时在 robots 里做了频率限制，采集停了。",[15,99,100],{"id":100},"怎么挡",[11,102,103],{},"三件事：WAF 里加规则，只放行验证通过的搜索引擎 IP；服务器层面对未验证的 UA 做限速；把验证脚本做成每日任务，异常时告警。",[11,105,106],{},"注意：别把真蜘蛛也挡了。我们见过客户为了防采集，把整个 UA 段屏蔽，结果百度蜘蛛也被挡了，收录掉了两个月。",[15,108,109],{"id":109},"判断",[11,111,112],{},"假蜘蛛是技术 SEO 的\"暗面\"，它不影响收录，但影响数据判断和安全。",[11,114,115],{},"如果你在分析爬虫日志，先验证真假，再谈抓取预算。否则你优化的可能只是一堆假流量。这件事我们做了三个月，采集量降了 90%，服务器压力也小了一半。",{"title":117,"searchDepth":118,"depth":118,"links":119},"",2,[120,121,122,123,124,125,126],{"id":17,"depth":118,"text":17},{"id":26,"depth":118,"text":27},{"id":48,"depth":118,"text":49},{"id":61,"depth":118,"text":62},{"id":88,"depth":118,"text":88},{"id":100,"depth":118,"text":100},{"id":109,"depth":118,"text":109},null,"技术SEO","2026-09-08","日志里自称 Googlebot 和 Baiduspider 的请求，很多是假的：采集器、扫描器、竞品爬虫都会伪装。我们用 DNS 反查、IP 段核对和行为特征三步验证，一个站一天能筛出 3 万多条假蜘蛛请求。这套方法我们每周跑一次，基本能挡住假蜘蛛。",false,"md",{},true,"\u002Fblog\u002Ffake-crawler-detection",{"title":5,"description":130},"blog\u002Ffake-crawler-detection",[139,140,141],"爬虫","日志分析","安全","UxR53c2k0NcHQQXHxagbMktHAvs6K2w4-li7k3YVtfM",{"id":144,"title":145,"author":6,"body":146,"canonical":127,"category":231,"cover":127,"date":232,"description":233,"draft":131,"extension":132,"keywords":127,"meta":234,"navigation":134,"noindex":131,"ogImage":127,"path":235,"seo":236,"seoDescription":127,"seoTitle":127,"stem":237,"tags":238,"updated":127,"__hash__":242},"blog\u002Fblog\u002Fseo-acceptance-criteria.md","验收标准写不清，项目最后一定扯皮",{"type":8,"value":147,"toc":223},[148,151,154,157,160,163,166,169,172,175,178,181,184,187,190,193,196,199,202,205,208,211,214,217,220],[11,149,150],{},"2026 年 9 月我们帮一个客户看合同，里面写着“三个月内核心关键词进入百度前 10”。这份合同如果签了，三个月后大概率要吵。验收标准写不清，项目做得再好也会扯皮。",[15,152,153],{"id":153},"三种模糊写法",[11,155,156],{},"第一种，结果型。“排名提升”“流量增长”“转化提高”。没有基数、没有时间、没有定义，怎么解释都行。",[11,158,159],{},"第二种，形容词型。“优化到位”“结构合理”“体验提升”。这类词在验收会上没有任何约束力。",[11,161,162],{},"第三种，过程型但不可查。“持续输出内容”“定期提供建议”。定期是多久，持续是几篇，没人说得清。",[15,164,165],{"id":165},"三类可验收的写法",[11,167,168],{},"状态型。核心页面 100% 可抓可收，robots 无误屏蔽，canonical 指向正确，站点地图可访问且无 404。这些能用工具验证，一条条打勾。",[11,170,171],{},"数量型。季度交付 36 篇内容、每周一份数据简报、每月一份完整报告。数量型要写清迟交怎么算。",[11,173,174],{},"流程型。技术改动有记录、每次改动有双人确认、发现问题 48 小时内响应。流程型验收的是工作方式，不是结果。",[15,176,177],{"id":177},"哪些指标不能进验收",[11,179,180],{},"排名。同一个词在不同设备、不同地区、不同时间的排名都不一样，用哪个数验收？",[11,182,183],{},"流量。季节、算法、竞品投放都会影响，不能全算在执行方头上。",[11,185,186],{},"转化。涉及产品、定价、销售跟进，SEO 只占一环。",[11,188,189],{},"这些指标可以写进目标，不能写进验收。目标用来对齐方向，验收用来判断有没有交付。",[15,191,192],{"id":192},"验收节奏",[11,194,195],{},"按月小验收，按季度总验收。",[11,197,198],{},"月度验收看交付物齐不齐、技术问题有没有按优先级修、报表有没有按时出。三张表打分，打勾就打勾。",[11,200,201],{},"季度验收看方向对不对：内容集群有没有形成、核心词有没有出现曝光、转化路径有没有跑通。",[15,203,204],{"id":204},"一个谈判技巧",[11,206,207],{},"谈验收标准最好在报价之前，不是合同定稿时。报价前谈，双方都在商量；合同定稿时谈，就变成了拉锯。",[11,209,210],{},"我们的做法是把验收清单放在方案第二页，客户看完方案就知道怎么验收，后面基本不返工。",[15,212,213],{"id":213},"一个具体的条款写法",[11,215,216],{},"“乙方每月 10 日前提供上月完整报告，含自然搜索非品牌点击、目标词曝光数、收录页面数、留资数四项指标，附数据来源说明。迟交一日按当月服务费的 1% 扣减，上限 10%。”",[11,218,219],{},"这样的条款双方都能执行。写“提供月度报告”四个字，就等于什么都没写。",[11,221,222],{},"验收标准的价值不是防着对方，是让双方在项目开始前就想清楚什么叫做完了。",{"title":117,"searchDepth":118,"depth":118,"links":224},[225,226,227,228,229,230],{"id":153,"depth":118,"text":153},{"id":165,"depth":118,"text":165},{"id":177,"depth":118,"text":177},{"id":192,"depth":118,"text":192},{"id":204,"depth":118,"text":204},{"id":213,"depth":118,"text":213},"行业观察","2026-09-07","排名、流量、转化写进验收，等于给项目埋雷。这篇写三类可验收的写法、哪些指标不能进合同，以及按月小验收的节奏怎么排，谈合同时照着抄就能用。",{},"\u002Fblog\u002Fseo-acceptance-criteria",{"title":145,"description":233},"blog\u002Fseo-acceptance-criteria",[239,240,241],"验收标准","合同","项目管理","tvDfMjc4Vqc9df3C0Oau5IOzttsMj60NJTmPQwn-zmU",{"id":244,"title":245,"author":6,"body":246,"canonical":127,"category":128,"cover":127,"date":305,"description":306,"draft":131,"extension":132,"keywords":127,"meta":307,"navigation":134,"noindex":131,"ogImage":127,"path":308,"seo":309,"seoDescription":127,"seoTitle":127,"stem":310,"tags":311,"updated":127,"__hash__":315},"blog\u002Fblog\u002Fold-domain-301-retention.md","改域名后旧域名要挂多久，9 次迁移的恢复数据",{"type":8,"value":247,"toc":296},[248,251,254,257,260,263,266,269,272,275,278,281,284,287,290,293],[11,249,250],{},"旧域名 301 至少保留 12 个月，多数情况建议一直保留，只做跳转不再放内容。这个结论来自我们做过的 9 次域名迁移。",[15,252,253],{"id":253},"恢复曲线",[11,255,256],{},"9 次迁移里，自然点击回到迁移前 90% 的时间：最快 3 周，最慢 6 个月，中位数 9 周。看起来还行，但旧域名带来的外链价值和书签流量，2 到 3 年后还有残留。尤其是行业目录、老客户收藏夹、合作方文档里留的旧链接，你不会知道它们什么时候被点。",[15,258,259],{"id":259},"撤早了会怎样",[11,261,262],{},"2025 年 6 月一个换域名的客户，三个月后就把旧域的 301 撤了，只保留了新域。第四个月，一个行业目录站还在链旧域名，用户点进去 404，丢了一条高权重外链的流量。更麻烦的是，那条外链他们改不动，对方编辑早就离职了。",[15,264,265],{"id":265},"成本几乎为零",[11,267,268],{},"域名续费一年几十到几百块。旧域名只需要一个 nginx 配置或者一条 CDN 规则，把整站 301 到新域，服务器成本可以忽略。相比重新买回域名或者丢外链的代价，这笔账很好算。",[15,270,271],{"id":271},"什么时候可以撤",[11,273,274],{},"三个条件同时成立：旧域的外链已经基本改完；GSC 里旧域的点击连续三个月接近零；搜索结果里旧域 URL 基本被新域替换。即使三个都满足，我们一般也建议继续挂着，反正不花钱。",[15,276,277],{"id":277},"旧域名挂着还要维护什么",[11,279,280],{},"证书要续，不然 https 访问会报错，蜘蛛抓到的就是证书错误。DNS 别过期，这是最低级的失误。旧域的 GSC 资源留着，能看到还有哪些页面在被访问，这些数据是新域看不到的。",[11,282,283],{},"邮件也值得提一句：如果旧域名同时用于企业邮箱，换域名时要把 MX 记录和邮件转发规划好，别因为撤域名把客户邮件弄丢。这件事和 SEO 无关，但迁移项目里经常一起发生。",[15,285,286],{"id":286},"一个技术细节",[11,288,289],{},"旧域的 301 规则要覆盖所有协议和主机名的组合：http、https、www、非 www。2025 年那次掉 62% 的站，就是因为只做了主域的规则。规则做完，用 curl 测四个组合，确认都跳到新域对应路径，而不是首页。",[15,291,292],{"id":292},"立场",[11,294,295],{},"域名是资产，撤 301 省不下什么，出问题却很难补救。做迁移时就把\"旧域名永久保留\"写进方案，省得后面扯皮。",{"title":117,"searchDepth":118,"depth":118,"links":297},[298,299,300,301,302,303,304],{"id":253,"depth":118,"text":253},{"id":259,"depth":118,"text":259},{"id":265,"depth":118,"text":265},{"id":271,"depth":118,"text":271},{"id":277,"depth":118,"text":277},{"id":286,"depth":118,"text":286},{"id":292,"depth":118,"text":292},"2026-09-09","旧域名 301 三个月就撤，是很多团队的做法，但我们在 9 次迁移里看到恢复期普遍在 8 周到 6 个月。这篇讲旧域名保留时长、成本，以及什么时候可以撤。",{},"\u002Fblog\u002Fold-domain-301-retention",{"title":245,"description":306},"blog\u002Fold-domain-301-retention",[312,313,314],"网站迁移",301,"域名","pfX_zZmZL1EX7P83-1VRLWj-vfhJnrbCngf3XPEhyVU",1794088102020]