[{"data":1,"prerenderedAt":296},["ShallowReactive",2],{"blog-baidu-crawl-diagnosis-errors":3,"blog-prev-baidu-crawl-diagnosis-errors":110,"blog-next-baidu-crawl-diagnosis-errors":190},{"id":4,"title":5,"author":6,"body":7,"canonical":94,"category":95,"cover":94,"date":96,"description":97,"draft":98,"extension":99,"keywords":94,"meta":100,"navigation":101,"noindex":98,"ogImage":94,"path":102,"seo":103,"seoDescription":94,"seoTitle":94,"stem":104,"tags":105,"updated":94,"__hash__":109},"blog\u002Fblog\u002Fbaidu-crawl-diagnosis-errors.md","百度抓取诊断报 403 和 503，我们怎么查源站","元析智能",{"type":8,"value":9,"toc":83},"minimark",[10,14,18,21,24,27,31,34,37,40,44,47,50,53,56,59,62,65,68,71,74,77,80],[11,12,13],"p",{},"抓取诊断报 403 或 503，九成不是百度的问题，是源站的防火墙、CDN 或 UA 拦截把蜘蛛挡了。2025 年到现在我们处理过 20 多次这类问题，原因就三种。",[15,16,17],"h2",{"id":17},"先确认是不是真的被挡",[11,19,20],{},"抓取诊断会给出状态码和抓取时间。403 是拒绝访问，503 是服务不可用。",[11,22,23],{},"两件事要确认：一是你自己用浏览器访问同一个 URL 是否正常；二是换个时间再诊断一次，排除偶发。",[11,25,26],{},"如果浏览器正常、诊断稳定报错，基本就是蜘蛛被针对性拦截了。",[15,28,30],{"id":29},"_403-的三种原因","403 的三种原因",[11,32,33],{},"第一，CDN 或 WAF 的安全策略。很多云厂商的默认规则会拦截\"非浏览器 UA\"，百度蜘蛛的 UA 里有 Baiduspider 字样，被当成爬虫挡掉。",[11,35,36],{},"第二，服务器的 UA 黑白名单。运维为了防采集，配了只允许常见浏览器 UA，把搜索引擎也挡了。",[11,38,39],{},"第三，IP 段被封。站点被恶意爬过之后，运维封了一批 IP，误伤了百度蜘蛛的出口 IP。",[15,41,43],{"id":42},"_503-的两种原因","503 的两种原因",[11,45,46],{},"第一，源站负载高。蜘蛛来的时候正好赶上资源紧张，返回 503。这类问题通常伴随偶发，抓取诊断多试几次能复现。",[11,48,49],{},"第二，限流配置。Nginx 或云防火墙的限流规则太严，蜘蛛的并发请求触发了限流。",[15,51,52],{"id":52},"怎么验证",[11,54,55],{},"我们一般做三步。第一步，用 curl 带上百度蜘蛛的 UA 请求页面，看返回码。第二步，反查请求来源 IP 是否属于百度，百度蜘蛛的 IP 可以通过 DNS 反查确认。第三步，看服务器访问日志里百度蜘蛛的请求量和状态码分布。",[11,57,58],{},"三步做完，问题基本定位。我们最近一次排查，日志里百度蜘蛛的 403 占 78%，原因就是 CDN 的 UA 规则。",[15,60,61],{"id":61},"修复",[11,63,64],{},"CDN 和 WAF 加白名单，放行百度蜘蛛的 UA 和 IP 段；服务器 UA 规则里加搜索引擎的 UA；限流规则给蜘蛛单独放宽。",[11,66,67],{},"改完在抓取诊断里重新抓一次，确认状态码 200。再观察一周抓取频次有没有恢复。",[15,69,70],{"id":70},"一个反复出现的坑",[11,72,73],{},"换 CDN 之后忘了同步白名单，是我们遇到最多的情况。今年 3 月一个客户迁移 CDN，迁移当晚百度蜘蛛就被挡了，抓取诊断全报 403，三天后才发现。",[11,75,76],{},"这类问题的特点是：站点访问正常、Google 也正常（Google 的爬虫 IP 段被新 CDN 默认放行），只有百度有问题。所以盯抓取诊断，比盯总流量更早发现问题。",[15,78,79],{"id":79},"一句判断",[11,81,82],{},"这类问题最冤的地方在于：站点本身没问题，内容也没问题，就是被自己的安全配置挡在门外。上线新站或者换 CDN 之后，第一件事应该是跑一次抓取诊断。",{"title":84,"searchDepth":85,"depth":85,"links":86},"",2,[87,88,89,90,91,92,93],{"id":17,"depth":85,"text":17},{"id":29,"depth":85,"text":30},{"id":42,"depth":85,"text":43},{"id":52,"depth":85,"text":52},{"id":61,"depth":85,"text":61},{"id":70,"depth":85,"text":70},{"id":79,"depth":85,"text":79},null,"技术SEO","2026-07-28","抓取诊断报 403 或 503，九成不是百度的问题，是源站的防火墙、CDN 或 UA 拦截把蜘蛛挡了。我们处理过 20 多次这类问题，我们处理过 20 多次这类问题，验证方法、三种常见原因和修复动作都在这篇，也写了一个反复出现的坑。",false,"md",{},true,"\u002Fblog\u002Fbaidu-crawl-diagnosis-errors",{"title":5,"description":97},"blog\u002Fbaidu-crawl-diagnosis-errors",[106,107,108],"抓取诊断","百度蜘蛛","服务器配置","1pGDtS726_J6ZzmleXPsT2QRcXXBAVXBNK823jlftRg",{"id":111,"title":112,"author":6,"body":113,"canonical":94,"category":178,"cover":94,"date":179,"description":180,"draft":98,"extension":99,"keywords":94,"meta":181,"navigation":101,"noindex":98,"ogImage":94,"path":182,"seo":183,"seoDescription":94,"seoTitle":94,"stem":184,"tags":185,"updated":94,"__hash__":189},"blog\u002Fblog\u002Fcloud-tutorial-content-seo.md","云厂商的教程页，是最大的自然流量入口",{"type":8,"value":114,"toc":172},[115,118,121,124,127,130,133,136,139,142,148,151,154,157,160,163,166,169],[11,116,117],{},"云服务的自然流量，大头不是产品页，是教程页。2025 年 3 月到 2026 年 3 月，我们给一个云厂商建了 60 个教程页，累计带来 11 万自然访问，是产品页组合的 4 倍多。这些页面的搜索词是“怎么在 XX 上部署 YY”这种组合。",[15,119,120],{"id":120},"词怎么挖",[11,122,123],{},"两个维度交叉：任务（部署、迁移、监控、备份、扩缩容）和技术栈（Django、Next.js、Kafka、Postgres、Redis、K8s）。每个交叉点一个页面，标题写成“在 XX 上部署 Django 应用：从零到可访问”。",[11,125,126],{},"这类词的搜索者不一定是你的用户，他在解决问题，顺手就用了你的云。这也是云厂商内容营销的底层逻辑：先帮人把事做成，再谈转化。",[15,128,129],{"id":129},"教程页的质量线",[11,131,132],{},"第一，能跑通。我们要求每篇教程在发布前由一个没参与写作的工程师照着做一遍，跑不通就退回。这条听起来基础，但大部分云教程做不到，步骤漏了、版本过时、权限没提。",[11,134,135],{},"第二，给完整代码。不要“省略部分代码”，工程师最烦这个。仓库链接加页面内代码块，两样都给。",[11,137,138],{},"第三，写清成本。部署完要花多少钱，给个区间。用户会算账，你不写他去别处查。",[11,140,141],{},"第四，写清清理步骤。教程跑完要能删干净，不然用户被扣费会来投诉。这条是我们踩过坑加上的，有个客户因为教程没写清理，收了十几封账单投诉。",[11,143,144],{},[145,146,147],"strong",{},"教程和文档不是一回事",[11,149,150],{},"文档写给已经在用的人，教程写给刚决定试的人。这个区别决定了两边的写法：文档要查得到，教程要跟着做完。我们见过把文档章节直接当教程发的，用户在第一步就卡住，因为文档默认你已经有账号、有权限、有网络配置。",[11,152,153],{},"教程要假设读者什么都没有，从注册开始。多写这一句，完成率会不一样。",[15,155,156],{"id":156},"更新机制",[11,158,159],{},"教程最大的敌人是过期。我们定的规则：每季度扫一遍高流量教程，核对版本号、控制台路径、命令参数。控制台改版是最常见的失效率，比命令变化还频繁。",[11,161,162],{},"页面里标“最后验证时间”，别标“最后更新时间”。前者是承诺，后者只是编辑动作。",[15,164,165],{"id":165},"转化怎么放",[11,167,168],{},"教程页的转化入口放在两个位置：跑通之后（“想长期跑？看托管方案”）和成本段落之后（“按这个配置，每月大约 XX”）。别在开头放注册弹窗，工程师会直接关掉。",[11,170,171],{},"这类内容的转化率不高，通常在 1% 到 3%，但基数大，而且来的人技术能力强，很多是团队里的决策影响者。",{"title":84,"searchDepth":85,"depth":85,"links":173},[174,175,176,177],{"id":120,"depth":85,"text":120},{"id":129,"depth":85,"text":129},{"id":156,"depth":85,"text":156},{"id":165,"depth":85,"text":165},"内容运营","2026-07-27","“怎么在 XX 上部署 YY”这类教程，搜索量比产品词大得多。我们按“任务 + 技术栈”建了 60 个教程页，一年带来 11 万自然访问。",{},"\u002Fblog\u002Fcloud-tutorial-content-seo",{"title":112,"description":180},"blog\u002Fcloud-tutorial-content-seo",[186,187,188],"云服务","教程内容","长尾流量","GXY3aYsK7i0oYi6-fEJ3QuLXDxQDT1OKyrKs6Le0nhs",{"id":191,"title":192,"author":6,"body":193,"canonical":94,"category":284,"cover":94,"date":285,"description":286,"draft":98,"extension":99,"keywords":94,"meta":287,"navigation":101,"noindex":98,"ogImage":94,"path":288,"seo":289,"seoDescription":94,"seoTitle":94,"stem":290,"tags":291,"updated":94,"__hash__":295},"blog\u002Fblog\u002Fseo-deliverables-list.md","SEO 项目的交付物清单，缺一项就会扯皮",{"type":8,"value":194,"toc":276},[195,198,201,204,207,210,213,216,219,222,225,228,231,234,237,240,243,246,249,252,255,258,261,264,267,270,273],[11,196,197],{},"2026 年 8 月我们复盘了两个结束的项目，客户满意度差别很大，原因不在效果，在交付物清不清楚。一个项目每周有固定的东西可看，另一个只有月末一份报告。交付物不是只有报告。",[15,199,200],{"id":200},"九项固定交付",[11,202,203],{},"诊断报告，一次，项目开始时交。技术修复清单，一次，带优先级。内容计划表，一次，季度更新。",[11,205,206],{},"每周数据简报，一条消息。每月完整报告，一份文档。内容稿件的审校记录，每篇一份。",[11,208,209],{},"技术改动记录，每次改动一行。关键词排名追踪表，每周更新。季度复盘，一次，带下一步计划。",[11,211,212],{},"这九项写进合同附件，每项标清频率和格式。",[15,214,215],{"id":215},"每项都要能验收",[11,217,218],{},"“每周简报”这四个字不够，要写清：每周一上午发出、包含四个数字、用固定模板。",[11,220,221],{},"“内容审校记录”要写清：记录谁审的、改了什么、修改前后对比。",[11,223,224],{},"验收标准写得越具体，月底吵架的概率越低。我们见过最模糊的合同写“定期提供优化建议”，结果双方对“定期”的理解差了十倍。",[15,226,227],{"id":227},"交付物的格式",[11,229,230],{},"数据简报用群消息，控制在手机一屏能读完。",[11,232,233],{},"月度报告用文档，5 页以内，附录放明细。",[11,235,236],{},"技术改动记录用表格，一行一次改动：日期、页面、改了什么、谁改的、为什么改。",[11,238,239],{},"内容稿件用共享文档，保留修改痕迹。",[11,241,242],{},"格式不重要，重要的是每次一样。客户知道去哪找什么，就不用每次问你。",[15,244,245],{"id":245},"一个容易忽略的交付物",[11,247,248],{},"技术改动的记录。很多项目做完，客户不知道自己站被改了什么，换了服务商之后发现一堆奇怪配置，说不清是谁弄的。",[11,250,251],{},"我们现在的规矩是每次改生产环境都记一行，包括改回滚。这个记录对客户有价值，对我们也是保护。",[15,253,254],{"id":254},"交付物要有存档",[11,256,257],{},"所有交付物存到一个共享目录，按项目、按月份分。客户换人、我们换人，都能直接找到。",[11,259,260],{},"我们吃过亏：一个项目做了一年，客户换了市场负责人，新来的人问你们都做了什么，我们翻了两天才把材料找齐。从那以后存档成了硬规矩。",[15,262,263],{"id":263},"交付物不是越多越好",[11,265,266],{},"九项是上限。有的项目只需要五项，硬凑到九项就是给自己找活。",[11,268,269],{},"判断标准是：这项交付物客户会不会看、看了会不会用。不会看的就别做，做了也是形式。",[11,271,272],{},"我们上个季度砍掉了两个交付物：一个是每周的竞品动态，客户从来不看；一个是每月的关键词新增清单，和排名表重复。",[11,274,275],{},"清单的目的是减少扯皮，不是增加工作量。这个度要自己把握。",{"title":84,"searchDepth":85,"depth":85,"links":277},[278,279,280,281,282,283],{"id":200,"depth":85,"text":200},{"id":215,"depth":85,"text":215},{"id":227,"depth":85,"text":227},{"id":245,"depth":85,"text":245},{"id":254,"depth":85,"text":254},{"id":263,"depth":85,"text":263},"行业观察","2026-07-29","交付物不是只有报告。这篇列出我们每个项目固定交付的九项内容，写清每项的格式、频率和验收方式，避免月底为做没做争论，附九项清单和验收写法。",{},"\u002Fblog\u002Fseo-deliverables-list",{"title":192,"description":286},"blog\u002Fseo-deliverables-list",[292,293,294],"交付管理","验收","项目流程","WBRCsigDuXTWaAUqHk1R6epXYV-bOzduvpYIbtyhBQo",1794088103394]