日志分析工具的价格差距很大，从零成本到一个月几百美元都有。选错的代价不是钱，是数据没人看。我们的判断标准只有一个：你的站每天多少行日志。按这个分三档，基本不会选错。
一天一万行以下：命令行就够
这个量级用 awk 加 grep 就能解决。筛出 Googlebot 和百度蜘蛛的请求，按路径统计次数，按状态码分布看一眼，二十分钟出结果。
写成一个脚本存下来，以后每次跑同一条命令。小站做日志分析的目的通常只有两个：确认蜘蛛来没来、看哪些页面被抓得多。这两个问题不值得买工具。
十万到一百万行：GoAccess 或桌面工具
GoAccess 是开源的，命令行跑完直接输出一个 HTML 报表，状态码、路径、UA、时间分布都有。它的优点是快，一百万行几分钟跑完。
Screaming Frog 的日志分析模块更长于 SEO 视角的解读，能把日志和爬取结果对上，看蜘蛛抓的页面和站内实际页面差多少。缺点是贵，而且大文件要预处理。
我们现在的做法是两者都用：GoAccess 看整体分布，桌面工具看具体页面对不上在哪。
一百万行以上：上云端
这个量级本地方案开始吃力，几十 G 的文件解压、合并、查询都要等。云端日志服务按量计费，写完 SQL 就能查，还能做看板。
一个客户每天 80 万行日志，用云端方案一个月两百美元左右。听着不便宜，但比养一个人天天导数据便宜。
预处理比工具重要
多台服务器的日志要先合并，时区统一到东八区，压缩包先解开，蜘蛛 UA 要先筛出来。这一步不做，什么工具都白搭。
一个更实际的做法
2025 年 12 月我们停掉了所有付费日志看板，改成每个月第一周跑一次固定脚本，输出一份 3 页的 PDF，直接发给客户。里面的内容就四块：蜘蛛请求量趋势、路径分布前 20、状态码分布、和上月的对比。
客户不看后台，他们看结论。你把一个可交互的看板给他，他打开两次就不看了。一份 3 页的 PDF 反而每次都有人读。
我们写了一个预处理脚本，输入原始 access.log，输出只含蜘蛛请求的 CSV，附带时间、路径、状态码、UA。后面换什么工具都能直接用。
我的立场
别为了看蜘蛛抓了多少买一套 BI。日志分析是诊断动作，不是日常报表。一个月看一次够了，平时盯着 GSC 的抓取统计就行。工具越重，越容易变成买了不用。
元析智能
为软件公司做 SEO 和 GEO 优化