逐一读懂
Google Search Console 抓取统计报告的每张图表,了解它相比服务器日志遗漏了什么,并学会修复它显示的问题。

本页内容
简而言之
Google Search Console 中的抓取统计报告显示 Googlebot 如何请求你的网址:发送了多少请求,下载了多少字节,服务器响应有多快,以及返回了哪些状态码。先看主机状态,再看响应代码,最后看用途和文件类型的分布。这份报告是汇总,不是日志,所以用它来发现问题,再到服务器日志中加以确认。
想深入了解?请询问
快速测验
谁来修复网站的技术问题?
我们给您的建议
用 Google 免费工具自己检查
Search Console 会列出 Google 无法读取的页面,PageSpeed Insights 可以测试速度。很多小问题在建站平台的设置里就能解决。
我们给您的建议
网站开发者
问题出在代码或服务器上:找一位懂 SEO 的开发者最合适。把 Search Console 里的错误列表交给他。
我们给您的建议
技术审核工具
您的网站页面很多:爬虫会像 Google 一样读取所有页面,逐页列出需要修复的错误。
我们给您的建议
先自动审核,再做内容
网站运行正常但访客很少:原因很少出在技术上。Sorank 审核网站,然后撰写能带来流量的页面。
抓取统计是 Google 一侧对 Googlebot 在你网站上活动的视图。它告诉你 Googlebot 做了什么,但不能告诉你页面为什么排名或没有排名。Google 把这份报告描述为面向高级用户的工具,而且网站页面少于一千个的话,可能根本不需要它。如果你只运营一个小型宣传网站,可以先不管它,等情况有变化再说。

Search Console 是一个产品,包含许多报告。它的公开页面总体介绍抓取和索引:站点地图、网址检查、索引覆盖率。抓取统计位于“设置”下,而不是主菜单中,这也是很多人从没打开过它的原因。
这份报告只适用于根级资源:网域资源,或基于网站根目录的网址前缀资源。像 example.com/blog/ 这样的子文件夹资源拿不到它。数据只覆盖你选定的网域。发送到同级子域名的请求不会出现在另一个子域名的报告中,但父网域的视图包含其所有子域名。http 和 https 都计入同一个视图。
注意
如果你的网站用语言子域名,比如 en.example.com 和 de.example.com,请分别打开每一个。每个都有自己的数据,德语子域名出现故障时,在英语视图中不会显示。
当以下情况之一成立时,打开这份报告:你发布了大量页面,修改了网址结构或更换了主机,Googlebot 的访问似乎比以前少,或者页面已被发现却从未被索引。每月只新增几篇文章的网站,从中学到的几乎只有错误,而这些错误在对网站的常规抓取中更容易发现。
打开你的资源,进入设置,找到抓取统计,然后点击“打开报告”。顶部有三张图表:抓取请求总数、下载总大小和平均响应时间。下方是主机状态,以及四项分布:抓取响应、文件类型、抓取用途和 Googlebot 类型。每项分布都是基于请求数量的百分比。

下面是每个部分统计的内容,以及如何阅读。
| 报告部分 | 统计内容 | 如何阅读 |
|---|---|---|
| 抓取请求总数 | 对你网址的所有请求,无论成功与否,包括失败的 DNS、连接以及重定向循环尝试。被 robots.txt 阻止的尝试也会计入。 | 突然下降或上升:请检查同一日期的 robots.txt 修改和网址结构。 |
| 下载总大小 | 抓取期间下载的字节数。缓存资源只在首次请求时计入。 | 字节数上升而请求数持平,说明你的页面变重了。 |
| 平均响应时间 | 获取每个资源的平均时间,每个关联资源分别计算。 | 关注趋势而非单个数值。每次部署后都要观察。 |
| 主机状态 | 获取 robots.txt、DNS 解析和服务器连通性。绿色表示过去 90 天没有明显问题,黄色表示一周前的问题,红色表示最近一周的问题。 | 任何红色或黄色项目首先是服务器或网络问题,然后才是 SEO 问题。 |
| 抓取响应 | 按类型划分的响应比例,基于请求数量。 | 追踪不良响应的比例随时间的变化,原始数量意义不大。 |
| 文件类型 | 按类型划分的响应比例:HTML、图片、JavaScript、CSS、PDF、JSON、视频。基于响应数量,而非字节。 | 显示 Googlebot 把请求花在哪里。JavaScript 和 CSS 比例高,说明你的页面依赖大量资源。 |
| 抓取用途 | 发现(Google 从未抓取过的网址)或刷新(对已知网址的重新抓取)。 | 参见下文关于发现与刷新的部分。 |
| Googlebot 类型 | Smartphone、Desktop、Image、Video、Page resource load、AdsBot、StoreBot 及其他。 | 在以移动优先索引的网站上,Smartphone 应该是最大的一组。出现突然变化时值得检查。 |
每项分布都统计请求。Googlebot 抓取 50 次的网址计为 50 次。因此,“40% 的响应是 301”告诉你有多少请求命中了重定向,而不是有多少网址在重定向。要知道涉及哪些网址,你需要查看日志。Google 显示的示例网址只是样本,Google 也表示它们并不全面。
Google 的帮助页面称,该报告目前统计了大部分抓取请求,但有些请求可能不会被计入。它还指出,从未到达你服务器的失败请求不会出现在你的日志中。这就是为什么报告能显示你的日志无法显示的 DNS 和连接故障,也是为什么应该同时阅读两个数据源。Google 没有说明图表的保留期限,因此如果你想保留历史数据,每个月都要保存一份自己的副本,可以是截图,也可以是记录数字的简短笔记。

响应分布是最常引出修复方案的部分。请按以下顺序阅读,并在第一个显示真正问题的步骤停下来。
分五步排查抓取响应
Google 把响应分成三组。这种分组只是初步筛选,并非对每个网址的判定。
401 在报告中计为不良,但如果页面位于本应保持关闭的登录之后,它就是正确的。请逐个网址判断。报告告诉你该看哪一组,而每个响应应当是什么样子由你决定。
302 计为良好响应,因此重定向比例可能看起来健康,却仍在浪费抓取。在一份针对大型网站的分析中(2021 年 4 月发表于 Search Engine Journal,作者为 Onely 的 Tomek Rudzki),16% 的请求指向了重定向后的页面,作者建议检查每一个重定向跳转。
链条的危害如下。假设 /blog/seo-tips 重定向到 /blog/seo-tips-2025,后者又重定向到 /blog/seo-tips-guide。Googlebot 需要三次请求才能到达内容,而每个仍指向第一个网址的内部链接都会重复这一成本。让第一个网址直接指向最终地址,并更新内部链接,使其不再使用旧路径。免费的重定向检查工具会逐跳追踪任意网址的链条,因此你可以在修复前看到路径。如果你不确定某个重定向是否应当是永久的,请阅读我们关于 301 与 302 重定向的指南:301 表示移动是永久的,302 表示是临时的。
提示
在日志中按 Googlebot 请求的频率对重定向网址排序。先修复请求最多的五条链条,它们通常占了大部分重定向比例。
Google 的大型网站指南称,当网站返回服务器错误(5XX)或 HTTP 429 等限速信号时,Google 会降低抓取速率上限。因此 5XX 激增的代价不仅是损坏的网址,它还可能拖慢你正常页面的抓取。网站的抓取预算部分取决于服务器的响应质量,而 5XX 会压缩这部分预算。
看到 5XX 激增时,留意它发生的时间。每天同一时刻的错误指向备份任务、定时导入或访问高峰。新版本发布后立即出现的错误指向该版本。全天分散的错误指向容量问题。每种模式的修复方法不同,而且都无法通过修改单个页面解决。
抓取用途分布把请求分为发现和刷新。发现是指 Google 第一次看到某个网址,刷新是指它重新抓取一个已知网址。两者之间的比例说明 Google 在把时间花在什么地方。
一个大型网站,一天的抓取
来源:Onely 的 Tomek Rudzki,Search Engine Journal,2021 年 4 月。一个约 100 万页面的网站,积压了大量“已发现,目前未索引”的网址。
同一分析做了一个有用的粗略估算。按照那个速度,它估计积压的网址大约需要一年才能抓取完。这个数字只是一位作者对一个网站的计算,而且截图来自 2021 年,所以不要照搬。这个方法仍然适用于你自己的数据:用报告中等待发现的网址数量除以每天的发现抓取次数。如果结果以月计算,那么在发布更多内容之前,你需要先解决抓取问题。
文件类型分布统计的是响应,而非字节,因此它显示的是每种资源类型收到多少请求,而不是它们有多重。重定向归入“Other file type”,失败的请求显示为“Unknown (Failed)”。Unknown (Failed) 占比不断增长是故障信号,而不是文件类型,应当与不良响应一并处理。
有三种方式可以看到 Googlebot 在你网站上做了什么:抓取统计报告、服务器日志,以及 Search Console 中的网址检查工具。每种回答不同的问题,并且各有盲区,其他两种能够弥补。遇到真正的问题时,三者都要用。
原理:由 Google 计算的、针对整个资源的 Googlebot 请求汇总。何时使用:用于观察趋势、主机状态以及对问题的初步概览。优点:免费,覆盖从未到达你服务器的故障,并增加了日志无法直接提供的用途和 Googlebot 类型。局限:它只是汇总,部分请求可能不被计入,示例网址只是样本。示例:某个主机上的 5XX 比例连续三天上升。报告告诉你日期和主机,你的日志告诉你网址和时间。
原理:你的 Web 服务器为每个收到的请求写下的原始记录。何时使用:获取精确的网址列表、按小时统计的状态码,以及报告趋势背后的证据。优点:对每个到达服务器的请求都完整,包含精确的网址和状态码。局限:它们不包含在到达服务器之前就失败的请求,user agent 可以伪造,而且大多数服务器会在设定的时间后轮换或删除日志。下面的命令统计了 combined 格式日志中标识为 Googlebot 的请求的状态码:
grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
该命令先匹配 user agent 字符串,再统计状态码,它是 combined 日志格式中的第九个字段。如果你的服务器使用其他格式,请更改字段编号。结果是按状态码计数的表格,出现次数最多的排在前面。
警告
任何人都可以发送声称自己是 Googlebot 的请求。在根据可疑的峰值采取行动之前,请确认这些 IP 地址属于 Google。Google 记录了用于此目的的反向 DNS 检查,在基于 user agent 屏蔽或重定向任何内容之前,值得先做这一步。
原理:对单个网址的检查,显示 Google 最近一次抓取它的时间、它收到的内容以及它是否已被索引。何时使用:用于确认某一项修复,例如你修改页面后 Google 是否已抓取更正后的版本。优点:对单个网址来说快速、准确且易读。局限:一次只能检查一个网址,因此无法显示全站的规律。在上面提到的分析中,该工具显示某个主要分类页面三个月未被抓取,作者在该页面上用它代替了日志。
抓取统计报告与服务器日志的对比
| 方法 | 它回答的问题 | 范围 | 盲区 |
|---|---|---|---|
| 抓取统计报告 | Googlebot 是否健康,整体表现如何? | 整个资源,已汇总 | 示例网址为抽样,部分请求可能不被计入 |
| 服务器日志 | 哪些确切网址在何时得到了什么响应? | 每个到达你服务器的请求 | 失败的 DNS 和连接尝试,以及可伪造的 user agent |
| 网址检查 | Google 最近一次抓取此网址是什么时候,收到了什么? | 单个网址 | 无法说明网站的其他部分 |
一个月的数据说明不了多少。只有当你把它与自身的正常水平进行比较时,报告才变得有用,因此请保留一份简短的记录,并每月在同一天复盘。这是对大多数网站都有效的流程。
分六步的月度复盘
本月值得行动的信号
假设你使用 301 重定向把博客从 /old-blog/ 迁移到 /blog/。迁移后立即,预计重定向比例会上升,因为 Googlebot 仍在请求旧路径。在接下来的几周里,随着 Google 逐渐了解新网址,该比例应当下降。同时,发现比例也应当上升,因为新网址对 Google 来说是新的。如果几周后重定向比例仍然很高,请查找链条、旧的内部链接,或你忘记添加的重定向。我们关于修复失效链接的指南涵盖了同一次清理中的链接部分。
大多数错误源于把某一张图表当作定论。下面五个错误在报告中都有清晰的迹象,并且都有可以在日志中核实的修复方法。
是什么:认为抓取请求越多,SEO 就越好。如何发现:在一次新增了筛选或排序选项的版本发布后,请求急剧上升,而新网址带有参数。如何修复:检查日志中的发现比例和网址模式。修复网址生成器:停止链接到带参数的网址,或对没有搜索价值的网址设置 canonical 并阻止抓取。无效请求数量越多,代表的是成本,而不是收获。
是什么:只看平均值,而忽略它掩盖的峰值。如何发现:平均值看起来平稳,但你的日志显示每晚同一时刻响应都很慢。如何修复:按小时和网址对日志分组,然后把缓慢的时段与备份、导入和部署进行对照。修复缓慢的任务或缓慢的模板,然后再次检查平均值。平均值是趋势线,而趋势线无法告诉你缓慢从哪里开始。
是什么:因为网站能在你的浏览器里打开,就认为它是健康的。如何发现:主机状态对 robots.txt、DNS 或连通性显示黄色或红色,而你的页面对你来说运行正常。Googlebot 通过不同的网络路径访问你的网站,防火墙、CDN 规则或 DNS 记录可能在不影响浏览器的情况下阻止它。如何修复:使用 robots.txt 检查工具确认 robots.txt 文件以 200 响应加载,然后检查状态变红那段时间的防火墙和 CDN 规则。
是什么:修改 robots.txt 导致抓取请求减少,报告随之显得更平静。如何发现:在修改 robots.txt 当天,抓取请求总数急剧下降。如何修复:如果你阻止的是无价值的路径,下降可能是正确的,但要确认重要部分仍在被抓取。查看日志中对你重要的部分。如果你需要的页面被阻止,我们关于 被 robots.txt 阻止状态的指南解释了如何找到规则以及应该修改什么。
是什么:把被充分抓取的页面当作已索引的页面。如何发现:Googlebot 定期请求某个网址,但该网址并未出现在 Google 的搜索结果中。抓取次数多并不能证明 Google 保留了该页面。如何修复:从抓取统计报告转到页面索引报告,检查该网址的状态。我们关于已抓取,但目前未索引的指南解释了原因,而Google 索引指南则按顺序介绍了各项检查。
| 错误 | 如何发现 | 如何修复 |
|---|---|---|
| 把总请求数当作评分 | 出现 URL 参数后请求增加 | 停止生成无用网址,然后重新统计 |
| 只看平均响应时间 | 缓慢的时段被平稳的平均值掩盖 | 按小时分组日志,把缓慢时段与任务对应起来 |
| 忽视主机状态 | 页面在浏览器中正常,但状态为黄色或红色 | 检查 robots.txt、DNS、防火墙和 CDN 规则 |
| 把抓取下降当作进步 | 修改 robots.txt 当天请求下降 | 确认重要部分仍在被抓取 |
| 混淆抓取与索引 | 抓取规律,但结果中缺少该网址 | 检查该网址的索引状态 |
Sorank 的 GEO / SEO 仪表板会把你在 Search Console 中的点击、展示、点击率和排名,与 AI 助手为你带来的访问(数据来自 Google Analytics)放在一起展示。它不显示 Googlebot 的请求,所以这项工作请继续使用抓取统计报告。两个工具回答的是不同的问题:仪表板告诉你 Google 为你带来了什么,而抓取统计告诉你 Google 如何访问你的服务器。
提示
在你花时间查看单个页面的日志之前,先用免费的 Google 可索引性检查工具确认 Google 是否能索引它。它几秒钟就能回答第一个问题。
| 你看到的 | 先从 | 然后打开 |
|---|---|---|
| 主机状态为红色或黄色 | robots.txt 检查工具,然后检查 DNS 和主机状态 | 同一日期的服务器日志 |
| 5XX 比例上升 | 按小时和网址分组的日志 | 服务器容量,或出错的模板 |
| 重定向比例高 | 主要网址上的重定向检查工具 | 重定向链条和旧的内部链接 |
| 发现了很多网址,但被索引的很少 | 对样本使用可索引性检查工具 | 我们的日志文件分析指南 |
抓取统计报告是很好的第一道筛查。它告诉你该怀疑哪一类问题,以及在哪些日期。修复方法几乎总是在一份网址列表里,而这份列表就在你的日志中。先从报告开始,然后再去查看网址。
打开你的资源,进入设置,选择“抓取统计”,然后点击“打开报告”。该报告只适用于网域资源和根级网址前缀资源,因此子文件夹资源不会显示它。
不一定。总数会统计每一个请求,包括失败的请求和被 robots.txt 阻止的尝试,所以它只能反映 Googlebot 访问得多,不能反映这些访问是否健康。请结合响应代码和平均响应时间一起阅读。
不能只靠它。Google 表示,部分请求可能不被计入,而且其示例网址并不全面。用报告来看趋势和故障类别,用日志来获取精确的网址。

