偏好设置

我们非常重视您的隐私,因此您可以选择禁用某些对网站基本功能并非必要的存储类型。屏蔽某些类别可能会影响您的网站使用体验。更多信息 (Cookie 政策)

抓取统计:如何阅读 Google Search Console 报告并修复它显示的问题

逐一读懂 Google Search Console 抓取统计报告的每张图表,了解它相比服务器日志遗漏了什么,并学会修复它显示的问题。

发布于
19/11/2026
更新于
19/11/2026
阅读时间
17 分钟
抓取统计:如何阅读 Google Search Console 报告并修复它显示的问题

工具

本页内容

简而言之

Google Search Console 中的抓取统计报告显示 Googlebot 如何请求你的网址:发送了多少请求,下载了多少字节,服务器响应有多快,以及返回了哪些状态码。先看主机状态,再看响应代码,最后看用途和文件类型的分布。这份报告是汇总,不是日志,所以用它来发现问题,再到服务器日志中加以确认。

想深入了解?请询问

快速测验

谁来修复网站的技术问题?

第 1 题,共 4 题25%
现在是什么情况?

什么是抓取统计报告,谁应该打开它

抓取统计是 Google 一侧对 Googlebot 在你网站上活动的视图。它告诉你 Googlebot 做了什么,但不能告诉你页面为什么排名或没有排名。Google 把这份报告描述为面向高级用户的工具,而且网站页面少于一千个的话,可能根本不需要它。如果你只运营一个小型宣传网站,可以先不管它,等情况有变化再说。

Google 公开的 Search Console 产品页面
Google 公开的 Search Console 页面,是抓取和索引工具的入口。

Search Console 是一个产品,包含许多报告。它的公开页面总体介绍抓取和索引:站点地图、网址检查、索引覆盖率。抓取统计位于“设置”下,而不是主菜单中,这也是很多人从没打开过它的原因。

只有根级资源才有这份报告

这份报告只适用于根级资源:网域资源,或基于网站根目录的网址前缀资源。像 example.com/blog/ 这样的子文件夹资源拿不到它。数据只覆盖你选定的网域。发送到同级子域名的请求不会出现在另一个子域名的报告中,但父网域的视图包含其所有子域名。http 和 https 都计入同一个视图。

注意

如果你的网站用语言子域名,比如 en.example.com 和 de.example.com,请分别打开每一个。每个都有自己的数据,德语子域名出现故障时,在英语视图中不会显示。

谁应该使用它

当以下情况之一成立时,打开这份报告:你发布了大量页面,修改了网址结构或更换了主机,Googlebot 的访问似乎比以前少,或者页面已被发现却从未被索引。每月只新增几篇文章的网站,从中学到的几乎只有错误,而这些错误在对网站的常规抓取中更容易发现。

打开报告,逐一阅读每张图表

打开你的资源,进入设置,找到抓取统计,然后点击“打开报告”。顶部有三张图表:抓取请求总数、下载总大小和平均响应时间。下方是主机状态,以及四项分布:抓取响应、文件类型、抓取用途和 Googlebot 类型。每项分布都是基于请求数量的百分比。

Google Search Console 帮助页面,介绍抓取统计报告
Google 关于抓取统计报告的帮助页面。

下面是每个部分统计的内容,以及如何阅读。

报告部分统计内容如何阅读
抓取请求总数对你网址的所有请求,无论成功与否,包括失败的 DNS、连接以及重定向循环尝试。被 robots.txt 阻止的尝试也会计入。突然下降或上升:请检查同一日期的 robots.txt 修改和网址结构。
下载总大小抓取期间下载的字节数。缓存资源只在首次请求时计入。字节数上升而请求数持平,说明你的页面变重了。
平均响应时间获取每个资源的平均时间,每个关联资源分别计算。关注趋势而非单个数值。每次部署后都要观察。
主机状态获取 robots.txt、DNS 解析和服务器连通性。绿色表示过去 90 天没有明显问题,黄色表示一周前的问题,红色表示最近一周的问题。任何红色或黄色项目首先是服务器或网络问题,然后才是 SEO 问题。
抓取响应按类型划分的响应比例,基于请求数量。追踪不良响应的比例随时间的变化,原始数量意义不大。
文件类型按类型划分的响应比例:HTML、图片、JavaScript、CSS、PDF、JSON、视频。基于响应数量,而非字节。显示 Googlebot 把请求花在哪里。JavaScript 和 CSS 比例高,说明你的页面依赖大量资源。
抓取用途发现(Google 从未抓取过的网址)或刷新(对已知网址的重新抓取)。参见下文关于发现与刷新的部分。
Googlebot 类型Smartphone、Desktop、Image、Video、Page resource load、AdsBot、StoreBot 及其他。在以移动优先索引的网站上,Smartphone 应该是最大的一组。出现突然变化时值得检查。

百分比统计的是请求,不是网址

每项分布都统计请求。Googlebot 抓取 50 次的网址计为 50 次。因此,“40% 的响应是 301”告诉你有多少请求命中了重定向,而不是有多少网址在重定向。要知道涉及哪些网址,你需要查看日志。Google 显示的示例网址只是样本,Google 也表示它们并不全面。

报告未显示的内容

Google 的帮助页面称,该报告目前统计了大部分抓取请求,但有些请求可能不会被计入。它还指出,从未到达你服务器的失败请求不会出现在你的日志中。这就是为什么报告能显示你的日志无法显示的 DNS 和连接故障,也是为什么应该同时阅读两个数据源。Google 没有说明图表的保留期限,因此如果你想保留历史数据,每个月都要保存一份自己的副本,可以是截图,也可以是记录数字的简短笔记。

蓝白色等距插图:一个机器人沿着相连的节点移动,朝向一个网站
每一个 Googlebot 请求都从 Google 抵达你的页面,每一次响应都会被记录。

逐步阅读响应代码

响应分布是最常引出修复方案的部分。请按以下顺序阅读,并在第一个显示真正问题的步骤停下来。

分五步排查抓取响应

  1. 检查主机状态robots.txt、DNS 或连通性显示红色或黄色,意味着 Googlebot 根本无法访问你的网站。先解决这个问题。
  2. 查看不良响应5XX、其他 4XX、robots.txt 不可用、超时以及重定向错误。记下它们的比例,以及它是否逐周变化。
  3. 检查重定向比例大量 301 和 302 响应意味着 Googlebot 把请求花在跳转上,而不是页面上。
  4. 确认 404如果页面是有意删除的,404 是正常的。如果你的内部链接或站点地图仍指向它,那就是问题。
  5. 从日志中提取网址把每个不良类别转换成网址列表,然后修复链接的来源,而不是报告本身。

良好、可能良好和不良的响应

Google 把响应分成三组。这种分组只是初步筛选,并非对每个网址的判定。

  • 良好:200、301、302、304 和 meta refresh。
  • 可能良好:404。
  • 不良:robots.txt 不可用、401 和 407、5XX、其他 4XX、DNS 错误、获取错误、超时以及重定向错误。

401 在报告中计为不良,但如果页面位于本应保持关闭的登录之后,它就是正确的。请逐个网址判断。报告告诉你该看哪一组,而每个响应应当是什么样子由你决定。

重定向:你看不到的成本

302 计为良好响应,因此重定向比例可能看起来健康,却仍在浪费抓取。在一份针对大型网站的分析中(2021 年 4 月发表于 Search Engine Journal,作者为 Onely 的 Tomek Rudzki),16% 的请求指向了重定向后的页面,作者建议检查每一个重定向跳转。

链条的危害如下。假设 /blog/seo-tips 重定向到 /blog/seo-tips-2025,后者又重定向到 /blog/seo-tips-guide。Googlebot 需要三次请求才能到达内容,而每个仍指向第一个网址的内部链接都会重复这一成本。让第一个网址直接指向最终地址,并更新内部链接,使其不再使用旧路径。免费的重定向检查工具会逐跳追踪任意网址的链条,因此你可以在修复前看到路径。如果你不确定某个重定向是否应当是永久的,请阅读我们关于 301 与 302 重定向的指南:301 表示移动是永久的,302 表示是临时的。

提示

在日志中按 Googlebot 请求的频率对重定向网址排序。先修复请求最多的五条链条,它们通常占了大部分重定向比例。

5XX 和 429:降低抓取速率的信号

Google 的大型网站指南称,当网站返回服务器错误(5XX)或 HTTP 429 等限速信号时,Google 会降低抓取速率上限。因此 5XX 激增的代价不仅是损坏的网址,它还可能拖慢你正常页面的抓取。网站的抓取预算部分取决于服务器的响应质量,而 5XX 会压缩这部分预算。

看到 5XX 激增时,留意它发生的时间。每天同一时刻的错误指向备份任务、定时导入或访问高峰。新版本发布后立即出现的错误指向该版本。全天分散的错误指向容量问题。每种模式的修复方法不同,而且都无法通过修改单个页面解决。

发现、刷新和文件类型:比例说明了什么

抓取用途分布把请求分为发现和刷新。发现是指 Google 第一次看到某个网址,刷新是指它重新抓取一个已知网址。两者之间的比例说明 Google 在把时间花在什么地方。

  • 在新增页面很少的网站上,发现比例高,说明 Google 不断找到新网址。请查找网址生成器:筛选和排序参数、站内搜索结果页、日历归档、会话 ID。它们中的每一个都会生成看起来是新的网址。
  • 在从不变化的页面上,刷新比例高,说明 Google 不断重访它们。请检查这些页面是否返回 304 Not Modified。Google 表示,对未变化的页面返回 304,会告诉它复用已有的副本。如果这些页面每次都返回带完整字节的 200,那么你的服务器每次访问都在发送整个页面。

一个大型网站,一天的抓取

7460每天平均抓取的页面数
35%这些抓取属于发现抓取,针对 Google 从未获取过的网址

来源:Onely 的 Tomek Rudzki,Search Engine Journal,2021 年 4 月。一个约 100 万页面的网站,积压了大量“已发现,目前未索引”的网址。

同一分析做了一个有用的粗略估算。按照那个速度,它估计积压的网址大约需要一年才能抓取完。这个数字只是一位作者对一个网站的计算,而且截图来自 2021 年,所以不要照搬。这个方法仍然适用于你自己的数据:用报告中等待发现的网址数量除以每天的发现抓取次数。如果结果以月计算,那么在发布更多内容之前,你需要先解决抓取问题。

文件类型分布统计的是响应,而非字节,因此它显示的是每种资源类型收到多少请求,而不是它们有多重。重定向归入“Other file type”,失败的请求显示为“Unknown (Failed)”。Unknown (Failed) 占比不断增长是故障信号,而不是文件类型,应当与不良响应一并处理。

抓取统计、服务器日志与网址检查:观察 Googlebot 的三种视角

有三种方式可以看到 Googlebot 在你网站上做了什么:抓取统计报告、服务器日志,以及 Search Console 中的网址检查工具。每种回答不同的问题,并且各有盲区,其他两种能够弥补。遇到真正的问题时,三者都要用。

抓取统计报告

原理:由 Google 计算的、针对整个资源的 Googlebot 请求汇总。何时使用:用于观察趋势、主机状态以及对问题的初步概览。优点:免费,覆盖从未到达你服务器的故障,并增加了日志无法直接提供的用途和 Googlebot 类型。局限:它只是汇总,部分请求可能不被计入,示例网址只是样本。示例:某个主机上的 5XX 比例连续三天上升。报告告诉你日期和主机,你的日志告诉你网址和时间。

服务器日志

原理:你的 Web 服务器为每个收到的请求写下的原始记录。何时使用:获取精确的网址列表、按小时统计的状态码,以及报告趋势背后的证据。优点:对每个到达服务器的请求都完整,包含精确的网址和状态码。局限:它们不包含在到达服务器之前就失败的请求,user agent 可以伪造,而且大多数服务器会在设定的时间后轮换或删除日志。下面的命令统计了 combined 格式日志中标识为 Googlebot 的请求的状态码:

grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

该命令先匹配 user agent 字符串,再统计状态码,它是 combined 日志格式中的第九个字段。如果你的服务器使用其他格式,请更改字段编号。结果是按状态码计数的表格,出现次数最多的排在前面。

警告

任何人都可以发送声称自己是 Googlebot 的请求。在根据可疑的峰值采取行动之前,请确认这些 IP 地址属于 Google。Google 记录了用于此目的的反向 DNS 检查,在基于 user agent 屏蔽或重定向任何内容之前,值得先做这一步。

网址检查工具

原理:对单个网址的检查,显示 Google 最近一次抓取它的时间、它收到的内容以及它是否已被索引。何时使用:用于确认某一项修复,例如你修改页面后 Google 是否已抓取更正后的版本。优点:对单个网址来说快速、准确且易读。局限:一次只能检查一个网址,因此无法显示全站的规律。在上面提到的分析中,该工具显示某个主要分类页面三个月未被抓取,作者在该页面上用它代替了日志。

抓取统计报告与服务器日志的对比

抓取统计报告
  • 计入失败的 DNS 和连接尝试
  • 显示主机状态和 Googlebot 类型
  • 只显示部分示例网址,而非全部
  • 部分请求可能不被计入
服务器日志
  • 每个到达你服务器的请求
  • 每个请求的精确网址和状态码
  • 会漏掉失败的 DNS 和连接尝试
  • user agent 可以伪造
方法它回答的问题范围盲区
抓取统计报告Googlebot 是否健康,整体表现如何?整个资源,已汇总示例网址为抽样,部分请求可能不被计入
服务器日志哪些确切网址在何时得到了什么响应?每个到达你服务器的请求失败的 DNS 和连接尝试,以及可伪造的 user agent
网址检查Google 最近一次抓取此网址是什么时候,收到了什么?单个网址无法说明网站的其他部分

逐步进行的月度复盘

一个月的数据说明不了多少。只有当你把它与自身的正常水平进行比较时,报告才变得有用,因此请保留一份简短的记录,并每月在同一天复盘。这是对大多数网站都有效的流程。

分六步的月度复盘

  1. 保存当月数据对三张图表、主机状态和响应分布进行截图或记录。
  2. 与基线比较在大规模发布的月份之后,总请求量的变化可能是正常的。5XX 出现新的比例时,总是值得看一看。
  3. 按顺序检查先看主机状态,再看不良响应,最后看重定向比例。
  4. 提取网址对每个不良类别,从日志中取同一时段的主要网址。
  5. 修复源头内部链接、重定向规则、服务器容量或 robots.txt 规则。修复的是源头,而不是图表。
  6. 记录变更写下每次修复的日期,并在阅读下个月数据时牢记这个日期。

本月值得行动的信号

  • 三项检查中的任何一项,主机状态为黄色或红色
  • 5XX 比例连续多天上升,或在同一小时出现峰值
  • 在为移除重定向而进行的网站改动之后,重定向响应反而增加
  • 在发布内容很少的网站上,发现比例仍然很高
  • 单独一天糟糕,而日志没有任何变化:在重复出现之前都是噪音

迁移前后

假设你使用 301 重定向把博客从 /old-blog/ 迁移到 /blog/。迁移后立即,预计重定向比例会上升,因为 Googlebot 仍在请求旧路径。在接下来的几周里,随着 Google 逐渐了解新网址,该比例应当下降。同时,发现比例也应当上升,因为新网址对 Google 来说是新的。如果几周后重定向比例仍然很高,请查找链条、旧的内部链接,或你忘记添加的重定向。我们关于修复失效链接的指南涵盖了同一次清理中的链接部分。

常见错误及避免方法

大多数错误源于把某一张图表当作定论。下面五个错误在报告中都有清晰的迹象,并且都有可以在日志中核实的修复方法。

把抓取请求总数当作评分

是什么:认为抓取请求越多,SEO 就越好。如何发现:在一次新增了筛选或排序选项的版本发布后,请求急剧上升,而新网址带有参数。如何修复:检查日志中的发现比例和网址模式。修复网址生成器:停止链接到带参数的网址,或对没有搜索价值的网址设置 canonical 并阻止抓取。无效请求数量越多,代表的是成本,而不是收获。

相信平均响应时间

是什么:只看平均值,而忽略它掩盖的峰值。如何发现:平均值看起来平稳,但你的日志显示每晚同一时刻响应都很慢。如何修复:按小时和网址对日志分组,然后把缓慢的时段与备份、导入和部署进行对照。修复缓慢的任务或缓慢的模板,然后再次检查平均值。平均值是趋势线,而趋势线无法告诉你缓慢从哪里开始。

页面打开正常时忽视主机状态

是什么:因为网站能在你的浏览器里打开,就认为它是健康的。如何发现:主机状态对 robots.txt、DNS 或连通性显示黄色或红色,而你的页面对你来说运行正常。Googlebot 通过不同的网络路径访问你的网站,防火墙、CDN 规则或 DNS 记录可能在不影响浏览器的情况下阻止它。如何修复:使用 robots.txt 检查工具确认 robots.txt 文件以 200 响应加载,然后检查状态变红那段时间的防火墙和 CDN 规则。

阻止抓取,然后把下降当作进步

是什么:修改 robots.txt 导致抓取请求减少,报告随之显得更平静。如何发现:在修改 robots.txt 当天,抓取请求总数急剧下降。如何修复:如果你阻止的是无价值的路径,下降可能是正确的,但要确认重要部分仍在被抓取。查看日志中对你重要的部分。如果你需要的页面被阻止,我们关于 被 robots.txt 阻止状态的指南解释了如何找到规则以及应该修改什么。

混淆抓取与索引

是什么:把被充分抓取的页面当作已索引的页面。如何发现:Googlebot 定期请求某个网址,但该网址并未出现在 Google 的搜索结果中。抓取次数多并不能证明 Google 保留了该页面。如何修复:从抓取统计报告转到页面索引报告,检查该网址的状态。我们关于已抓取,但目前未索引的指南解释了原因,而Google 索引指南则按顺序介绍了各项检查。

错误如何发现如何修复
把总请求数当作评分出现 URL 参数后请求增加停止生成无用网址,然后重新统计
只看平均响应时间缓慢的时段被平稳的平均值掩盖按小时分组日志,把缓慢时段与任务对应起来
忽视主机状态页面在浏览器中正常,但状态为黄色或红色检查 robots.txt、DNS、防火墙和 CDN 规则
把抓取下降当作进步修改 robots.txt 当天请求下降确认重要部分仍在被抓取
混淆抓取与索引抓取规律,但结果中缺少该网址检查该网址的索引状态

Sorank 的位置,以及下一步做什么

Sorank 的 GEO / SEO 仪表板会把你在 Search Console 中的点击、展示、点击率和排名,与 AI 助手为你带来的访问(数据来自 Google Analytics)放在一起展示。它不显示 Googlebot 的请求,所以这项工作请继续使用抓取统计报告。两个工具回答的是不同的问题:仪表板告诉你 Google 为你带来了什么,而抓取统计告诉你 Google 如何访问你的服务器。

提示

在你花时间查看单个页面的日志之前,先用免费的 Google 可索引性检查工具确认 Google 是否能索引它。它几秒钟就能回答第一个问题。

你看到的先从然后打开
主机状态为红色或黄色robots.txt 检查工具,然后检查 DNS 和主机状态同一日期的服务器日志
5XX 比例上升按小时和网址分组的日志服务器容量,或出错的模板
重定向比例高主要网址上的重定向检查工具重定向链条和旧的内部链接
发现了很多网址,但被索引的很少对样本使用可索引性检查工具我们的日志文件分析指南

抓取统计报告是很好的第一道筛查。它告诉你该怀疑哪一类问题,以及在哪些日期。修复方法几乎总是在一份网址列表里,而这份列表就在你的日志中。先从报告开始,然后再去查看网址。

常见问题

Google Search Console 中的抓取统计报告在哪里?

打开你的资源,进入设置,选择“抓取统计”,然后点击“打开报告”。该报告只适用于网域资源和根级网址前缀资源,因此子文件夹资源不会显示它。

抓取请求数量多是好迹象吗?

不一定。总数会统计每一个请求,包括失败的请求和被 robots.txt 阻止的尝试,所以它只能反映 Googlebot 访问得多,不能反映这些访问是否健康。请结合响应代码和平均响应时间一起阅读。

我能用抓取统计代替服务器日志吗?

不能只靠它。Google 表示,部分请求可能不被计入,而且其示例网址并不全面。用报告来看趋势和故障类别,用日志来获取精确的网址。

免费获取 30 天内容计划

我们免费分析您的竞争对手、网站和 AI 可见度,为您制定专属内容计划。

我们的免费 SEO 工具

查看全部免费工具

免费获取 30 天内容计划

我们免费分析您的竞争对手、网站和 AI 可见度,为您制定专属内容计划。

Sorank 用户照片Sorank 用户照片Sorank 用户照片Celio FabianoSorank 用户照片客户 Xavier Breull 的头像
Google
星形图标星形图标星形图标星形图标星形图标
5/5
+5,000
用户

来自雄心勃勃的创始人的评价

5个月内从0增至10000访客

Celio Fabianomonrobotlavevitre.frGoogle电子商务

8个月内访问量从0增至5000

Thibault BMsorank.comGoogle软件

4个月从0增至1104次点击

Dominiqueflight-sensations-idf.comGoogle休闲与航空

6个月内点击量从0增至163

Coworking Pariscoworking-paris.frGoogleOffice broker

7个月内点击量增长x92倍

Guide Zanzibarguidezanzibar.comGoogle旅游