发现并修复抓取错误:DNS、服务器、robots.txt、404、软 404 和重定向错误。了解 Googlebot 如何应对每一种错误,以及按顺序修复它们的 6 步方法。

本页内容
简而言之
抓取错误是搜索引擎或 AI 爬虫向你的网站发出却失败的请求:服务器超时、DNS 没有应答、robots.txt 无法获取、重定向陷入循环,或者页面返回 4xx 或 5xx 状态码。站点级错误(DNS、服务器、robots.txt)可能让 Google 停止抓取整个网站,所以要最先修复;网址级错误(404、软 404、重定向错误)只有在影响你希望被索引的页面时才重要。你可以在 Search Console 的 Crawl Stats 和 Page indexing 报告中找到它们,再用爬虫工具和服务器日志确认,然后修复根源并验证。
想深入了解?请询问
快速测验
谁来修复网站的技术问题?
我们给您的建议
用 Google 免费工具自己检查
Search Console 会列出 Google 无法读取的页面,PageSpeed Insights 可以测试速度。很多小问题在建站平台的设置里就能解决。
我们给您的建议
网站开发者
问题出在代码或服务器上:找一位懂 SEO 的开发者最合适。把 Search Console 里的错误列表交给他。
我们给您的建议
技术审核工具
您的网站页面很多:爬虫会像 Google 一样读取所有页面,逐页列出需要修复的错误。
我们给您的建议
先自动审核,再做内容
网站运行正常但访客很少:原因很少出在技术上。Sorank 审核网站,然后撰写能带来流量的页面。
爬虫就像一位非常有耐心的访客。它向你的服务器请求一个网址,等待回应,读取状态码和内容,然后转向它发现的链接。抓取错误就是这条链路中任何失败的一步。访客始终拿不到一个可用的页面。
这个定义很重要,因为许多报告把抓取错误和索引决策混在一起。"Crawled, currently not indexed" 不是抓取错误:Google 已经成功抓取页面,只是选择不收录。"Excluded by noindex" 也不是抓取错误:是你告诉 Google 删除这个页面。抓取错误指的是抓取本身出了问题。
Google 把问题分为两个层级,你也应该这样做。
站点错误与网址错误对比
一家有 4000 个旧商品网址返回 404 的网店,如果这些商品已永久下架,网站可能完全健康。同一家网店如果 robots.txt 连续六小时返回 503,就是真正的紧急情况,即使所有商品页都正常。先处理主机,再处理带来收入的网址,最后处理其余的。
要修好抓取错误,你需要知道 Google 遇到它们时实际会怎么做。Google 关于HTTP 状态码和网络错误如何影响 Google 搜索的文档(Google Search Central)给出了规则。下面是它们在实践中的含义。
| 响应 | Google 的做法 | 是问题吗? |
|---|---|---|
| 2xx | 把内容交给索引流程。不保证被索引。 | 不是,除非页面是空的(软 404)。 |
| 301、308 | 强信号,表明目标是新网址。 | 不是,只要一跳就到 200。 |
| 302、303、307 | 弱信号:原网址往往仍是规范网址。 | 是,如果迁移是永久的。 |
| 3xx 链条 | 默认最多跟随 10 跳,然后放弃。 | 是:每一跳都浪费一次请求,循环永远无法结束。 |
| 404、410 及其他 4xx(429 除外) | 视为内容不存在,逐渐从索引中移除,并降低抓取频率。 | 只有当页面本应存在时才是。 |
| 401、403 | 与其他 4xx 相同。不会降低抓取速度。 | 是,如果它们阻止 Googlebot 访问公开页面。 |
| 429 | 被视为服务器过载信号,与 5xx 相同。 | 是:抓取会变慢。 |
| 5xx | 按错误比例降低抓取速度。持续失败的网址会被移出索引。 | 是,始终是。 |
有两个细节让很多团队踩坑。第一,401 和 403 不会降低抓取频率。如果服务器吃力,向 Googlebot 返回 403 没有帮助;Google 建议临时返回 503 或 429。第二,404 不是惩罚。对于已不存在的页面,它是正确的回答。
Google 的Crawl Stats 报告文档(Search Console Help)解释了这条规则。robots.txt 返回 200(即使为空)或 403、404、410(没有文件)都没问题。返回 429 或 5xx 则属于失败,这时 Google 会采取保守做法。
robots.txt 持续失败时 Google 的做法
来源:Google Search Console Help,Crawl Stats 报告
所以,一条在 /robots.txt 上返回 503 的 CDN 规则或防火墙,就可能让整个网站冻结半天,即使其他网址都正常。任何抓取错误排查都应先检查这个文件。我们关于"Blocked by robots.txt" 状态的指南讨论的是相反的问题:文件能正常访问,但屏蔽得太多。
值得记住的 Google 抓取限制
来源:Google Search Central,HTTP 状态码和网络错误;Search Console Help,Crawl Stats 报告

下面是你会在 Search Console 和爬虫工具中遇到的完整清单,附上每种错误的原因和修复方法。名称沿用 Google 的Page indexing 报告文档(Search Console Help)。
Google 无法把你的域名解析为 IP 地址,或者 DNS 服务器没有应答。常见原因:域名过期、DNS 服务商故障、迁移后记录错误,或 DNSSEC 配置错误。从你的网络之外做一次查询来检查:
dig +short example.com A
dig +short www.example.com CNAME
dig example.com +dnssec
修复:更正记录,任何迁移前先调低 TTL,并选用有冗余的 DNS 服务商。如果 example.com 和 www.example.com 都存在,两者都必须能解析,即使其中一个只做重定向。
服务器没有及时响应、关闭了连接,或返回了 500、502、503 或 504。典型原因:数据库过载、PHP 或 Node 进程在高负载下崩溃、反向代理超时、插件更新,或防火墙对机器人限速。看看时间规律:每晚同一时间出错,往往指向备份或 cron 任务。
修复:在 Google 报告的时间点查看服务器错误日志,提高超时时间或工作进程数,缓存重量级页面,并确保机器人防护放行经过验证的 Googlebot。计划内维护时,返回带 Retry-After 头的 503,而不是一个写着"马上回来"的 200 页面:
HTTP/1.1 503 Service Unavailable
Retry-After: 3600
页面不存在。如果是有意删除且没有任何链接指向它,这没有问题。如果这个网址仍有外链、流量或内链,或者页面本应存在却被一次发布弄坏了,那就是问题。
修复:如果内容已迁移,添加一个 301 指向最接近的对应页面。如果永久消失,保留 404 或使用 410,并删除指向它的内链和站点地图条目。千万不要把所有 404 都重定向到首页:Google 往往会把它们当作软 404。
服务器返回 200,但页面看起来是空的或写着"未找到":空分类、没有结果的搜索页、缺货且无内容的商品页。Google 花了一次请求却一无所获。我们在软 404 错误指南中有深入讲解。
Googlebot 从不发送登录凭据,所以公开页面上的 401 或 403 意味着你的服务器或某个安全层在拦截它。常见原因:测试环境的密码留在了正式环境、WAF 规则、按国家封锁,或作用于 HTML 的防盗链规则。修复规则而不是症状,并用 Search Console 的 URL Inspection 工具测试。
当 Google 遇到循环、过长的链条、超过最大长度的网址,或链条中出现错误或空网址时,就会报告重定向错误。迁移后的典型情况:http 跳到 https,再跳到 www,再加上末尾斜杠,再跳到新路径。一跳就够的地方用了四跳。我们的SEO 重定向完整指南讲解了如何合并它们。
提示
把任何可疑网址粘贴到免费的 Sorank 重定向检查工具:它会跟随完整链条,显示每一跳及其状态码,并告诉你循环或多余的一跳在哪里。
有些错误根本不显示状态码。页面开始加载后中断,或者太重,爬虫只读取了一部分。Google 爬虫对每个文件读取的字节数有限,所以塞满内联脚本或 base64 图片的页面可能丢失底部内容。用页面大小检查工具检查重量级模板。
没有任何单一工具能显示所有抓取错误。每种方法从不同角度看问题,严谨的审核至少结合两种。
原理:Google 展示自己过去 90 天的抓取请求,按响应、文件类型、目的和 Googlebot 类型分组,并显示 DNS、服务器和 robots.txt 的主机状态。何时使用:始终使用,而且首先用于站点错误。优点:这是来自 Google 本身的真实数据。局限:只适用于根级资源,示例是抽样的,而且 Google 表示一千页以下的网站很少需要它。示例:每周日凌晨 3 点出现 "page timeout" 响应高峰,恰好与数据库备份时间吻合。

原理:列出 Google 知道的网址以及它们未被索引的原因,例如 Server error (5xx)、Redirect error、Not found (404) 或 Soft 404。何时使用:用于分类网址错误和验证修复。优点:与 Google 实际尝试过的页面挂钩。局限:报告有几天延迟,示例列表有上限,而且混合了抓取错误和索引选择。示例:"Redirect error" 下的 300 个网址都带有同一个旧前缀 /blog/。
原理:像 Screaming Frog 这样的工具会像机器人一样从首页沿链接抓取你的网站,记录每个状态码、重定向链和失效链接。何时使用:网站迁移、改版或大版本发布前后,以及大型网站每月一次。优点:即时、对有链接的页面覆盖完整,并显示每个失效链接所在位置。局限:它不知道 Google 实际请求了什么,会漏掉孤立页面,而且你的服务器可能对它和对 Googlebot 区别对待。我们的 Screaming Frog 设置指南带你完成一次完整审核。

原理:访问日志记录每一个请求,包括来自 Googlebot、Bingbot、GPTBot、ClaudeBot 和 PerplexityBot 的请求,以及准确的状态码和响应时间。何时使用:大型网站、无法解释的流量下降之后,以及想了解 AI 爬虫访问了什么时。优点:真实请求、真实状态码、无抽样、覆盖所有机器人。局限:需要访问日志并写一点脚本;必须核实"Googlebot"确实是 Google。我们的SEO 日志文件分析指南会一步步讲解。先快速看一眼:
# Googlebot requests that did not return 200, 301 or 304, most frequent first
grep -i "googlebot" access.log | awk '$9 !~ /^(200|301|304)$/ {print $9, $7}' | sort | uniq -c | sort -rn | head -50
原理:用 curl 或免费在线检查工具一次测试一个网址。何时使用:确认修复,或在发布后检查关键页面。优点:即时且精确。局限:无法规模化。使用 Googlebot 的用户代理,才能发现对机器人区别对待的规则:
curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page/
curl -sIL https://example.com/old-page/ | grep -iE "^(HTTP|location)"
| 方法 | 能看到站点错误 | 能看到网址错误 | 真实 Googlebot 数据 | 能看到 AI 爬虫 | 最适合 |
|---|---|---|---|---|---|
| Crawl Stats 报告 | 是 | 抽样 | 是 | 否 | 主机健康 |
| Page indexing 报告 | 部分 | 是 | 是 | 否 | 分类与验证 |
| 爬虫工具(Screaming Frog...) | 否 | 是,限有链接的页面 | 否 | 否 | 从源头找到失效链接 |
| 服务器日志 | 部分 | 是 | 是 | 是 | 大型网站、根本原因 |
| 单个网址检查 | 否 | 一次一个 | 否 | 否 | 确认修复 |
5xx 状态表示服务器无法处理一个看似有效的请求。Google 会因此降低抓取频率,返回错误的 URL 越多,降低得越明显。Google 会在一段时间内保留已索引的 URL,但会移除持续返回服务器错误的 URL。短暂的故障是可以恢复的:一旦服务器开始返回 2xx 状态码,Google 会逐步提高抓取速率。真正损害索引的,是长时间的错误。
每个 5xx 状态码都指向技术栈的不同部分。下表为每个状态码提供了首先应检查的位置。
| 状态码 | 通常表示 | 首先检查 |
|---|---|---|
| 500 | 应用程序在处理请求时失败 | 请求发生时刻的应用错误日志 |
| 502 | 代理或 CDN 从应用程序收到了无效响应,通常是因为应用崩溃或重启 | 应用进程的重启记录和运行时间 |
| 503 | 服务过载、被限流或正在维护 | 负载图表、部署记录和维护时段 |
| 504 | 代理等待应用程序响应超时 | 数据库慢查询和代理超时设置 |
| 429 | 限流器提示请求过多 | 限流规则,以及这些规则是否作用于已验证的 Googlebot |
Crawl Stats 会显示 Google 遇到错误的日期和时段(我们的 Crawl Stats 指南解释了每张图表)。服务器日志则显示那些精确时刻发生了什么。筛选 Googlebot 的请求,并按小时统计 5xx 响应:
grep -i 'googlebot' access.log | awk '$9 ~ /^5/ {print substr($4,2,14), $9}' | sort | uniq -c
输出的每一行分别代表一个小时、一个状态码和一个计数。如果每晚同一个小时都集中出现错误,通常是备份、定时任务或计划导入造成的。如果错误分散在全天,通常是负载问题,因此解决方案是扩容或加强缓存,而不是修复某个单一 bug。更深入的方法请参阅我们的日志文件分析指南。
Google 会按返回错误的 URL 数量相应减少抓取。一个只影响少数 URL 的错误模板,损失的抓取时间很少。导致每个页面都无法访问的数据库故障代价很大,应该最优先修复。
429 的影响与 5xx 相同,因为 Google 会将其视为服务器过载。如果你的限流器或机器人防护向 Googlebot 返回 429,你就要用抓取时间来买单。Google 的文档没有提到 Retry-After 响应头。请继续为真实访客和 API 客户端保留它,但不要指望 Googlebot 会等待你设定的时间。
4xx 状态表示服务器因客户端方面的原因拒绝了请求:URL 不存在、访问被禁止,或地址格式有误。除 429 外,Google 对所有 4xx 的处理方式相同。它会停止使用该 URL 背后的内容,如果该 URL 已被索引,还会将其从索引中移除。修复 4xx 之前,先弄清请求从哪里来,因为修复点通常只有一处:一个链接、一个模板,或一条重定向规则。
访问日志会记录每个请求的来源页(referrer),也就是是哪个页面把访问者或机器人带到了这个 URL。按路径和来源页统计 4xx 响应:
awk '$9 ~ /^4/ {print $9, $7}' access.log | sort | uniq -c | sort -rn | head -20
awk '$9 ~ /^4/ {print $11, $7}' access.log | sort | uniq -c | sort -rn | head -20
按如下方式读取来源页列:
重命名路由、修改 slug 或重建模板的发布,往往会在同一天产生大量 404。导出部署前一周和部署后一周每天的 4xx 数量。如果增长集中在某个文件夹,就直接指向了这次改动。从旧 URL 到新 URL 的重定向应该在同一次发布中添加,而不是留到之后的工单里。如需完整的迁移流程,请参阅我们的 SEO 迁移清单。
提示
不要用返回短消息或空列表的 200 响应来替代缺失的页面。Google 可能会将其视为软 404,这样既耗费一次完整抓取,又得不到任何回报。
这是我们使用的方法。它从可能让整个网站停摆的错误开始,到只浪费少量抓取的错误结束。
抓取错误 6 步法
在 Search Console 中,依次打开 Settings、Crawl stats、Host status。绿色表示 90 天内没有严重问题。"Recent issue" 表示过去一周有严重问题:放下其他一切。点击每个类别查看每日失败率,再把出问题的日子和你的主机、CDN 及发布记录对照。
依次打开 Indexing、Pages,导出每个错误原因。不要一个一个修网址。把它们放进电子表格,提取第一级目录:
=REGEXEXTRACT(A2, "^https?://[^/]+(/[^/]*/?)")
对这一列做数据透视,通常会发现大部分错误来自两三个模板:已停用的博客分类、某个筛选参数、旧的商品数据源。
对每种模式问四个问题。它有自然搜索点击吗?有外链吗?有内链吗?在站点地图里吗?四项都没有的 404 可以永远不管。有外链的 404 今天就需要 301。免费的失效链接检查工具会显示你的哪些页面仍链接到失效网址。
修规则,不修网址。服务器配置里的一份重定向映射,胜过在插件里手动添加 400 条重定向。例如在 nginx 中:
map $request_uri $new_uri {
/old-blog/seo-tips/ /blog-geo-seo/seo-best-practices/;
/old-blog/sitemaps/ /blog-geo-seo/how-to-create-a-sitemap/;
}
server {
if ($new_uri) { return 301 $new_uri; }
}
对于 5xx,修复容量或程序缺陷。对于 401 和 403,修复安全规则。对于软 404,要么补充真实内容,要么返回真正的 404。
每个内链都应直接指向返回 200 的网址。站点地图中的每个条目都应是规范的、可索引的、返回 200 的网址。满是重定向和 404 的站点地图会让 Google 越来越不信任它。我们的如何创建站点地图指南说明了哪些内容应该放进去。
在 Page indexing 报告中,打开已修复的原因并点击 Validate fix。Google 先检查一个样本,再检查其余部分;通常需要大约两周,只要有一个网址仍然失败就会停止。运行期间不要再次点击。然后建立每周例行检查:Crawl Stats 看主机,日志看高峰,每次发布后做一次抓取。
修复前后的重定向链
是什么:一个插件或规则把所有缺失网址都发送到 /。如何发现:"Soft 404" 或 "Page with redirect" 中有大量网址都落到首页;爬虫显示数百个目标相同的 301。如何修复:只重定向到相近的对应页面,其余的让它们返回 404 或 410。
是什么:WAF、机器人管理器或限速器向 Google 返回 403、429 或验证页面。如何发现:Crawl Stats 中出现 403 或 429,而页面在你的浏览器中加载正常;日志按 IP 显示拦截记录。如何修复:通过反向 DNS 或 Google 公布的 IP 段放行经过验证的 Googlebot,而不是信任用户代理字符串。
是什么:robots.txt 由应用生成,应用一出错它就出错;或者经由 CDN 规则提供,缓存了 5xx。如何发现:Host status 中 robots.txt 获取类别不是绿色。如何修复:把它作为应用之外的静态文件提供,并用 robots.txt 检查工具测试。
是什么:所有网址都以 200 状态显示一个"马上回来"页面。如何发现:维护结束后出现一波软 404 或重复标题。如何修复:维护期间返回带 Retry-After 的 503,并尽量缩短维护时间。
是什么:服务器过载时向 Googlebot 返回 403。如何发现:403 高峰与负载高峰同时出现。如何修复:Google 表示除 429 外的 4xx 状态码对抓取频率没有影响。短时间返回 503 或 429,并解决容量问题。
是什么:在 Search Console 列表里逐个点开并编辑每个网址。如何发现:同一个原因每个月都会回来。如何修复:按模式分组,修复模板或规则,然后一次性验证。
是什么:花好几天处理垃圾网址或早已删除且无链接页面的 404。如何发现:这些网址没有点击、没有外链、也没有内链。如何修复:别管它们。Google 表示已删除页面的 404 不一定是问题。
警告
千万不要在 robots.txt 中屏蔽某个网址来"隐藏"抓取错误。Google 将无法再看到 404 或重定向,网址可能仍留在索引中,而你也失去了本想传达的信号。
在只有几百个页面的网站上,Google 有时间抓取一切,抓取错误主要影响被它们破坏的页面。在大型网站上(带筛选的网店、电商平台、新闻网站),每个失败或浪费的请求都会挤占你真正页面的时间。这就是抓取预算背后的概念。
5xx 和 429 会让 Google 在整个主机上放慢速度,所以几个损坏的模板就可能拖延新商品页的抓取。重定向链每一跳都要一次请求。软 404 要完整抓取一次,却一无所获。修好这三类,同样的预算就能覆盖更多有用的页面。
当 Google 发现了网址却推迟抓取时,原因往往是它认为服务器不稳定。如果你看到 "Discovered, currently not indexed" 的数量不断增长,同时 Crawl Stats 中有服务器错误,就先修服务器。两份报告讲的是同一件事。
Googlebot 已不再是唯一重要的访客。GPTBot、OAI-SearchBot、ClaudeBot 和 PerplexityBot 抓取页面,用于训练模型或实时回答问题。它们访问同一台服务器,遇到同样的错误,只有一点不同:它们没有 Search Console。
大多数 AI 爬虫不执行 JavaScript,所以只在浏览器中生成内容的页面在它们看来可能是空的,这是一种你永远不会在 Google 报告中看到的软 404。许多 AI 爬虫默认被机器人防护服务拦截,通常返回 403。而且它们在用户提问时按需抓取,那一刻超时就意味着答案会引用别人。我们的 JavaScript SEO 指南涵盖了面向搜索爬虫和 AI 爬虫的渲染问题。
服务器日志是唯一可靠的来源。按用户代理筛选并查看状态码:
grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
如果 AI 机器人收到了你并不想要的 403,就修复规则。然后检查它们是否真的引用了你:Sorank 的 AI 提及追踪会跟踪 ChatGPT、Gemini、Claude 和 Perplexity 提及你品牌的频率,让你看到抓取修复是否带来变化。
每次网站迁移、改版或大版本发布后都过一遍这份清单,大型网站每月一次。
抓取健康检查清单
打开 Crawl Stats,检查三行主机状态。然后用免费的可索引性检查工具检查你最有价值的五个页面。如果两者都没问题,导出 Page indexing 错误并按目录分组:你手上就有了一份简短、排好优先级的修复清单,而不是一份吓人的报告。
抓取干净之后,下一个瓶颈就是内容本身。Sorank 的内容优化以 autopilot 方式改写和更新你现有的页面,让 Google 现在能访问到的页面值得被索引和引用。对于 Google 已抓取却未收录的页面,请阅读我们关于 "Crawled, currently not indexed" 的指南。
抓取错误是搜索引擎或 AI 爬虫发出却失败的请求:DNS 无法解析、服务器超时或返回 5xx、robots.txt 无法获取、重定向陷入循环,或页面返回 4xx 状态码。站点级错误可能暂停整个网站的抓取,而网址错误只影响相关页面。
本身并没有。Google 表示,对于已删除且没有替代的页面,404 不一定是问题。只有当这个网址仍有外链、流量或内链时才会成为问题,这时正确的做法是用一次 301 重定向到相近的对应页面。
在 Search Console 的 Page indexing 报告中点击 Validate fix 后,验证通常需要大约两周。Google 先检查一部分网址样本,再检查其余部分,只要有一个相关网址仍然失败就会停止。

