偏好设置

我们非常重视您的隐私,因此您可以选择禁用某些对网站基本功能并非必要的存储类型。屏蔽某些类别可能会影响您的网站使用体验。更多信息 (Cookie 政策)

抓取错误:如何发现、排序并修复每一种类型

发现并修复抓取错误:DNS、服务器、robots.txt、404、软 404 和重定向错误。了解 Googlebot 如何应对每一种错误,以及按顺序修复它们的 6 步方法。

发布于
18/11/2026
更新于
18/11/2026
阅读时间
25 分钟
抓取错误:如何发现、排序并修复每一种类型

工具

本页内容

简而言之

抓取错误是搜索引擎或 AI 爬虫向你的网站发出却失败的请求:服务器超时、DNS 没有应答、robots.txt 无法获取、重定向陷入循环,或者页面返回 4xx 或 5xx 状态码。站点级错误(DNS、服务器、robots.txt)可能让 Google 停止抓取整个网站,所以要最先修复;网址级错误(404、软 404、重定向错误)只有在影响你希望被索引的页面时才重要。你可以在 Search Console 的 Crawl Stats 和 Page indexing 报告中找到它们,再用爬虫工具和服务器日志确认,然后修复根源并验证。

想深入了解?请询问

快速测验

谁来修复网站的技术问题?

第 1 题,共 4 题25%
现在是什么情况?

抓取错误是什么,不是什么

爬虫就像一位非常有耐心的访客。它向你的服务器请求一个网址,等待回应,读取状态码和内容,然后转向它发现的链接。抓取错误就是这条链路中任何失败的一步。访客始终拿不到一个可用的页面。

这个定义很重要,因为许多报告把抓取错误和索引决策混在一起。"Crawled, currently not indexed" 不是抓取错误:Google 已经成功抓取页面,只是选择不收录。"Excluded by noindex" 也不是抓取错误:是你告诉 Google 删除这个页面。抓取错误指的是抓取本身出了问题。

两大类:站点错误和网址错误

Google 把问题分为两个层级,你也应该这样做。

  • 站点错误(Google 称为主机状态问题):DNS 解析失败、服务器连接失败和 robots.txt 获取失败。它们影响主机上的每一个网址。这里出一天问题,就可能冻结整个网站的抓取。
  • 网址错误:某个页面返回 404、410、401、403、5xx、软 404 或损坏的重定向。它们只影响这个网址,而且很多并无大碍。

站点错误与网址错误对比

站点错误(今天就修)
  • DNS 无法解析
  • 服务器超时或断开连接
  • robots.txt 返回 5xx 或 429
  • 显示在 Crawl Stats 的 Host status 中
  • 可能暂停所有页面的抓取
网址错误(分类处理)
  • 404、410、软 404
  • 401、403 及其他 4xx
  • 重定向循环或链条过长
  • 显示在 Page indexing 报告中
  • 只在你想被索引的页面上才重要

为什么这个区分会改变你的优先级

一家有 4000 个旧商品网址返回 404 的网店,如果这些商品已永久下架,网站可能完全健康。同一家网店如果 robots.txt 连续六小时返回 503,就是真正的紧急情况,即使所有商品页都正常。先处理主机,再处理带来收入的网址,最后处理其余的。

Googlebot 如何应对每一种失败

要修好抓取错误,你需要知道 Google 遇到它们时实际会怎么做。Google 关于HTTP 状态码和网络错误如何影响 Google 搜索的文档(Google Search Central)给出了规则。下面是它们在实践中的含义。

状态码,一类一类看

响应Google 的做法是问题吗?
2xx把内容交给索引流程。不保证被索引。不是,除非页面是空的(软 404)。
301、308强信号,表明目标是新网址。不是,只要一跳就到 200。
302、303、307弱信号:原网址往往仍是规范网址。是,如果迁移是永久的。
3xx 链条默认最多跟随 10 跳,然后放弃。是:每一跳都浪费一次请求,循环永远无法结束。
404、410 及其他 4xx(429 除外)视为内容不存在,逐渐从索引中移除,并降低抓取频率。只有当页面本应存在时才是。
401、403与其他 4xx 相同。不会降低抓取速度。是,如果它们阻止 Googlebot 访问公开页面。
429被视为服务器过载信号,与 5xx 相同。是:抓取会变慢。
5xx按错误比例降低抓取速度。持续失败的网址会被移出索引。是,始终是。

有两个细节让很多团队踩坑。第一,401 和 403 不会降低抓取频率。如果服务器吃力,向 Googlebot 返回 403 没有帮助;Google 建议临时返回 503 或 429。第二,404 不是惩罚。对于已不存在的页面,它是正确的回答。

robots.txt 失败最危险

Google 的Crawl Stats 报告文档(Search Console Help)解释了这条规则。robots.txt 返回 200(即使为空)或 403、404、410(没有文件)都没问题。返回 429 或 5xx 则属于失败,这时 Google 会采取保守做法。

robots.txt 持续失败时 Google 的做法

最初 12 小时Google 完全停止抓取网站。
30 天内Google 使用最后一次成功获取的 robots.txt。
30 天后行为取决于首页是否可以访问。

来源:Google Search Console Help,Crawl Stats 报告

所以,一条在 /robots.txt 上返回 503 的 CDN 规则或防火墙,就可能让整个网站冻结半天,即使其他网址都正常。任何抓取错误排查都应先检查这个文件。我们关于"Blocked by robots.txt" 状态的指南讨论的是相反的问题:文件能正常访问,但屏蔽得太多。

值得记住的 Google 抓取限制

10Google 爬虫最多跟随的重定向跳数
12 小时robots.txt 返回 5xx 或 429 时停止抓取的时长
30 天Google 继续使用最后一个有效 robots.txt 的时长
5%作为主机问题示例给出的每日 DNS 失败率

来源:Google Search Central,HTTP 状态码和网络错误;Search Console Help,Crawl Stats 报告

爬虫沿着网站链接移动的插图,几个损坏的页面正在被修复
抓取错误就是爬虫在你的网站中前进时路径中断的地方。

每一种抓取错误及其修复方法

下面是你会在 Search Console 和爬虫工具中遇到的完整清单,附上每种错误的原因和修复方法。名称沿用 Google 的Page indexing 报告文档(Search Console Help)。

DNS 错误

Google 无法把你的域名解析为 IP 地址,或者 DNS 服务器没有应答。常见原因:域名过期、DNS 服务商故障、迁移后记录错误,或 DNSSEC 配置错误。从你的网络之外做一次查询来检查:

dig +short example.com A
dig +short www.example.com CNAME
dig example.com +dnssec

修复:更正记录,任何迁移前先调低 TTL,并选用有冗余的 DNS 服务商。如果 example.com 和 www.example.com 都存在,两者都必须能解析,即使其中一个只做重定向。

服务器连接错误和 5xx

服务器没有及时响应、关闭了连接,或返回了 500、502、503 或 504。典型原因:数据库过载、PHP 或 Node 进程在高负载下崩溃、反向代理超时、插件更新,或防火墙对机器人限速。看看时间规律:每晚同一时间出错,往往指向备份或 cron 任务。

修复:在 Google 报告的时间点查看服务器错误日志,提高超时时间或工作进程数,缓存重量级页面,并确保机器人防护放行经过验证的 Googlebot。计划内维护时,返回带 Retry-After 头的 503,而不是一个写着"马上回来"的 200 页面:

HTTP/1.1 503 Service Unavailable
Retry-After: 3600

404 和 410(未找到)

页面不存在。如果是有意删除且没有任何链接指向它,这没有问题。如果这个网址仍有外链、流量或内链,或者页面本应存在却被一次发布弄坏了,那就是问题。

修复:如果内容已迁移,添加一个 301 指向最接近的对应页面。如果永久消失,保留 404 或使用 410,并删除指向它的内链和站点地图条目。千万不要把所有 404 都重定向到首页:Google 往往会把它们当作软 404。

软 404

服务器返回 200,但页面看起来是空的或写着"未找到":空分类、没有结果的搜索页、缺货且无内容的商品页。Google 花了一次请求却一无所获。我们在软 404 错误指南中有深入讲解。

401、403 及其他 4xx

Googlebot 从不发送登录凭据,所以公开页面上的 401 或 403 意味着你的服务器或某个安全层在拦截它。常见原因:测试环境的密码留在了正式环境、WAF 规则、按国家封锁,或作用于 HTML 的防盗链规则。修复规则而不是症状,并用 Search Console 的 URL Inspection 工具测试。

重定向错误

当 Google 遇到循环、过长的链条、超过最大长度的网址,或链条中出现错误或空网址时,就会报告重定向错误。迁移后的典型情况:http 跳到 https,再跳到 www,再加上末尾斜杠,再跳到新路径。一跳就够的地方用了四跳。我们的SEO 重定向完整指南讲解了如何合并它们。

提示

把任何可疑网址粘贴到免费的 Sorank 重定向检查工具:它会跟随完整链条,显示每一跳及其状态码,并告诉你循环或多余的一跳在哪里。

超时、截断的响应和过大的页面

有些错误根本不显示状态码。页面开始加载后中断,或者太重,爬虫只读取了一部分。Google 爬虫对每个文件读取的字节数有限,所以塞满内联脚本或 base64 图片的页面可能丢失底部内容。用页面大小检查工具检查重量级模板。

发现抓取错误的所有方法对比

没有任何单一工具能显示所有抓取错误。每种方法从不同角度看问题,严谨的审核至少结合两种。

方法 1:Search Console 的 Crawl Stats 报告

原理:Google 展示自己过去 90 天的抓取请求,按响应、文件类型、目的和 Googlebot 类型分组,并显示 DNS、服务器和 robots.txt 的主机状态。何时使用:始终使用,而且首先用于站点错误。优点:这是来自 Google 本身的真实数据。局限:只适用于根级资源,示例是抽样的,而且 Google 表示一千页以下的网站很少需要它。示例:每周日凌晨 3 点出现 "page timeout" 响应高峰,恰好与数据库备份时间吻合。

Google Search Console 帮助中心的 Crawl Stats 报告页面
Google 关于 Crawl Stats 报告的文档,其中解释了 DNS、服务器和 robots.txt 的主机状态。

方法 2:Search Console 的 Page indexing 报告和 URL Inspection

原理:列出 Google 知道的网址以及它们未被索引的原因,例如 Server error (5xx)、Redirect error、Not found (404) 或 Soft 404。何时使用:用于分类网址错误和验证修复。优点:与 Google 实际尝试过的页面挂钩。局限:报告有几天延迟,示例列表有上限,而且混合了抓取错误和索引选择。示例:"Redirect error" 下的 300 个网址都带有同一个旧前缀 /blog/。

方法 3:桌面或云端爬虫

原理:像 Screaming Frog 这样的工具会像机器人一样从首页沿链接抓取你的网站,记录每个状态码、重定向链和失效链接。何时使用:网站迁移、改版或大版本发布前后,以及大型网站每月一次。优点:即时、对有链接的页面覆盖完整,并显示每个失效链接所在位置。局限:它不知道 Google 实际请求了什么,会漏掉孤立页面,而且你的服务器可能对它和对 Googlebot 区别对待。我们的 Screaming Frog 设置指南带你完成一次完整审核。

Screaming Frog SEO Spider 产品页面
Screaming Frog SEO Spider 像机器人一样抓取你的网站,并列出每个状态码、重定向链和失效链接。

方法 4:服务器日志分析

原理:访问日志记录每一个请求,包括来自 Googlebot、Bingbot、GPTBot、ClaudeBot 和 PerplexityBot 的请求,以及准确的状态码和响应时间。何时使用:大型网站、无法解释的流量下降之后,以及想了解 AI 爬虫访问了什么时。优点:真实请求、真实状态码、无抽样、覆盖所有机器人。局限:需要访问日志并写一点脚本;必须核实"Googlebot"确实是 Google。我们的SEO 日志文件分析指南会一步步讲解。先快速看一眼:

# Googlebot requests that did not return 200, 301 or 304, most frequent first
grep -i "googlebot" access.log | awk '$9 !~ /^(200|301|304)$/ {print $9, $7}' | sort | uniq -c | sort -rn | head -50

方法 5:单个网址抽查

原理:用 curl 或免费在线检查工具一次测试一个网址。何时使用:确认修复,或在发布后检查关键页面。优点:即时且精确。局限:无法规模化。使用 Googlebot 的用户代理,才能发现对机器人区别对待的规则:

curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page/
curl -sIL https://example.com/old-page/ | grep -iE "^(HTTP|location)"
方法能看到站点错误能看到网址错误真实 Googlebot 数据能看到 AI 爬虫最适合
Crawl Stats 报告是抽样是否主机健康
Page indexing 报告部分是是否分类与验证
爬虫工具(Screaming Frog...)否是,限有链接的页面否否从源头找到失效链接
服务器日志部分是是是大型网站、根本原因
单个网址检查否一次一个否否确认修复

5xx 错误:读懂状态码,定位出错的层

5xx 状态表示服务器无法处理一个看似有效的请求。Google 会因此降低抓取频率,返回错误的 URL 越多,降低得越明显。Google 会在一段时间内保留已索引的 URL,但会移除持续返回服务器错误的 URL。短暂的故障是可以恢复的:一旦服务器开始返回 2xx 状态码,Google 会逐步提高抓取速率。真正损害索引的,是长时间的错误。

状态码告诉你哪一层出了问题

每个 5xx 状态码都指向技术栈的不同部分。下表为每个状态码提供了首先应检查的位置。

状态码通常表示首先检查
500应用程序在处理请求时失败请求发生时刻的应用错误日志
502代理或 CDN 从应用程序收到了无效响应,通常是因为应用崩溃或重启应用进程的重启记录和运行时间
503服务过载、被限流或正在维护负载图表、部署记录和维护时段
504代理等待应用程序响应超时数据库慢查询和代理超时设置
429限流器提示请求过多限流规则,以及这些规则是否作用于已验证的 Googlebot

将 Google 的时间戳与日志对照

Crawl Stats 会显示 Google 遇到错误的日期和时段(我们的 Crawl Stats 指南解释了每张图表)。服务器日志则显示那些精确时刻发生了什么。筛选 Googlebot 的请求,并按小时统计 5xx 响应:

grep -i 'googlebot' access.log | awk '$9 ~ /^5/ {print substr($4,2,14), $9}' | sort | uniq -c

输出的每一行分别代表一个小时、一个状态码和一个计数。如果每晚同一个小时都集中出现错误,通常是备份、定时任务或计划导入造成的。如果错误分散在全天,通常是负载问题,因此解决方案是扩容或加强缓存,而不是修复某个单一 bug。更深入的方法请参阅我们的日志文件分析指南。

在恐慌之前先衡量 5xx 的代价

Google 会按返回错误的 URL 数量相应减少抓取。一个只影响少数 URL 的错误模板,损失的抓取时间很少。导致每个页面都无法访问的数据库故障代价很大,应该最优先修复。

429 的影响与 5xx 相同,因为 Google 会将其视为服务器过载。如果你的限流器或机器人防护向 Googlebot 返回 429,你就要用抓取时间来买单。Google 的文档没有提到 Retry-After 响应头。请继续为真实访客和 API 客户端保留它,但不要指望 Googlebot 会等待你设定的时间。

4xx 错误:修复前先查清来源

4xx 状态表示服务器因客户端方面的原因拒绝了请求:URL 不存在、访问被禁止,或地址格式有误。除 429 外,Google 对所有 4xx 的处理方式相同。它会停止使用该 URL 背后的内容,如果该 URL 已被索引,还会将其从索引中移除。修复 4xx 之前,先弄清请求从哪里来,因为修复点通常只有一处:一个链接、一个模板,或一条重定向规则。

在日志中找出每个 4xx 的来源

访问日志会记录每个请求的来源页(referrer),也就是是哪个页面把访问者或机器人带到了这个 URL。按路径和来源页统计 4xx 响应:

awk '$9 ~ /^4/ {print $9, $7}' access.log | sort | uniq -c | sort -rn | head -20
awk '$9 ~ /^4/ {print $11, $7}' access.log | sort | uniq -c | sort -rn | head -20

按如下方式读取来源页列:

  • 来源页是你自己的域名,说明你的某个页面链接到了一个失效的 URL。修复该链接或输出它的模板。这是最有价值的修复,因为你可以直接控制它。我们的修复失效链接指南介绍了完整方法。
  • 来源页是其他网站,说明有外部反向链接指向一个已经无法访问的 URL。如果这个链接值得保留,就添加一条 301 重定向到最接近的有效页面。如果不值得,就保留 404。
  • 来源页为空,或者是你从未发布过的路径(比如静态网站上的登录页),通常是机器人或扫描器在尝试地址。让它返回 404 即可,不必花时间处理。

每次发布后留意 4xx 的激增

重命名路由、修改 slug 或重建模板的发布,往往会在同一天产生大量 404。导出部署前一周和部署后一周每天的 4xx 数量。如果增长集中在某个文件夹,就直接指向了这次改动。从旧 URL 到新 URL 的重定向应该在同一次发布中添加,而不是留到之后的工单里。如需完整的迁移流程,请参阅我们的 SEO 迁移清单。

提示

不要用返回短消息或空列表的 200 响应来替代缺失的页面。Google 可能会将其视为软 404,这样既耗费一次完整抓取,又得不到任何回报。

分步操作:按正确顺序修复抓取错误

这是我们使用的方法。它从可能让整个网站停摆的错误开始,到只浪费少量抓取的错误结束。

抓取错误 6 步法

  1. 检查主机状态打开 Crawl Stats,查看过去 90 天的 DNS、服务器连接和 robots.txt。
  2. 导出并分组网址错误导出每个 Page indexing 原因,并按目录或模板对网址分组。
  3. 按价值排序保留有流量、外链、内链或站点地图条目的网址。
  4. 在模板层面修复原因一条规则、一份重定向映射或一项服务器设置就能修好数百个网址。
  5. 清理信号更新内链和站点地图,让它们指向最终返回 200 的网址。
  6. 验证并监控点击 Validate fix,然后每周查看 Crawl Stats 和日志。

第 1 步:先检查主机

在 Search Console 中,依次打开 Settings、Crawl stats、Host status。绿色表示 90 天内没有严重问题。"Recent issue" 表示过去一周有严重问题:放下其他一切。点击每个类别查看每日失败率,再把出问题的日子和你的主机、CDN 及发布记录对照。

第 2 步:导出并按模式分组

依次打开 Indexing、Pages,导出每个错误原因。不要一个一个修网址。把它们放进电子表格,提取第一级目录:

=REGEXEXTRACT(A2, "^https?://[^/]+(/[^/]*/?)")

对这一列做数据透视,通常会发现大部分错误来自两三个模板:已停用的博客分类、某个筛选参数、旧的商品数据源。

第 3 步:按商业价值排序

对每种模式问四个问题。它有自然搜索点击吗?有外链吗?有内链吗?在站点地图里吗?四项都没有的 404 可以永远不管。有外链的 404 今天就需要 301。免费的失效链接检查工具会显示你的哪些页面仍链接到失效网址。

第 4 步:修复根本原因

修规则,不修网址。服务器配置里的一份重定向映射,胜过在插件里手动添加 400 条重定向。例如在 nginx 中:

map $request_uri $new_uri {
    /old-blog/seo-tips/    /blog-geo-seo/seo-best-practices/;
    /old-blog/sitemaps/    /blog-geo-seo/how-to-create-a-sitemap/;
}
server {
    if ($new_uri) { return 301 $new_uri; }
}

对于 5xx,修复容量或程序缺陷。对于 401 和 403,修复安全规则。对于软 404,要么补充真实内容,要么返回真正的 404。

第 5 步:清理内链和站点地图

每个内链都应直接指向返回 200 的网址。站点地图中的每个条目都应是规范的、可索引的、返回 200 的网址。满是重定向和 404 的站点地图会让 Google 越来越不信任它。我们的如何创建站点地图指南说明了哪些内容应该放进去。

第 6 步:验证并监控

在 Page indexing 报告中,打开已修复的原因并点击 Validate fix。Google 先检查一个样本,再检查其余部分;通常需要大约两周,只要有一个网址仍然失败就会停止。运行期间不要再次点击。然后建立每周例行检查:Crawl Stats 看主机,日志看高峰,每次发布后做一次抓取。

修复前后的重定向链

修复前
  • http://site.com/page
  • 301 到 https://site.com/page
  • 301 到 https://www.site.com/page
  • 301 到 https://www.site.com/page/
  • 内链仍指向第一个网址
修复后
  • 一次 301 直达 https://www.site.com/page/
  • 内链已更新为最终网址
  • 站点地图只列出最终网址
  • 一次请求代替四次

常见错误,以及如何发现和纠正

错误 1:把所有 404 重定向到首页

是什么:一个插件或规则把所有缺失网址都发送到 /。如何发现:"Soft 404" 或 "Page with redirect" 中有大量网址都落到首页;爬虫显示数百个目标相同的 301。如何修复:只重定向到相近的对应页面,其余的让它们返回 404 或 410。

错误 2:用安全工具拦截了 Googlebot

是什么:WAF、机器人管理器或限速器向 Google 返回 403、429 或验证页面。如何发现:Crawl Stats 中出现 403 或 429,而页面在你的浏览器中加载正常;日志按 IP 显示拦截记录。如何修复:通过反向 DNS 或 Google 公布的 IP 段放行经过验证的 Googlebot,而不是信任用户代理字符串。

错误 3:脆弱的 robots.txt

是什么:robots.txt 由应用生成,应用一出错它就出错;或者经由 CDN 规则提供,缓存了 5xx。如何发现:Host status 中 robots.txt 获取类别不是绿色。如何修复:把它作为应用之外的静态文件提供,并用 robots.txt 检查工具测试。

错误 4:维护页面返回 200

是什么:所有网址都以 200 状态显示一个"马上回来"页面。如何发现:维护结束后出现一波软 404 或重复标题。如何修复:维护期间返回带 Retry-After 的 503,并尽量缩短维护时间。

错误 5:用 403 让 Google 放慢速度

是什么:服务器过载时向 Googlebot 返回 403。如何发现:403 高峰与负载高峰同时出现。如何修复:Google 表示除 429 外的 4xx 状态码对抓取频率没有影响。短时间返回 503 或 429,并解决容量问题。

错误 6:一个一个地修错误

是什么:在 Search Console 列表里逐个点开并编辑每个网址。如何发现:同一个原因每个月都会回来。如何修复:按模式分组,修复模板或规则,然后一次性验证。

错误 7:为无害的 404 惊慌

是什么:花好几天处理垃圾网址或早已删除且无链接页面的 404。如何发现:这些网址没有点击、没有外链、也没有内链。如何修复:别管它们。Google 表示已删除页面的 404 不一定是问题。

警告

千万不要在 robots.txt 中屏蔽某个网址来"隐藏"抓取错误。Google 将无法再看到 404 或重定向,网址可能仍留在索引中,而你也失去了本想传达的信号。

抓取错误与抓取预算

在只有几百个页面的网站上,Google 有时间抓取一切,抓取错误主要影响被它们破坏的页面。在大型网站上(带筛选的网店、电商平台、新闻网站),每个失败或浪费的请求都会挤占你真正页面的时间。这就是抓取预算背后的概念。

错误如何吞噬抓取容量

5xx 和 429 会让 Google 在整个主机上放慢速度,所以几个损坏的模板就可能拖延新商品页的抓取。重定向链每一跳都要一次请求。软 404 要完整抓取一次,却一无所获。修好这三类,同样的预算就能覆盖更多有用的页面。

"Discovered, not indexed" 与此有什么关系

当 Google 发现了网址却推迟抓取时,原因往往是它认为服务器不稳定。如果你看到 "Discovered, currently not indexed" 的数量不断增长,同时 Crawl Stats 中有服务器错误,就先修服务器。两份报告讲的是同一件事。

AI 爬虫的抓取错误

Googlebot 已不再是唯一重要的访客。GPTBot、OAI-SearchBot、ClaudeBot 和 PerplexityBot 抓取页面,用于训练模型或实时回答问题。它们访问同一台服务器,遇到同样的错误,只有一点不同:它们没有 Search Console。

AI 机器人带来的变化

大多数 AI 爬虫不执行 JavaScript,所以只在浏览器中生成内容的页面在它们看来可能是空的,这是一种你永远不会在 Google 报告中看到的软 404。许多 AI 爬虫默认被机器人防护服务拦截,通常返回 403。而且它们在用户提问时按需抓取,那一刻超时就意味着答案会引用别人。我们的 JavaScript SEO 指南涵盖了面向搜索爬虫和 AI 爬虫的渲染问题。

如何监控它们

服务器日志是唯一可靠的来源。按用户代理筛选并查看状态码:

grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

如果 AI 机器人收到了你并不想要的 403,就修复规则。然后检查它们是否真的引用了你:Sorank 的 AI 提及追踪会跟踪 ChatGPT、Gemini、Claude 和 Perplexity 提及你品牌的频率,让你看到抓取修复是否带来变化。

抓取健康检查清单

每次网站迁移、改版或大版本发布后都过一遍这份清单,大型网站每月一次。

抓取健康检查清单

  • DNS、服务器连接和 robots.txt 的主机状态均为绿色
  • robots.txt 作为静态文件提供并返回 200
  • Crawl Stats 或日志中没有 5xx 或 429 高峰
  • 经过验证的 Googlebot 和需要的 AI 机器人未被防火墙拦截
  • 每个重定向都是一跳,301 或 308,指向 200 页面
  • 内链指向最终返回 200 的网址
  • 站点地图只列出规范、可索引、返回 200 的网址
  • 有外链或流量的 404 已重定向到相近的对应页面
  • 空页面已修复或返回真正的 404
  • 维护期间返回带 Retry-After 的 503
  • 每个已修复的原因都已启动 Validate fix

今天就可以做的事

打开 Crawl Stats,检查三行主机状态。然后用免费的可索引性检查工具检查你最有价值的五个页面。如果两者都没问题,导出 Page indexing 错误并按目录分组:你手上就有了一份简短、排好优先级的修复清单,而不是一份吓人的报告。

抓取干净之后,下一个瓶颈就是内容本身。Sorank 的内容优化以 autopilot 方式改写和更新你现有的页面,让 Google 现在能访问到的页面值得被索引和引用。对于 Google 已抓取却未收录的页面,请阅读我们关于 "Crawled, currently not indexed" 的指南。

常见问题

SEO 中的抓取错误是什么?

抓取错误是搜索引擎或 AI 爬虫发出却失败的请求:DNS 无法解析、服务器超时或返回 5xx、robots.txt 无法获取、重定向陷入循环,或页面返回 4xx 状态码。站点级错误可能暂停整个网站的抓取,而网址错误只影响相关页面。

404 错误对 SEO 有害吗?

本身并没有。Google 表示,对于已删除且没有替代的页面,404 不一定是问题。只有当这个网址仍有外链、流量或内链时才会成为问题,这时正确的做法是用一次 301 重定向到相近的对应页面。

Google 需要多久才能看到抓取错误已修复?

在 Search Console 的 Page indexing 报告中点击 Validate fix 后,验证通常需要大约两周。Google 先检查一部分网址样本,再检查其余部分,只要有一个相关网址仍然失败就会停止。

免费获取 30 天内容计划

我们免费分析您的竞争对手、网站和 AI 可见度,为您制定专属内容计划。

我们的免费 SEO 工具

查看全部免费工具

免费获取 30 天内容计划

我们免费分析您的竞争对手、网站和 AI 可见度,为您制定专属内容计划。

Sorank 用户照片Sorank 用户照片Sorank 用户照片Celio FabianoSorank 用户照片客户 Xavier Breull 的头像
Google
星形图标星形图标星形图标星形图标星形图标
5/5
+5,000
用户

来自雄心勃勃的创始人的评价

5个月内从0增至10000访客

Celio Fabianomonrobotlavevitre.frGoogle电子商务

8个月内访问量从0增至5000

Thibault BMsorank.comGoogle软件

4个月从0增至1104次点击

Dominiqueflight-sensations-idf.comGoogle休闲与航空

6个月内点击量从0增至163

Coworking Pariscoworking-paris.frGoogleOffice broker

7个月内点击量增长x92倍

Guide Zanzibarguidezanzibar.comGoogle旅游