被 robots.txt 屏蔽：这个 Search Console 状态的含义与修复方法

被 robots.txt 屏蔽这一状态出现在 Google Search Console 的网页索引编制报告中，属于网页未被编入索引的原因之一。Google 的网页索引编制报告文档用一句话描述它：该网页已被您网站的 robots.txt 文件屏蔽。这句话背后其实是两种截然不同的情况，一种是合理的屏蔽，一种是误屏蔽，此外还有一个容易混淆的“近亲”：“已编入索引，尽管遭到 robots.txt 屏蔽”。本指南将说明如何区分它们，并在不破坏其他设置的前提下逐一修复。如果您对这个文件本身还不熟悉，可以先阅读我们对 robots.txt 的定义。

Search Console 中的“被 robots.txt 屏蔽”是什么意思？

robots.txt 文件位于主机根目录（example.com/robots.txt），用来告诉抓取工具可以获取哪些路径。Googlebot 通过链接或站点地图发现网址后，会先检查这个文件。如果针对其用户代理的 Disallow 规则与路径匹配，它就不会获取该页面。Search Console 随后会把该网址列在“被 robots.txt 屏蔽”之下。

这会带来两个后果。Google 看不到页面的内容、标题、内部链接以及任何 meta 标记。而且由于它从未读取页面，也看不到 noindex 标记。该状态被列为未编入索引的原因，对大多数网站而言只是提示信息：Google 自己也指出，被 robots.txt 屏蔽的网址很可能是有意屏蔽的。

当列表中出现您希望在 Google 上展示的页面时，问题就来了：商品页、文章、分类页，甚至迁移后的整个网站。这时屏蔽就是网站不出现在 Google 上的直接原因，也是修复最快的技术问题之一。

“被 robots.txt 屏蔽”与“已编入索引，尽管遭到屏蔽”有何区别？

第二种状态看起来自相矛盾，也是最让站长担心的。Google 的 robots.txt 简介解释了原因：robots.txt 并不是阻止网页出现在 Google 中的机制。如果其他页面链接到被禁止的网址，Google 可以在不抓取的情况下将网址本身编入索引。此时搜索结果只显示地址而没有描述，因为 Google 从未读取过正文。

关键在于先为每个网址决定您想要的结果：编入索引还是不编入索引。robots.txt 回答的是另一个问题（抓取还是不抓取），把两者混为一谈正是大多数错误的根源。

您的页面为什么会被 robots.txt 屏蔽？

大多数误屏蔽都源于少数几个原因。请按以下顺序检查：

• 测试环境的规则被带到了正式环境。Disallow: / 原本用于保护测试站，上线时一并发布，结果屏蔽了全站。
• CMS 设置。WordPress 有“建议搜索引擎不索引本站点”的选项；其他平台也有类似开关，会修改 robots.txt 或添加响应头。
• 规则范围比预期更大。Disallow: /p 不仅屏蔽 /p/，还会屏蔽 /products/ 和 /pricing/。robots.txt 规则匹配的是路径的开头。
• 通配符。* 匹配任意字符序列，$ 表示网址结尾。Disallow: /*? 会屏蔽所有带参数的网址，其中可能包括您希望编入索引的分页页或筛选页。
• 资源被屏蔽。屏蔽 /assets/ 或 /wp-includes/ 会隐藏 Google 渲染页面所需的 CSS 和 JavaScript，削弱它对内容的理解。
• 网站迁移。路径变了，旧的 robots.txt 还在，或者新主机提供了自己的默认文件。
• 主机不对。每个子域名和协议都有各自的文件：www.example.com 上的规则不适用于 shop.example.com。

请记住，Google 遵循最具体的规则（匹配路径最长的那条）；当 Allow 和 Disallow 的具体程度相同时，限制较少的规则胜出。因此，一条有针对性的 Allow: /blog/ 可以在更宽泛的屏蔽之下重新开放某个目录。

逐步修复“被 robots.txt 屏蔽”

1. 导出受影响的网址

在 Google Search Console 中打开“编入索引”，再进入“网页”，点击“被 robots.txt 屏蔽”这一行。导出列表并按目录排序。通常一分钟内就能看出规律：某个目录、某个参数或某个子域名。

2. 区分有意屏蔽与错误

将每种规律标记为“保持屏蔽”或“应出现在 Google 中”。购物车、结账流程、客户账户、站内搜索结果和后台属于第一类。凡是能回答搜索查询、获得链接或列在您的 XML 站点地图中的页面属于第二类。一个既在站点地图中又被屏蔽的网址，是需要解决的矛盾。

3. 找到匹配的规则

对一个示例网址使用网址检查工具：它会显示是否允许抓取。然后查看线上文件，或将网址粘贴到我们免费的 robots.txt 检查工具中，查看是哪一行、针对哪个用户代理屏蔽了它。

4. 修改文件

删除或收窄该规则，或添加一条更具体的 Allow。尽量只做最小改动，并同时用一个要解除屏蔽的网址和一个必须保持屏蔽的网址进行测试。如果文件很混乱，可以用我们的 robots.txt 生成器重新生成一份干净的版本，发布前对比一下。

5. 让 Google 读取新文件

根据 Google 的 robots.txt 规范，Google 通常会将 robots.txt 缓存最多 24 小时。如需加快速度，请打开“设置”，再进入 Search Console 的 robots.txt 报告（适用于网域级资源），为该文件请求重新抓取。然后在网址检查工具中为最重要的已解除屏蔽网址请求编入索引。

6. 验证并持续监控

在问题详情页点击“验证修复”。验证可能需要几天到几周，新网址会在 Google 重新抓取时陆续检查。我们关于 Google 编入索引的指南介绍了抓取之后的过程，也就是 Google 判断页面是否值得保留的阶段。

如何修复“已编入索引，尽管遭到 robots.txt 屏蔽”

修复方式取决于您对该页面的要求：

1. 希望页面出现在 Google 中。解除屏蔽。Google 会抓取页面、读取内容，并显示带标题和描述的正常结果。
2. 不希望页面出现在 Google 中。同样先解除屏蔽，然后在 head 中添加 <meta name="robots" content="noindex">，或为 PDF 等文件添加 HTTP 响应头 X-Robots-Tag: noindex。等 Google 重新抓取并移除该页面后，如果抓取量很重要，可以再次屏蔽它，不过大多数网站并不需要这样做。我们对 noindex 的定义介绍了各种选项。
3. 页面本不应公开。用密码保护或直接删除（404 或 410）。robots.txt 和 noindex 都不是安全措施。

对于有成千上万个筛选网址的分面导航，用 robots.txt 屏蔽仍可能是节省抓取预算的正确做法。只要分类页的规范版本可以抓取并已编入索引，其中少数网址出现“已编入索引，尽管遭到屏蔽”警告是可以接受的。

如何确认修复已经生效

有三个信号可以确认修复成功。对线上网址进行网址检查时显示“允许抓取：是”。网页索引编制报告中被屏蔽的网页数量在随后几周内下降。解除屏蔽的页面开始在效果报告中获得展示次数。用我们的可索引性检查工具快速检查一遍，还能发现常与 robots.txt 错误同时出现的其他障碍：遗漏的 noindex、错误的规范标记或重定向。

监控很重要，因为这类错误会反复出现。主题更新、插件或部署脚本都可能在无人察觉的情况下改写 robots.txt。关注点击和展示次数突然下降的页面，是最快的预警方式。

Sorank 的 GEO 与 SEO 仪表盘连接 Search Console，在同一视图中显示这些上升和下降的页面。这样，部署带来的屏蔽会表现为一组下滑的网址，而不是缓慢且原因不明的流量流失。

robots.txt、AI 抓取工具与 GEO

如今 robots.txt 有了第二类读者：AI 助手的抓取工具。OpenAI、Anthropic、Perplexity 和 Google 都公布了各自遵守 robots.txt 的用户代理（GPTBot 和 OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended）。针对其中某一个的规则，或者一条笼统的 User-agent: * 屏蔽，决定了 ChatGPT、Claude 或 Perplexity 在联网搜索、组织回答时能否读取您的页面。

道理与 Google 相同：逐个机器人决定您想要的结果。屏蔽训练用抓取工具、同时允许搜索用抓取工具，是常见的折中方案。我们的 AI 抓取工具 robots.txt 指南列出了各个用户代理及对应规则。词汇表中的 AI 抓取工具条目则说明了每个机器人的作用。

想了解这些选择的效果，请跟踪对您业务重要的提示词。Sorank 的 AI 提及追踪会显示 ChatGPT、Gemini 或 Claude 是否引用了您的网站，以及它们转而引用了哪些竞争对手。

需要记住的原则

robots.txt 决定抓取工具可以读取什么；noindex 决定搜索结果可以显示什么。只对没有搜索价值的区域使用屏蔽，绝不屏蔽您希望编入索引或移出索引的页面，并在每次迁移或部署后查看网页索引编制报告。大多数“被 robots.txt 屏蔽”问题在找到对应规则后几分钟内就能解决，而 Sorank 的 Search Console 仪表盘可以帮助您在下一次问题造成流量损失之前发现它。