Excluded by 'noindex' tag：这正常吗，如何修复？

« Excluded by 'noindex' tag »是唯一一个由你自己造成的索引状态，无论是有意还是无意。Google的网页索引报告文档用三句话描述了这一原因：“Google尝试索引该页面时，遇到了'noindex'指令，因此没有对其进行索引。如果您不希望此页面被索引，恭喜您！如果您希望此页面被索引，则应删除'noindex'指令。”本指南帮助你判断每个网址属于这句话的哪一边，找到不需要的规则的确切来源，并在不破坏其他内容的前提下修复它。

« Excluded by 'noindex' tag »是什么意思？

noindex规则告诉搜索引擎不要在结果中显示某个页面。Google在两个地方读取它，正如其关于使用noindex阻止索引的指南所解释的：

• robots元标记位于HTML的<head>中：<meta name="robots" content="noindex">适用于所有搜索引擎，或name="googlebot"仅适用于Google。
• X-Robots-Tag HTTP标头由服务器随响应一起发送，值为noindex或none。对于没有HTML的文件（例如PDF），这是唯一的选择。

Googlebot一旦发现其中之一，就会让该网址留在索引之外。该状态会出现在Search Console的“索引”下的“网页”中，在“Why pages aren't indexed”表格里。帮助页面以“URL marked 'noindex'”列出同一原因，两个标签描述的是同一种情况。

有三个事实会改变你阅读报告的方式：

• Google遵从了你的指令。与“Crawled - currently not indexed”不同（那是Google自己决定不索引某个页面），此状态反映的是你的网站发出的指令。
• 它需要一次抓取。只有在Google被允许获取某个页面时，才能看到其中的noindex规则。被robots.txt阻止的页面永远不会进入此状态。
• 规则可能来自链条中的任何环节。HTML、CMS、插件、主题、服务器配置和CDN都可能添加它，而页面源代码不会显示HTTP标头。

这是正常还是错误？

大多数网站都有处于此状态的网址，其中许多本就应该如此。Google的报告指出，被列为未索引的页面出现在那里“不一定是因为错误”。在修复任何内容之前，先按网址类型对列表进行排序。

最后一行比看起来更重要。站点地图告诉Google“索引这些页面”，而noindex则说的正好相反。应将站点地图限制为可索引的规范网址（我们关于向Google提交站点地图的指南说明了如何清理它）。

不需要的noindex从哪里来？

当重要页面带有noindex时，原因几乎总是以下来源之一。请按从最常见到最罕见的顺序检查。

WordPress的情况足够常见，值得单独说明。根据WordPress阅读屏幕文档，勾选“Discourage search engines from indexing this site”会在每个页面的head中添加noindex,nofollow（自5.3版本起）。上线后忘记的一个复选框就足以让整个网站从Google中消失。上线和改版是风险最高的时刻，这就是为什么SEO迁移检查清单总是包含对抓取规则的检查。关于WordPress的具体设置，请参阅我们的WordPress SEO与GEO页面。

如何一步步诊断此状态？

1. 打开报告。在Search Console中进入“索引”，然后是“网页”，点击“Excluded by 'noindex' tag”并导出列表。
2. 对网址排序，使用上面的表格。把应该保留在索引之外的网址单独挑出来。
3. 检查一个重要网址。将其粘贴到网址检查工具中。“Indexing allowed?”一行会告诉你Google是否看到了noindex，以及它来自robots元标记还是X-Robots-Tag标头。
4. 测试实时网址。点击“Test live URL”：如果实时版本已不再有noindex，说明规则已经移除，Google只需要重新抓取。
5. 自己检查两个位置。在页面源代码中搜索noindex，然后检查响应标头（浏览器开发者工具的“网络”标签）。免费的HTTP标头检查工具无需打开开发者工具即可显示X-Robots-Tag，而可索引性检查工具可一次性测试元标记、标头和robots.txt。
6. 用来源表追踪源头，从CMS设置和SEO插件开始。

如何修复？

修复方法取决于来源。应在生成规则的地方更改设置，而不是只改动可见的输出，否则它会在下一次更新时重新出现。

修复之后，在网址检查工具中为最重要的网址请求索引；如果影响了很多页面，请重新提交站点地图。对于一组已修复的网址，在报告中点击“Validate fix”。Google表示验证“typically takes up to about two weeks, but in some cases can take much longer”。先清除页面或CDN缓存，否则Google可能会抓取带有旧规则的旧版本。如果几周后页面仍未出现，我们关于让Google索引页面的指南列出了后续步骤；如果它们转为Crawled - currently not indexed，那么问题就变成了内容本身，而不再是规则。

Noindex、robots.txt还是canonical：应该用哪个？

这三个工具经常被混淆，错误地组合它们会产生最令人困惑的报告。

Google说得很明确：如果robots.txt阻止了某个页面，“the crawler will never see the noindex rule”。如果你希望某个页面移出索引，请让它保持可抓取并带有noindex，直到它消失，然后再决定是否阻止它。用robots.txt检查工具测试你的文件，并阅读robots元标记规范以获取完整的规则列表：其中还说明，当规则冲突时，“the more restrictive rule applies”。

为什么这对SEO和AI可见性很重要？

处于noindex之下的页面无法从Google获得任何自然点击，无论其质量如何。在大型网站上，模板中一个不需要的规则可能一次性移除数百个产品或文章页面，而第一个迹象往往是几周后的流量下降。如果你的网站似乎完全消失了，请先参阅我们关于网站在Google上不显示的检查清单。

AI助手还会带来第二重损失。ChatGPT、Perplexity和Gemini通常通过从网络搜索索引中检索页面并引用它们来作答，因此不在索引中的页面被引用的机会很小。我们关于AI引用最多的平台的研究显示了它们偏爱哪些来源。

Sorank是我们的产品：一款 autopilot 模式的SEO和GEO软件。其GEO和SEO仪表板显示来自Search Console的点击、展示和排名，因此一组页面的展示量突然下降会很快被注意到；而免费的Sorank Chrome扩展程序会标记你打开的任何页面上的SEO问题。

简而言之：对于永远不应获得排名的页面，保留noindex；对于应当获得排名的页面，在源头移除它，让站点地图不包含带noindex的网址，并且在Google仍需读取其noindex时，永远不要在robots.txt中阻止该页面。要发布为索引和被引用而设计的页面，请查看Sorank的套餐，每月49€起，并提供3天免费试用。