noindex 是要求搜索引擎不在结果中显示某个页面的指令。如何添加、何时使用,以及导致网站被移出索引的常见错误。

摘要
noindex 是放在 meta robots 标签或 HTTP 响应头中的指令,要求搜索引擎可以抓取页面但不在结果中显示它。这是让页面不进入 Google 索引的可靠方法。
想深入了解?请询问
noindex 是一条要求搜索引擎不要把页面纳入索引、因而不在搜索结果中显示的指令。它可以写在页面 HTML 的 head 中,即 <meta name="robots" content="noindex">,也可以通过 HTTP 响应头 X-Robots-Tag: noindex 发送,后者同样适用于 PDF 等非 HTML 文件。Google、Bing 和大多数搜索引擎都会遵守。
noindex 能把 URL 从搜索结果中移除,而用户仍然可以访问它:感谢页、站内搜索结果页或登录页可以继续在线发挥作用,只是在 Google 中不可见。如果误用,同一个标签可能在几天内让整个网站从搜索中消失。
搜索引擎必须先抓取页面才能读到这条指令。Googlebot 发现标签或响应头后,会把页面移出索引,或者根本不收录。在 Google Search Console 的网页索引报告中,这些 URL 显示为“已被 noindex 标记排除”。如果 URL 在 robots.txt 中被屏蔽,Google 就读不到标签,URL 甚至可能继续留在索引中。自 2019 年起,Google 不再支持 robots.txt 中的 noindex 规则。
robots.txt 控制抓取,可以节省抓取预算,但不能保证移出索引。noindex 控制索引。canonical 标签 处理重复内容,告诉 Google 应该索引哪个版本。重复页面用 canonical,对用户有用但无需出现在搜索中的页面用 noindex,无限生成的 URL(如部分筛选页)用 robots.txt。
典型场景包括:订单确认页和感谢页、站内搜索结果、账户和购物车页、打印版本、文章很少的标签归档页,以及测试环境。内容单薄的页面可以暂时设为 noindex,但通常更好的做法是充实或合并,详见我们关于薄内容的说明。noindex 并不能保护机密内容,知道 URL 的人依然可以访问。
在 CMS 中使用“对搜索引擎隐藏”之类的选项;在自定义代码中,把 meta robots 标签加到 head,或让服务器发送 X-Robots-Tag 响应头。可以组合取值,例如“noindex, follow”。之后在 Search Console 中检查该 URL,并确认它没有被 robots.txt 屏蔽。Sorank 的免费可索引性检查工具可以显示某个 URL 是否带有 noindex 指令。
最严重的错误是网站上线或迁移后,仍然开着“阻止搜索引擎索引本站”的选项,导致整站被移出索引。其他错误包括:noindex 与 robots.txt 屏蔽同时使用、在带有指向其他 URL 的 canonical 的页面上加 noindex,以及给分页分类页加 noindex,导致爬虫无法到达其中列出的产品。
在 SEO 中,noindex 让索引保持干净,搜索引擎能专注于值得排名的页面。在 GEO 中影响更直接:ChatGPT 搜索、Perplexity 等 AI 依赖网页索引(包括 Bing 的索引)寻找来源,被 noindex 排除的页面通常不在其中,也就无法被引用。
noindex 要求搜索引擎不在结果中显示页面。它通过 meta robots 标签或 X-Robots-Tag 响应头生效,前提是页面可以被抓取,适用于对访客有用但在搜索中没有价值的页面。
延伸阅读:索引和 robots.txt。参考来源:Google 关于使用 noindex 阻止索引的说明和meta robots 标签规范。
来源
Googlebot 重新抓取并看到指令后页面才会被移除,根据抓取频率,可能需要几天到几周。使用网址检查工具请求重新抓取可以加快这一过程。
不应该。被屏蔽后 Google 无法抓取页面,也就看不到 noindex 标签,URL 可能继续留在索引中。在页面被移除之前,请保持其可抓取。
它要求不索引该页面,但继续跟踪页面中的链接,常用于归档页或功能页。由于 follow 是默认行为,单独使用“noindex”对链接的效果相同。
他们已先于您体验了 SORANK

