面向 AI 爬虫的 robots.txt：放行什么，屏蔽什么

面向 AI 爬虫的 robots.txt 已经是一项商业决策，而不只是一个技术文件。过去只与 Googlebot 对话的这个文件，如今决定着 ChatGPT、Claude、Perplexity 和 Gemini 能否读取、引用并链接您的页面。格式本身没有变化：仍是以 RFC 9309 标准化的机器人排除协议，由 User-agent、Allow 和 Disallow 行组成。变化在于代理数量增多，而且同一家厂商会运行多个用途不同的爬虫。

有哪些 AI 爬虫，它们各做什么？

大多数 AI 厂商现在会用不同的用户代理区分训练、搜索索引和用户触发的抓取。下表根据各厂商的文档汇总了主要爬虫。

来源：OpenAI 爬虫文档和 Google 常见爬虫列表。名称偶尔会变化，修改文件前请查看各厂商的页面。我们词汇表中关于 AI 爬虫 和 OpenAI 爬虫 的条目提供了简明定义。

应该屏蔽 AI 爬虫吗？

对大多数想获取客户的企业来说，不应该：如有需要就屏蔽训练类，保持搜索类开放。取舍取决于您卖什么：

• 品牌、SaaS、电商、本地商家：AI 回答是获客渠道。屏蔽搜索爬虫等于退出这个渠道。放行训练爬虫也有助于未来的模型认识您的品牌。
• 依靠浏览量或订阅盈利的内容发布方：屏蔽训练类可以保护内容价值，保持搜索类开放仍能带来引用和链接。
• 拥有私有或授权内容的网站：大范围屏蔽，并在服务器端强制执行，因为 robots.txt 只是请求，不是访问控制。

推荐的 robots.txt 是什么样？

为每个用户代理写明确的分组：放行搜索类，对训练类做出清晰选择。以下示例适用于想获得 AI 可见度、但不愿提供训练数据的企业：

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

如果您不介意内容被用于训练，删除第二个分组即可。我们的免费 robots.txt 生成器 可以生成文件，robots.txt 检查工具 则能显示线上文件实际放行了哪些代理。

哪些错误会意外阻断 AI 可见度？

最常见的是从论坛照抄的一刀切规则。常见错误包括：

• 测试环境遗留的“User-agent: * / Disallow: /”，会屏蔽包括 Googlebot 在内的所有爬虫。
• 本想屏蔽 GPTBot 却屏蔽了 OAI-SearchBot，结果退出的是 ChatGPT 搜索，而不只是训练。
• CDN 或防火墙的防机器人规则，无论 robots.txt 怎么写，都对 AI 用户代理返回 403。请检查服务器日志。
• 屏蔽了渲染页面所需的 CSS 和 JavaScript，爬虫只能看到一个空壳。
• 重要内容只在浏览器端加载；许多 AI 爬虫不执行 JavaScript，主体文字应直接写在 HTML 中。

只靠 robots.txt 就能被引用吗？

不能，它只是打开了门。爬虫能读取页面之后，能否被引用取决于页面是否清晰回答问题、结构是否便于提取，以及是否有其他来源佐证。面向 AI 搜索的结构化数据、开门见山的小节，以及可选的 llms.txt 文件都有助于下一步。

结论

把每个 AI 爬虫当作独立的决策：开放搜索类和用户请求类，审慎决定训练类，并确认服务器执行的是同一套策略。然后衡量这扇打开的门是否真正带来了引用。Sorank 每周在 ChatGPT、Claude 和 Gemini 中追踪您的品牌，并发布便于被引用的结构化内容：可免费试用 3 天。