llms.txt：为 AI 友好型网站提议的指南文件

20 年来，robots.txt 一直是与搜索引擎爬虫沟通的方式。您把它放在网站根目录，告诉 Google 和 Bing 哪些页面要抓取、哪些要跳过。如今，OpenAI、Anthropic、Google 等公司的 AI 助手也在读取网络，而且它们的需求不同。llms.txt 就是一项用来与它们沟通的提议。

llms.txt 提议由 Answer.AI 联合创始人杰里米·霍华德（Jeremy Howard）于 2024 年发布，目的是帮助语言模型理解您的网站是关于什么的，并找到其中最有用的页面。与其让 AI 系统猜测您的网站是电商店铺、新闻媒体还是技术文档站点，llms.txt 会明确告诉它。理论上，这种清晰度可以帮助 AI 系统更准确地检索和引用您的内容。不过它仍只是一项提议，并非已被采纳的标准，也没有任何 AI 服务商承诺会使用它。

llms.txt 解决的问题

AI 系统面临一个现实问题。语言模型一次只能读取有限的文本量，而把一个包含菜单、脚本和广告的完整网站转换成干净可用的文本并不容易。当 ChatGPT 或 Gemini 需要回答关于您的网站或产品的问题时，它不知道该优先读取什么。应该读产品页面还是博客文章？哪个文档页面才是权威参考？哪些页面是长期有效的，哪些已经过时？没有指引，AI 系统可能把有限的上下文浪费在低价值页面上，或者错过重要内容。

对搜索引擎而言，robots.txt 解决的是另一个问题。它让您可以屏蔽 URL、把爬虫指向站点地图，并保护您的抓取预算。但 robots.txt 只控制访问权限，并不解释您的内容。AI 系统的需求不同。它们不太在意排名位置，更在意弄清楚您在哪些领域具有权威性。

llms.txt 旨在弥补这一缺口。它为语言模型提供网站的简短摘要和一份精选的关键页面清单。与其让 AI 系统推断您的网站是关于“SaaS 计费解决方案”的，不如直接告诉它。目标是让您最好的内容更容易被找到和使用。目前还没有证据表明它能改善索引，或提高在 AI 回答中被引用的可能性。

llms.txt 的核心结构与语法

llms.txt 格式是简单的 Markdown，人和语言模型都能读懂。文件位于您的域名根目录（www.example.com/llms.txt），并遵循固定的顺序：标题、简短摘要、可选说明，以及指向关键页面的链接分区。下面是一个基本示例：

# Example SaaS Company

> Billing automation software for B2B SaaS companies, covering pricing strategies, metering, payment processing, and compliance.

Example SaaS Company helps finance teams automate invoicing. The links below point to our most useful pages.

## Docs

- [Getting started](https://www.example.com/docs/getting-started): Set up your first billing plan
- [API reference](https://www.example.com/docs/api): Endpoints and authentication

## Guides

- [SaaS pricing strategies](https://www.example.com/blog/saas-pricing): How to choose and test a pricing model

## Optional

- [About us](https://www.example.com/about)

语法刻意保持简单，以便人和语言模型都能阅读。您说明自己是谁，概述网站涵盖的内容，并指向最重要的页面。与 robots.txt 不同，llms.txt 不包含任何允许或屏蔽指令：它是一份指南，而不是访问规则，也没有任何主要 AI 服务商承诺遵循它。

llms.txt 文件的组成部分

H1 标题（唯一必需的元素）是您的网站或项目名称。请保持简洁且有描述性。“Example SaaS Company”比“欢迎访问我们的网站”更好。

引用块摘要是您对网站内容的电梯演讲式介绍。请具体说明您的主题专长。不要写“我们写科技”，而要写“我们为 Python 开发者发布技术指南，重点关注异步编程、测试和生产部署。”这种具体性有助于 AI 系统理解您的权威性。

可选说明是不带标题的段落或列表，用来补充模型阅读文件其余部分所需的背景，例如网站面向谁，或如何理解所链接的页面。

H2 分区按主题归类您的链接，例如文档、产品或指南。每个分区都是一个 Markdown 链接列表，指向您的关键页面。请选择您希望模型优先阅读的页面。

链接条目采用 [页面名称](URL) 的格式，后面可以加冒号和对该页面的简短说明。请使用每个页面的规范 URL，并采用您偏好的版本（带或不带 www）。

Optional 分区是一个标题为“Optional”的特殊 H2。需要更短的上下文时，可以跳过其下的链接，因此次要页面应放在这里。

文件中没有的内容：llms.txt 没有 Allow、Disallow、Crawl-Delay 或日期字段。它不控制访问或抓取；这些规则仍然写在 robots.txt 中。

更进一步：页面的 Markdown 版本

除了基本文件，该提议还建议为对语言模型有用的每个页面提供一份干净的 Markdown 版本，地址与原页面相同，只需在末尾加上 .md（例如 www.example.com/docs/getting-started.md）。这样，llms.txt 中的链接就可以直接指向这些版本：

- [Getting started](https://www.example.com/docs/getting-started.md): Set up your first billing plan

有些网站还会发布 llms-full.txt 文件，把关键页面的全文汇总到一个文件中，供希望一次请求获取全部内容的工具使用。这是一些文档站点采用的惯例，并不是该提议的必需部分。无论哪种方式，目标都一样：让模型读到的噪音更少。

llms.txt 与 robots.txt：主要区别

robots.txt 主要是限制性的：您告诉爬虫哪些地方不允许进入。llms.txt 主要是信息性的：您告诉语言模型您的网站是关于什么的，以及哪些页面重要。robots.txt 使用 User-agent 字段来针对特定爬虫，主流爬虫都会遵循；llms.txt 没有这样的字段，主要 AI 服务商也没有确认会读取它。

robots.txt 直接影响搜索可见度。如果您禁止爬虫抓取某个页面，该页面通常不会被抓取。llms.txt 对传统排名没有影响，对 AI 可见度的影响也尚未得到证实。如果您使用它，请在网站上同时保留两个文件，各司其职。

在实践中，请用 robots.txt 来决定哪些爬虫（包括 GPTBot 或 ClaudeBot 等 AI 爬虫）可以访问网站的哪些部分。llms.txt 只用来把模型引向您最好的内容；它无法限制任何事。例如：

robots.txt：对您选定的爬虫（例如 GPTBot）屏蔽 /checkout 和 /admin
llms.txt：只链接到您希望模型阅读的文档、指南和产品页面

实施最佳实践

创建您的 llms.txt 文件，并把它放在 www.example.com/llms.txt。使用带 Markdown 格式的 UTF-8 纯文本。确保您的 Web 服务器以 text/plain 或 text/markdown 的 Content-Type 头提供该文件。直接在浏览器中访问该 URL 进行测试；您应该能看到原始文本。检查结构是否符合 llms.txt 规范：一个 H1 标题、一段引用块摘要，以及若干 H2 链接分区。

请撰写清晰、具体的描述。不要直接复制首页的标语。请如实说明您的网站涵盖的内容。如果您发布 15 个不同主题的内容，就把它们列出来。如果您非常专注，就如实说明。对模型来说，诚实而具体的描述比含糊的描述更有用。请加入描述您所在行业的关键词。如果您是电商网站，请提到“电商、产品、定价”。如果您是 SaaS 公司，请提到“软件、计费、集成”。

每当关键页面发生变化时，请更新该文件。该格式没有日期字段，因此保持文件最新要靠您自己。如果您网站的主题重心发生重大变化，请更新摘要和分区。请设置每季度一次的提醒，检查并刷新您的 llms.txt，尤其是在您新增内容类别或调整定位时。

请关注 llms.txt 的采用情况。一些文档平台和开发者工具已经发布了 llms.txt 文件，但 OpenAI、Anthropic 和 Google DeepMind 都没有承诺在抓取网络时读取它。添加一个只是低成本的尝试，而不是任何保证。

llms.txt 与隐私顾虑

有些人想知道 llms.txt 能否控制 AI 公司如何使用他们的内容。答案是不能。AI 公司和隐私倡导者正在争论网络抓取和模型训练的伦理问题。搜索和抓取标准在二十多年里不断演进，以平衡访问权限和对内容创作者的尊重。llms.txt 是这场讨论的一部分，但它的设计初衷是帮助模型找到您的内容，而不是限制它们如何使用。

如果您想阻止自己的内容被用于 AI 训练，llms.txt 并不是合适的工具：它没有任何相关指令。请改用针对相关 AI 用户代理的 robots.txt 规则，例如：

User-agent: GPTBot
Disallow: /

遵守 robots.txt 同样是自愿的，但正规的 AI 服务商会公布其爬虫名称，并表示会遵守它。如果您需要更强的保护，请在服务器或防火墙配置中屏蔽这些机器人。目前这两个文件都不是法律机制。随着监管的发展和行业标准的成熟，可能会出现更可靠的机制。

衡量 llms.txt 的效果

很难衡量 llms.txt 的投资回报率（ROI），因为没有任何 AI 服务商表示会使用该文件。不过您可以跟踪一些指标。请在添加文件前后，监测您在 ChatGPT、Gemini、Claude 和 Perplexity 中的提及和引用情况。如果您看到引用增长，那只是相关性，并不能证明是该文件所致，因为许多其他因素也会影响引用。请把您的引用增长与尚未实施 llms.txt 的竞争对手进行比较。

使用AI 提及追踪工具来量化您的 AI 搜索可见度。跟踪您的内容被主要 AI 助手引用的次数。这样您就可以自己判断，添加 llms.txt 是否会给您的网站带来变化。

llms.txt 的未来

robots.txt 直到 2022 年才被正式确立为互联网标准（RFC 9309），此前已使用数十年。llms.txt 目前仍处于提议阶段，它可能会走上同样的道路，也可能不会。没有它的网站如今不会受到惩罚，也没有任何主要的 AI 搜索平台表示会检查该文件。

由于创建该文件只需几分钟且不花任何费用，添加 llms.txt 是一个合理且风险很低的尝试，尤其适合文档较多的网站。但请保持现实的预期：它只是一项提议，其收益尚未得到证实，而您的时间通常更适合投入到内容质量、结构，以及 AI 系统真正依赖的信号上。

如何在 WordPress、Shopify、Webflow 等 CMS 上添加 llms.txt 文件

llms.txt 文件必须位于域名根目录，即 yourdomain.com/llms.txt，并以纯文本返回。具体做法取决于 CMS 对根目录文件的控制程度：

• 自托管网站和 WordPress：通过主机的文件管理器或 FTP 把文件上传到根目录。部分 WordPress SEO 插件也可以生成并提供该文件。
• 不允许上传到根目录的托管平台（许多建站工具和电商平台）：如果平台提供 llms.txt 设置或应用，就直接使用；否则把文件托管在别处，并从 /llms.txt 设置重定向，然后确认最终地址仍返回纯文本。
• 静态和无头（headless）网站：把 llms.txt 放在 public 目录，让它随每次部署一起发布，并在关键页面变化时重新生成。

用免费的 llms.txt 生成器 编写内容，再用 llms.txt 验证工具 检查地址、内容类型和 Markdown 结构。我们的 分步安装指南 详细介绍了每种情况。

结论

llms.txt 是一种提议中的低成本指南文件，适合希望帮助语言模型找到自己最佳内容的网站。把这个简单的 Markdown 文件放在域名根目录，您就能说明网站涵盖的内容，并链接到关键页面。格式简单，几分钟即可完成，但没有任何 AI 服务商承诺会使用它，因此请把它当作一次尝试，而不是硬性要求。如果您希望被 ChatGPT、Claude、Gemini 和 Perplexity 引用，请先专注于清晰、结构良好的内容，以及遍布全网的强信号。使用 Sorank 的关键词研究与发现工具，确定要在 llms.txt 文件中突出哪些主题。