llms.txt: предлагаемый файл-путеводитель для сайтов, дружественных к ИИ

20 лет robots.txt был способом общения с поисковыми краулерами. Его размещали в корне сайта, чтобы сообщить Google и Bing, какие страницы сканировать, а какие пропускать. Теперь интернет читают и ИИ-ассистенты от OpenAI, Anthropic, Google и других компаний, и у них другие потребности. llms.txt, это предложение о том, как с ними общаться.

Предложение llms.txt, опубликованное в 2024 году Jeremy Howard, сооснователем Answer.AI, призвано помочь языковым моделям понять, о чём ваш сайт, и найти самые полезные страницы. Вместо того чтобы заставлять ИИ-систему гадать, интернет-магазин перед ней, новостное издание или сайт технической документации, llms.txt сообщает об этом прямо. В принципе, такая ясность могла бы помочь ИИ-системам точнее находить и цитировать ваш контент. Но это остаётся предложением, а не принятым стандартом, и ни один ИИ-провайдер не обязался его использовать.

Какую проблему решает llms.txt

У ИИ-систем есть практическая проблема. Языковая модель может прочитать за один раз лишь ограниченный объём текста, а превратить целый сайт с меню, скриптами и рекламой в чистый пригодный для работы текст непросто. Когда ChatGPT или Gemini нужно ответить на вопрос о вашем сайте или продукте, они не знают, что приоритетнее. Читать страницы товаров или записи блога? Какая страница документации является справочником? Какие страницы актуальны всегда, а какие устарели? Без подсказок ИИ-система может потратить ограниченный контекст на малоценные страницы или упустить важный контент.

robots.txt решал для поисковых систем другую задачу. Он позволял блокировать URL, указывать краулерам карту сайта и защищать ваш краулинговый бюджет. Но robots.txt лишь управляет доступом и не объясняет содержание. У ИИ-систем другие потребности. Их меньше интересует позиция в выдаче и больше то, в чём вы авторитетны.

llms.txt должен восполнить этот пробел. Он даёт языковым моделям краткое описание вашего сайта и отобранный список ключевых страниц. Вместо того чтобы ИИ-система делала вывод, что ваш сайт посвящён «решениям для биллинга SaaS», вы можете сказать ей об этом прямо. Цель в том, чтобы лучший контент было проще находить и использовать. Пока нет доказательств, что файл улучшает индексацию или повышает вероятность цитирования в ответах ИИ.

Основная структура и синтаксис llms.txt

Формат llms.txt, это обычный Markdown, читаемый и людьми, и языковыми моделями. Файл находится в корне домена (www.example.com/llms.txt) и следует фиксированному порядку: заголовок, краткое описание, необязательные пояснения и разделы со ссылками на ключевые страницы. Вот простой пример:

# Example SaaS Company

> Программное обеспечение для автоматизации биллинга B2B SaaS-компаний: стратегии ценообразования, учёт потребления, обработка платежей и соответствие требованиям.

Example SaaS Company помогает финансовым командам автоматизировать выставление счетов. Ссылки ниже ведут на наши самые полезные страницы.

## Docs

- [Getting started](https://www.example.com/docs/getting-started): настройка первого тарифного плана
- [API reference](https://www.example.com/docs/api): конечные точки и аутентификация

## Guides

- [SaaS pricing strategies](https://www.example.com/blog/saas-pricing): как выбрать и протестировать модель ценообразования

## Optional

- [About us](https://www.example.com/about)

Синтаксис намеренно простой, чтобы его могли читать и люди, и языковые модели. Вы сообщаете, кто вы, кратко описываете, о чём ваш сайт, и указываете самые важные страницы. В отличие от robots.txt, в llms.txt нет директив разрешения или блокировки: это путеводитель, а не правило доступа, и ни один крупный ИИ-провайдер не обязался ему следовать.

Из чего состоит файл llms.txt

Заголовок H1 (единственный обязательный элемент): название вашего сайта или проекта. Делайте его кратким и содержательным. «Example SaaS Company» лучше, чем «Добро пожаловать на наш сайт».

Краткое описание в цитате: ваша «презентация для лифта» о том, чему посвящён сайт. Будьте конкретны в описании своей тематической экспертизы. Вместо «Мы пишем о технологиях» напишите «Мы публикуем технические руководства для разработчиков на Python: асинхронное программирование, тестирование и развёртывание в продакшене». Эта конкретность помогает ИИ-системам понять, в чём вы авторитетны.

Необязательные пояснения: абзацы или списки без заголовков, которые добавляют контекст, нужный модели для чтения остальной части файла: например, для кого предназначен сайт или как интерпретировать страницы по ссылкам.

Разделы H2 группируют ссылки по темам, например «Docs», «Products» или «Guides». Каждый раздел, это маркированный список Markdown со ссылками на ключевые страницы. Выбирайте страницы, которые вы хотели бы, чтобы модель прочитала в первую очередь.

Элементы-ссылки используют формат [Название страницы](URL), за которым по желанию следуют двоеточие и краткое описание страницы. Используйте канонический URL каждой страницы в предпочтительной версии (с www или без).

Раздел Optional: особый раздел H2 с названием «Optional». Ссылки под ним можно пропустить, когда нужен более короткий контекст, поэтому здесь место второстепенным страницам.

Чего в файле нет: в llms.txt нет полей Allow, Disallow, Crawl-Delay и дат. Он не управляет доступом и сканированием: эти правила остаются в robots.txt.

Идём дальше: версии ваших страниц в формате Markdown

Помимо базового файла, предложение рекомендует также предлагать чистую версию Markdown для каждой страницы, полезной языковым моделям, по тому же URL с добавлением .md (например, www.example.com/docs/getting-started.md). Тогда ссылки в вашем llms.txt могут вести прямо на эти версии:

- [Getting started](https://www.example.com/docs/getting-started.md): настройка первого тарифного плана

Некоторые сайты также публикуют файл llms-full.txt, который собирает полный текст ключевых страниц в одном файле для инструментов, которым нужно получить всё одним запросом. Это соглашение, используемое некоторыми сайтами документации, а не обязательная часть предложения. В обоих случаях цель одна: меньше шума для чтения моделью.

llms.txt и robots.txt: главные различия

robots.txt в основном ограничивает. Вы сообщаете краулерам, куда им НЕЛЬЗЯ. llms.txt в основном информирует. Вы сообщаете языковым моделям, о чём ваш сайт и какие страницы важны. robots.txt использует поле User-agent для обращения к конкретным краулерам, и крупные краулеры ему следуют; в llms.txt такого поля нет, а крупные ИИ-провайдеры не подтвердили, что читают его.

robots.txt напрямую влияет на видимость в поиске. Если вы запретили краулерам доступ к странице, её, как правило, не сканируют. llms.txt не влияет на традиционные позиции, а его влияние на видимость в ИИ не доказано. Если вы его используете, держите на сайте оба файла, у каждого своя роль.

На практике используйте robots.txt, чтобы решать, каким краулерам, включая ИИ-краулеры вроде GPTBot или ClaudeBot, доступны те или иные разделы вашего сайта. Используйте llms.txt только чтобы направить модели к вашему лучшему контенту; он ничего не может ограничить. Например:

robots.txt: блокирует /checkout и /admin для выбранных вами краулеров (например, GPTBot)
llms.txt: содержит ссылки только на документацию, руководства и страницы продуктов, которые вы хотите показать моделям

Рекомендации по внедрению

Создайте файл llms.txt и разместите его по адресу www.example.com/llms.txt. Используйте обычный текст в кодировке UTF-8 с разметкой Markdown. Убедитесь, что веб-сервер отдаёт его с заголовком Content-Type text/plain или text/markdown. Проверьте, открыв URL напрямую в браузере: вы должны увидеть необработанный текст. Проверьте, что структура соответствует спецификации llms.txt: заголовок H1, краткое описание в цитате и разделы H2 со ссылками.

Пишите чёткие и конкретные описания. Не копируйте просто слоган с главной страницы. Будьте честны в том, о чём ваш сайт. Если вы публикуете материалы на 15 разных тем, перечислите их. Если у вас узкая специализация, так и скажите. Честные, конкретные описания полезнее модели, чем расплывчатые. Добавьте ключевые слова, описывающие вашу нишу или отрасль. Если вы интернет-магазин, укажите «e-commerce, товары, цены». Если вы SaaS-компания, укажите «программное обеспечение, биллинг, интеграции».

Обновляйте файл при каждом изменении ключевых страниц. В формате нет поля с датой, поэтому актуальность файла зависит от вас. Если тематический фокус сайта заметно меняется, обновите описание и разделы. Поставьте напоминание раз в квартал, чтобы проверять и обновлять llms.txt, особенно если вы создаёте новые категории контента или уточняете позиционирование.

Следите за распространением llms.txt. Некоторые платформы документации и инструменты для разработчиков уже публикуют файлы llms.txt, но OpenAI, Anthropic и Google DeepMind не обязались читать его при сканировании интернета. Добавить файл: недорогой эксперимент, а не гарантия чего-либо.

llms.txt и вопросы конфиденциальности

Некоторые задаются вопросом, может ли llms.txt управлять тем, как ИИ-компании используют их контент. Не может. ИИ-компании и защитники конфиденциальности обсуждают этику сканирования интернета и обучения моделей. Стандарты поиска и сканирования развивались двадцать лет, чтобы сбалансировать доступ и уважение к создателям контента. llms.txt участвует в этом разговоре, но создавался он для того, чтобы помогать моделям находить ваш контент, а не ограничивать его использование.

Если вы хотите запретить использовать ваш контент для обучения ИИ, llms.txt: неподходящий инструмент: у него нет для этого директивы. Вместо него используйте правила robots.txt для нужных ИИ-агентов, например:

User-agent: GPTBot
Disallow: /

Соблюдение robots.txt тоже добровольное, но добросовестные ИИ-провайдеры публикуют названия своих краулеров и заявляют, что его уважают. Если нужна более надёжная защита, блокируйте ботов в конфигурации сервера или файервола. Пока ни один из файлов не является юридическим механизмом. По мере развития регулирования и закрепления отраслевых стандартов могут появиться более надёжные механизмы.

Как измерить эффект llms.txt

Окупаемость llms.txt измерить трудно, поскольку ни один ИИ-провайдер не заявлял, что использует этот файл. Но можно отслеживать косвенные показатели. Следите за упоминаниями и цитированиями вашего контента в ChatGPT, Gemini, Claude и Perplexity до и после добавления файла. Если вы видите рост цитирований, это корреляция, а не доказательство того, что причина в файле, ведь на цитирование влияют многие другие факторы. Сравните рост цитирований с конкурентами, которые не внедрили llms.txt.

Используйте инструменты отслеживания упоминаний в ИИ, чтобы количественно оценить видимость в ИИ-поиске. Отслеживайте, сколько раз ваш контент цитируют крупные ИИ-ассистенты. Это позволит вам самим судить, меняет ли добавление llms.txt что-то для вашего сайта.

Будущее llms.txt

robots.txt стал формальным интернет-стандартом (RFC 9309) лишь в 2022 году, после десятилетий использования. llms.txt пока находится на стадии предложения, и он может пойти тем же путём, а может и нет. Сайты без него сегодня не наказываются, и ни одна крупная платформа ИИ-поиска не заявляла, что проверяет наличие этого файла.

Поскольку создание файла занимает минуты и ничего не стоит, добавить llms.txt: разумный малорисковый эксперимент, особенно для сайтов с большим объёмом документации. Просто сохраняйте реалистичные ожидания: это предложение, его польза не доказана, а время обычно лучше потратить на качество контента, структуру и сигналы, на которые ИИ-системы действительно опираются.

Как добавить файл llms.txt на WordPress, Shopify, Webflow и другие CMS

Файл llms.txt должен отвечать в корне вашего домена, по адресу yourdomain.com/llms.txt, как обычный текст. Как именно его туда поместить, зависит от того, насколько ваша CMS позволяет управлять корневыми файлами:

• Самостоятельно размещаемые сайты и WordPress: загрузите файл в корневую папку через файловый менеджер хостинга или FTP. Некоторые SEO-плагины для WordPress могут также создавать и отдавать его за вас.
• Облачные платформы, которые запрещают загрузку в корень (многие конструкторы сайтов и платформы электронной коммерции): используйте собственную настройку или приложение для llms.txt, если платформа его предлагает; иначе разместите файл в другом месте и добавьте перенаправление с /llms.txt, затем проверьте, что конечный URL по-прежнему отдаёт обычный текст.
• Статические и headless-сайты: поместите llms.txt в публичную папку, чтобы он попадал в каждый деплой, и пересоздавайте его при изменении ключевых страниц.

Подготовьте содержимое с помощью бесплатного генератора llms.txt, затем проверьте URL, тип содержимого и структуру Markdown с помощью валидатора llms.txt. Наше пошаговое руководство по установке подробно разбирает каждый случай.

Заключение

llms.txt, это предлагаемый недорогой файл-путеводитель для сайтов, которые хотят помочь языковым моделям находить свой лучший контент. Разместив этот простой файл Markdown в корне домена, вы описываете, о чём ваш сайт, и даёте ссылки на ключевые страницы. Формат простой, внедрение занимает минуты, но ни один ИИ-провайдер не обязался его использовать, поэтому относитесь к нему как к эксперименту, а не как к обязательному требованию. Если вы всерьёз хотите, чтобы вас цитировали ChatGPT, Claude, Gemini и Perplexity, сначала сосредоточьтесь на ясном, хорошо структурированном контенте и сильных сигналах в интернете. Используйте инструменты Sorank для подбора ключевых слов и поиска тем, чтобы определить, какие темы выделить в файле llms.txt.