Robots.txt для ИИ-краулеров: что разрешить, что заблокировать

Ваш robots.txt для ИИ-краулеров стал бизнес-решением, а не просто техническим файлом. Тот же файл, который раньше обращался только к Googlebot, теперь решает, смогут ли ChatGPT, Claude, Perplexity и Gemini читать, цитировать и ссылаться на ваши страницы. Сам формат не изменился: это по-прежнему Robots Exclusion Protocol, стандартизованный в RFC 9309, со строками user agent, Allow и Disallow. Изменилось число агентов и то, что один поставщик может запускать несколько ботов с разными задачами.

Какие ИИ-краулеры существуют и что они делают?

Большинство ИИ-поставщиков теперь разделяют обучение, индексацию для поиска и загрузку по запросу пользователя на разные user agent'ы. Таблица обобщает основные из них по документации каждого поставщика.

Источники: документация OpenAI по краулерам и список распространённых краулеров Google. Названия иногда меняются, поэтому проверяйте страницу каждого поставщика перед правкой файла. Наши статьи глоссария об ИИ-краулерах и краулерах OpenAI дают короткие определения.

Нужно ли блокировать ИИ-краулеры?

Для большинства компаний, которым нужны клиенты, нет: блокируйте обучение, если необходимо, но оставляйте поисковые краулеры открытыми. Выбор зависит от того, что вы продаёте:

• Бренды, SaaS, электронная коммерция, локальный бизнес: ответы ИИ - канал привлечения. Блокировка поисковых краулеров убирает вас из него. Разрешение краулеров для обучения также помогает будущим моделям узнавать ваш бренд.
• Издатели, живущие за счёт просмотров страниц или подписок: блокировка краулеров для обучения защищает ценность контента; открытые поисковые краулеры по-прежнему приносят цитирования и ссылки.
• Сайты с закрытым или лицензируемым контентом: блокируйте широко и обеспечивайте это на уровне сервера, поскольку robots.txt - просьба, а не контроль доступа.

Как выглядит рекомендуемый robots.txt?

Явные группы для каждого user agent, с разрешёнными поисковыми ботами и чётким выбором для ботов обучения. Пример для компании, которой нужна видимость в ИИ, но которая предпочитает не отдавать данные для обучения:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

Удалите вторую группу, если вы согласны, чтобы ваш контент использовался для обучения. Наш бесплатный генератор robots.txt создаёт файл, а проверка robots.txt показывает, каких агентов действующий файл реально разрешает.

Какие ошибки случайно блокируют видимость в ИИ?

Самая распространённая - универсальное правило, скопированное с форума. Частые ошибки:

• «User-agent: * / Disallow: /», оставшееся с тестового сервера, которое блокирует всех ботов, включая Googlebot.
• Блокировка OAI-SearchBot вместо намеренной блокировки GPTBot, которая убирает вас из поиска ChatGPT, а не только из обучения.
• Правило защиты от ботов в CDN или файрволе, возвращающее 403 для ИИ-агентов независимо от robots.txt. Проверьте журналы сервера.
• Блокировка CSS и JavaScript, необходимых для отрисовки страницы, из-за чего краулеры видят пустую оболочку.
• Важный контент, загружаемый только на стороне клиента; многие ИИ-краулеры не выполняют JavaScript, поэтому отдавайте основной текст в HTML.

Достаточно ли robots.txt, чтобы вас цитировали?

Нет, он лишь открывает дверь. Когда краулеры могут читать ваши страницы, цитирование зависит от того, ясно ли эти страницы отвечают на вопросы, структурированы ли для извлечения и подтверждены ли другими источниками. Чистые структурированные данные для ИИ-поиска, разделы с ответом в начале и необязательный файл llms.txt помогают на следующем шаге.

Заключение

Относитесь к ИИ-краулерам как к отдельным решениям: откройте поисковых ботов и ботов загрузки по запросу, осознанно выберите для ботов обучения и убедитесь, что ваш сервер применяет ту же политику. Затем измеряйте, превращается ли открытая дверь в цитирования. Sorank каждую неделю отслеживает ваш бренд в ChatGPT, Claude и Gemini и публикует контент, структурированный для цитирования: начните с бесплатного пробного периода на 3 дня.