Robots.txt для ШІ-краулерів: що дозволяти, а що блокувати

Ваш robots.txt для ШІ-краулерів став бізнес-рішенням, а не просто технічним файлом. Файл, який колись розмовляв лише з Googlebot, тепер визначає, чи можуть ChatGPT, Claude, Perplexity і Gemini читати, цитувати та посилатися на ваші сторінки. Сам формат не змінився: це досі Robots Exclusion Protocol, стандартизований як RFC 9309, з user agent'ами та рядками Allow і Disallow. Змінилася кількість агентів і те, що один постачальник може запускати кілька ботів з різними цілями.

Які ШІ-краулери існують і що вони роблять?

Більшість постачальників ШІ тепер розділяють навчання, пошукову індексацію та завантаження за запитом користувача на різні user agent'и. Таблиця підсумовує основні з них відповідно до документації кожного постачальника.

Джерела: документація OpenAI про краулери і список поширених краулерів Google. Назви час від часу змінюються, тож перед редагуванням файлу перевіряйте сторінку кожного постачальника. Наші статті глосарія про ШІ-краулери та краулери OpenAI дають короткі визначення.

Чи варто блокувати ШІ-краулери?

Для більшості компаній, які хочуть клієнтів, ні: блокуйте навчання, якщо потрібно, але залишайте пошукові краулери відкритими. Компроміс залежить від того, що ви продаєте:

• Бренди, SaaS, електронна комерція, місцевий бізнес: відповіді ШІ є каналом залучення. Блокування пошукових краулерів виводить вас із нього. Дозвіл краулерам для навчання також допомагає майбутнім моделям знати ваш бренд.
• Видавці, що живуть із переглядів сторінок чи підписок: блокування краулерів для навчання захищає цінність контенту; відкриті пошукові краулери все одно приносять цитування й посилання.
• Сайти з приватним або ліцензованим контентом: блокуйте широко й забезпечуйте виконання на рівні сервера, бо robots.txt є проханням, а не контролем доступу.

Як виглядає рекомендований robots.txt?

Явні групи для кожного user agent, з дозволеними пошуковими ботами та чітким вибором для ботів навчання. Приклад для компанії, яка хоче видимості в ШІ, але не хоче надавати дані для навчання:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

Приберіть другу групу, якщо ви не заперечуєте проти використання вашого контенту для навчання. Наш безкоштовний генератор robots.txt створює файл, а перевірка robots.txt показує, яких агентів справжній файл фактично дозволяє.

Які помилки випадково блокують видимість у ШІ?

Найпоширеніша: загальне правило, скопійоване з форуму. Часті помилки:

• «User-agent: * / Disallow: /», залишене з тестового середовища, яке блокує всіх ботів, зокрема Googlebot.
• Блокування OAI-SearchBot замість наміру заблокувати GPTBot, що прибирає вас із пошуку ChatGPT, а не лише з навчання.
• Правило захисту від ботів у CDN чи брандмауері, яке повертає 403 ШІ-агентам попри robots.txt. Перевірте журнали сервера.
• Блокування CSS і JavaScript, потрібних для відображення сторінки, через що краулери бачать порожню оболонку.
• Важливий контент, що завантажується лише на стороні клієнта; багато ШІ-краулерів не виконують JavaScript, тож віддавайте основний текст у HTML.

Чи достатньо robots.txt, щоб вас цитували?

Ні, він лише відчиняє двері. Коли краулери можуть читати ваші сторінки, цитування залежить від того, чи чітко ці сторінки відповідають на запитання, чи структуровані для вилучення та чи підтверджені іншими джерелами. Чисті структуровані дані для ШІ-пошуку, розділи з відповіддю на початку й необов'язковий файл llms.txt допомагають на наступному кроці.

Висновок

Розглядайте ШІ-краулери як окремі рішення: відкрийте пошукові боти та боти завантаження за запитом, свідомо обирайте для ботів навчання і перевірте, що ваш сервер застосовує ту саму політику. Потім вимірюйте, чи відчинені двері перетворюються на цитування. Sorank щотижня відстежує ваш бренд у ChatGPT, Claude і Gemini та публікує контент, структурований для цитування: почніть із 3-денного безкоштовного пробного періоду.