Коротко
безкоштовна перевірка robots.txt читає актуальний robots.txt будь-якого домену й показує його групи правил, sitemap, знайдені проблеми та статус 14 ШІ-краулерів (дозволений, частково або заблокований): від GPTBot і OAI-SearchBot до ClaudeBot, PerplexityBot і Google-Extended. Користуйтеся нею після кожної зміни файлу та щоразу, коли ваші сторінки перестають з'являтися в Google або у відповідях ШІ.
Хочете дізнатися більше? Запитайте
Перевірка robots.txt знаходить рядок, який непомітно блокує весь сайт. Robots.txt є відкритим стандартом (RFC 9309), який читає кожен великий краулер перед відвідуванням сайту, а ШІ-краулери помножили кількість ботів, з якими доводиться мати справу. Між травнем 2024 і травнем 2025 року частка GPTBot у трафіку ШІ-краулерів зросла з 5% до 30%, а Meta-ExternalAgent досяг 19% (Cloudflare, хто сканує ваш сайт у 2025 році). Ваш файл має говорити щось розумне всім їм.
Що показує перевірка robots.txt?
Введіть домен, і інструмент завантажить https://yourdomain/robots.txt, піде за переадресаціями, розбере файл і поверне п'ять блоків.
| Блок | Що він показує | На що дивитися |
|---|---|---|
| Групи правил | Скільки груп User-agent містить файл | Нуль означає, що синтаксис не вдалося прочитати |
| Sitemap | Кожен знайдений рядок Sitemap | Принаймні один повний URL вашого sitemap |
| Заблоковані ШІ-боти | Скільки з 14 ШІ-краулерів заблоковано повністю | Лише ті, які ви вирішили заблокувати |
| Проблеми | Виявлені проблеми з рекомендацією | Нуль або лише свідомі рішення |
| Вихідний файл | robots.txt у тому вигляді, в якому його віддано | Що це саме той файл, який ви, на вашу думку, опублікували |
Якщо в домену немає robots.txt або замість звичайного тексту повертається HTML-сторінка, інструмент повідомляє про це й радить додати файл. Безкоштовна версія виконує 3 перевірки на день.
Як перевірка визначає, чи заблоковано ШІ-бота?
Для кожного з 14 ШІ-краулерів інструмент шукає групу, яка називає бота. Якщо її немає, він використовує групу User-agent: *. Далі застосовуються три статуси.
| Статус | Правило, знайдене в групі | Що це означає |
|---|---|---|
| Дозволений | Жодна група не застосовується або група не містить правила Disallow | Бот може сканувати весь сайт |
| Частково | Правила Disallow лише для деяких шляхів | Бот може сканувати сайт, окрім цих шляхів |
| Заблокований | Disallow: / без Allow: / | Боту запропоновано триматися подалі від усього сайту |
14 перевірених краулерів: GPTBot, OAI-SearchBot і ChatGPT-User (OpenAI), ClaudeBot, Claude-Web та anthropic-ai (Anthropic), PerplexityBot і Perplexity-User, Google-Extended, Applebot-Extended, CCBot (Common Crawl), Amazonbot, Bytespider (ByteDance) і Meta-ExternalAgent. Таблиця також показує постачальника й призначення кожного бота, тож ви одразу бачите, чи блокуєте навчання, пошук або перегляд у реальному часі.
Яких ШІ-краулерів слід дозволити?
Дозвольте краулерів, які виводять ваші сторінки у відповіді ШІ-пошуку. Блокування краулерів для навчання є бізнес-рішенням; блокування пошукових краулерів зазвичай є помилкою.
- OAI-SearchBot: сайти, що відмовилися, не показуються у відповідях пошуку ChatGPT. GPTBot стосується лише навчання моделей, а ці два налаштування незалежні (огляд краулерів OpenAI).
- PerplexityBot: він виводить сайти в результати Perplexity з посиланнями й не використовується для навчання базових моделей (краулери Perplexity).
- Google-Extended: токен для навчання Gemini та обґрунтування відповідей, який не впливає на включення в Google Search чи позиції (загальні краулери Google).
- Anthropic: ClaudeBot збирає дані для навчання, тоді як Claude-SearchBot і Claude-User обслуговують пошук і запити користувачів; блокування цих двох може знизити вашу видимість у Claude (політика краулерів Anthropic).
Більшість сайтів ніколи не ухвалює рішення. 6 червня 2025 року лише близько 14% із 10000 найпопулярніших доменів з robots.txt мали правила для ШІ-ботів, а GPTBot був і найчастіше блокованим (312 доменів), і найчастіше явно дозволеним (61 домен), за даними того самого дослідження Cloudflare. Боти, не названі у файлі, за замовчуванням дозволені.
Що означають найпоширеніші проблеми?
| Повідомлена проблема | Чому це важливо | Виправлення |
|---|---|---|
| User-agent: * заблоковано для всього сайту | Усім краулерам без власної групи, включно з Googlebot, пропонується триматися подалі | Приберіть Disallow: / із групи *, якщо сайт не є тестовою копією |
| Немає директиви Sitemap | Краулери, яким ви не подавали sitemap, як-от Bing або ШІ-краулери, можуть його не знайти | Додайте Sitemap: https://yourdomain/sitemap.xml |
| Названого ШІ-бота заблоковано | Цей постачальник не скануватиме ваші сторінки | Залиште лише тоді, коли блокування цього бота є свідомим вибором |
| Жодної групи User-agent не розібрано | У файлі немає коректного правила, тож він нічого не обмежує | Перевірте синтаксис: Field: value, одне правило в рядку |
| robots.txt не знайдено | Саме по собі не помилка: тоді Google сканує все | Додайте файл усе одно, щоб оголосити sitemap і свій вибір щодо ШІ |
Відсутній або зламаний файл Google обробляє по-різному залежно від HTTP-статусу. Відповідь 4xx (окрім 429) означає відсутність обмежень. Відповідь 5xx вважається помилкою сервера: Google призупиняє сканування на 12 годин, а потім до 30 днів використовує свою останню справну копію (Google, як Google інтерпретує специфікацію robots.txt). Тож robots.txt, що постійно повертає серверні помилки, може заморозити сканування цілком здорового сайту.
Як крок за кроком виправити проблему з robots.txt?
- Прочитайте вихідний файл у звіті, щоб підтвердити, що справді в мережі. Кеші CDN і тестові розгортання часто віддають стару версію.
- Перепишіть файл за допомогою генератора robots.txt, який будує чисті групи, правила Allow і Disallow та рядок Sitemap.
- Завантажте його в корінь кожного хоста. Піддомен, як-от blog.example.com, потребує власного файлу.
- Запустіть перевірку знову й переконайтеся, що статуси змінилися.
- Повідомте Google, якщо виправлення термінове. Звіт robots.txt у Search Console показує файли, які Google знайшов для ваших 20 головних хостів, і дозволяє запросити повторне сканування (Довідка Search Console, звіт robots.txt). Інакше Google оновлює кешовану копію приблизно за 24 години.
Потім перевірте самі сторінки. Сторінка, відкрита в robots.txt, усе ж може бути виключена з індексу тегом noindex або canonical, що вказує деінде: перевірка індексованості тестує все це на одному URL. Для огляду всього сайту, що можуть читати ШІ-краулери, запустіть ШІ-аудит доступності для краулерів.
Які обмеження має перевірка robots.txt?
- Статуси узагальнено для кожного бота, а не для кожного URL. «Частково» повідомляє, що деякі шляхи закриті; щоб побачити які, читайте правила.
- Одна група на бота. Якщо ви розбили правила для того самого бота на кілька груп, Google їх об'єднує. У такому разі читайте вихідний файл.
- Лише кореневий домен. Інструмент читає файл введеного вами домену без www і йде за переадресаціями. Перевіряйте кожен піддомен окремо.
- Список із 14 ботів. Новіших агентів користувача, як-от Claude-SearchBot і Claude-User, у таблиці ще немає: шукайте їх у вихідному файлі.
- Robots.txt є проханням. Поважні краулери його дотримуються, зловмисні ні, а запити, ініційовані користувачем, як-от ChatGPT-User чи Perplexity-User, можуть його не застосовувати, що задокументовано і в OpenAI, і в Perplexity.
Про термінологію цих перевірок читайте в наших статтях глосарія про robots.txt та ШІ-краулери.
Як переконатися, що ШІ-асистенти можуть вас знайти й процитувати?
Відкритий robots.txt є умовою, а не результатом. Коли краулери можуть читати ваш сайт, виміряйте, чи справді ШІ-асистенти ним користуються.
- Відстежуйте свій бренд у відповідях ШІ за допомогою відстеження згадок у ШІ від Sorank, яке щотижня перевіряє, чи називають вас ChatGPT, Claude, Gemini і Perplexity та які джерела цитують.
- Стежте за візитами від ШІ поруч із кліками з Google на дашборді GEO / SEO.
- Дайте краулерам свіжі сторінки для читання за допомогою планувальника контенту для блогу, який заповнює ваш календар і публікує за розкладом.
Один хибний рядок у robots.txt може приховати сайт і від Google, і від усіх ШІ-асистентів одночасно. Перевіряйте свій вище після кожної зміни, а потім ознайомтеся з тарифами Sorank, щоб на autopilot стежити за доступністю для краулерів і видимістю в ШІ.
