Коротко
ШІ-аудит доступності читає ваш robots.txt і головну сторінку, а потім для 14 ШІ-краулерів від OpenAI, Anthropic, Perplexity, Google, Apple, Amazon, Meta, ByteDance і Common Crawl показує, чи дозволений кожен із них, частково заблокований або заблокований. Він також перевіряє наявність директиви noindex і sitemap. В оцінці зі 100 краулери, що живлять відповіді ШІ-пошуку, враховуються вдвічі. Якщо OAI-SearchBot або PerplexityBot заблоковано, ChatGPT і Perplexity не можуть вас цитувати.
Хочете дізнатися більше? Запитайте
ШІ-аудит доступності сайту для краулерів відповідає на просте запитання: чи можуть ШІ, які відповідають вашим клієнтам, прочитати ваш сайт? Кожна компанія публікує назву, яку її краулер використовує в robots.txt, і кожне налаштування працює окремо. Наприклад, OpenAI пояснює, що сайт може дозволити OAI-SearchBot для показу в результатах пошуку ChatGPT, заборонивши GPTBot, щоб його контент не потрапляв у навчання моделей (OpenAI, огляд краулерів OpenAI). Тож один рядок у robots.txt може зробити вас невидимими у відповіді ШІ, і ви про це не знатимете.
Які ШІ-краулери перевіряє аудит?
Аудит тестує 14 агентів користувача. П'ять із них, позначених нижче, обслуговують пошук і відповіді в реальному часі: їх блокування прибирає вас із відповідей, які люди читають сьогодні.
| Краулер | Компанія | Роль | Вага в оцінці |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Результати пошуку ChatGPT | Подвійна (пошук) |
| ChatGPT-User | OpenAI | Відвідує сторінку на запит користувача | Подвійна (пошук) |
| GPTBot | OpenAI | Навчання моделей | Одинарна |
| PerplexityBot | Perplexity | Результати пошуку Perplexity | Подвійна (пошук) |
| Perplexity-User | Perplexity | Відвідує сторінку на запит користувача | Подвійна (пошук) |
| Google-Extended | Навчання Gemini та обґрунтування відповідей | Подвійна (пошук) | |
| ClaudeBot | Anthropic | Навчання моделей | Одинарна |
| Claude-Web, anthropic-ai | Anthropic | Старіші токени Anthropic | Одинарна для кожного |
| Applebot-Extended | Apple | Навчання Apple Intelligence | Одинарна |
| CCBot | Common Crawl | Відкритий веб-архів, який використовують багато моделей | Одинарна |
| Amazonbot | Amazon | Асистент і навчання | Одинарна |
| Bytespider | ByteDance | Навчання моделей | Одинарна |
| Meta-ExternalAgent | Meta | Навчання моделей | Одинарна |
Тепер Anthropic документує трьох ботів: ClaudeBot для навчання, Claude-User для сторінок, які завантажуються, коли хтось ставить запитання Claude, і Claude-SearchBot для якості пошуку (Довідковий центр Claude, краулери Anthropic). Якщо хочете, щоб вас цитував Claude, дозвольте в robots.txt також двох останніх.
Як запустити аудит?
- Введіть свій домен, наприклад yourdomain.com. Аудит читає https://yourdomain.com/robots.txt і головну сторінку.
- Прочитайте чотири показники угорі: дозволені пошукові боти, заблоковані краулери, перевірені краулери та оголошені sitemap.
- Перегляньте таблицю краулерів: кожен рядок показує компанію, роль, статус і правило, яке його визначило.
- Виправте проблеми, перелічені в розділі «Як покращити», а потім запустіть аудит знову.
Аудит безкоштовний, 3 перевірки на день, без облікового запису.
Як обчислюється оцінка ШІ-доступності?
Кожен краулер вважається однією перевіркою: дозволений приносить повні бали, частково половину, заблокований жодного. П'ять пошукових краулерів важать удвічі більше, ніж краулери для навчання, а noindex на головній сторінці, у мета-тегу robots або в заголовку X-Robots-Tag, рахується як подвійна невдача. Оцінка є часткою набраних балів.
| Оцінка | Рівень | Позначка |
|---|---|---|
| від 90 до 100 | A | Сильна |
| від 75 до 89 | B | Сильна |
| від 60 до 74 | C | Добра, є що покращувати |
| від 40 до 59 | D | Потрібна робота |
| Нижче 40 | F | Критичні прогалини |
Оцінка винагороджує відкритість. Якщо ви залишите відкритими п'ять пошукових краулерів і заблокуєте дев'ять інших, ваша оцінка складе близько 57: це свідомий вибір, а не помилка. У такому разі дивіться насамперед на показник «Пошукові боти ОК», який має бути 5/5.
Що означають «дозволений», «частково» і «заблокований»?
Аудит застосовує правила robots.txt так, як це роблять краулери: бере групу, написану для краулера за іменем, або групу «User-agent: *», якщо іменної немає.
- Дозволений: жодна група не застосовується або група не містить правила Disallow.
- Частково: деякі шляхи заборонено, наприклад /admin/ чи /cart/. Зазвичай це нормально; переконайтеся, що сторінок із вашим контентом немає в списку.
- Заблокований: «Disallow: /» без «Allow: /», тож краулер не може читати жодну сторінку.
Правила відповідають протоколу виключень для роботів, стандартизованому IETF у RFC 9309, який також нагадує власникам сайтів, що ці правила «не є формою авторизації доступу» (RFC 9309, протокол виключень для роботів). Robots.txt є проханням, яке сумлінні краулери виконують, а не замком.
Блокувати ШІ-краулери чи пускати їх?
Розрізняйте два способи використання. Пошукові краулери приносять цитування й візити; краулери для навчання живлять майбутні моделі. Більшість компаній, які хочуть, щоб їх рекомендували, відкривають першу групу, а щодо другої вирішують у кожному випадку окремо.
| Мета | Пошукові краулери (OAI-SearchBot, PerplexityBot, ChatGPT-User, Perplexity-User) | Краулери для навчання (GPTBot, ClaudeBot, CCBot, Applebot-Extended...) |
|---|---|---|
| Бути цитованим у відповідях ШІ | Дозволити | На ваш розсуд |
| Не пускати контент у навчання моделей | Дозволити | Заборонити |
| Платний контент або контент лише для учасників | Забороніть лише захищені шляхи | Забороніть лише захищені шляхи |
Два офіційні роз'яснення допомагають ухвалити рішення. Google заявляє, що Google-Extended не впливає на включення сайту до Google Search і не є сигналом ранжування (Google, загальні краулери). Perplexity заявляє, що PerplexityBot виводить сайти в результати пошуку і не використовується для навчання базових моделей ШІ (Perplexity, документація краулерів). Applebot-Extended від Apple керує лише навчанням: Apple зазначає, що ваш контент залишається доступним через Spotlight, Siri і Safari (Підтримка Apple, про Applebot).
Як виправити заблокований ШІ-краулер?
Відредагуйте файл robots.txt у корені вашого домену. Щоб відкрити пошук ChatGPT, залишивши GPTBot поза сайтом, додайте дві групи:
- User-agent: OAI-SearchBot, далі Allow: /
- User-agent: GPTBot, далі Disallow: /
Потім перевірте три речі, які часто скасовують зміну.
- Правило CDN або брандмауера, яке блокує ШІ-агентів, ще до читання robots.txt. Деякі CDN пропонують перемикач в один клік, що блокує ШІ-ботів.
- Noindex у мета-тегу або заголовку X-Robots-Tag, про який аудит повідомляє окремо.
- Затримка: і OpenAI, і Perplexity кажуть, що зміни можуть відображатися приблизно за 24 години.
Перевірка robots.txt перевіряє синтаксис, а генератор robots.txt пише чистий файл. Стаття глосарія про ШІ-краулери докладніше пояснює кожного бота.
Чому аудит дивиться на sitemap і noindex?
Тому що доступу недостатньо: краулерам також потрібно знайти ваші сторінки й мати дозвіл їх використовувати. Рядок «Sitemap:» у robots.txt вказує кожному краулеру на ваш список URL, а noindex на головній сторінці велить пошуковим системам залишити сайт поза індексом. Google підтверджує, що для появи як допоміжного посилання в AI Overviews чи AI Mode сторінка має бути проіндексована й мати право на сніпет (Google, ШІ-функції та ваш сайт). Для перегляду сторінка за сторінкою скористайтеся перевіркою індексованості та перевіркою sitemap.
Які обмеження має аудит?
- Він читає правила, а не трафік: він не бачить, чи краулер справді відвідав вас. Це показують логи вашого сервера.
- Відсутній robots.txt вважається відкритим: коли файл неможливо прочитати, кожен краулер показується як дозволений. Якщо файл відповідає серверною помилкою, краулери можуть натомість вважати весь сайт заблокованим, як зазначено в RFC 9309, тож перевірте його код стану.
- Брандмауери для нього невидимі: бот, заблокований на рівні CDN, усе одно показується як дозволений.
- Нові краулери з'являються часто: список охоплює основні ШІ-компанії, а не кожного бота в мережі.
Від відкритих дверей до реальних цитувань
Відкритий robots.txt робить цитування можливими, але не створює їх. Коли краулери можуть вас читати, перевірте, чи справді вас цитує ChatGPT, за допомогою перевірки видимості в ChatGPT. Далі відстеження згадок у ШІ від Sorank щотижня стежить за вашими цитуваннями в ChatGPT, Perplexity, Gemini і Claude, а генератор статей для блогу публікує сторінки, які ці ШІ люблять цитувати. Ознайомтеся з тарифами Sorank, щоб запустити це на autopilot.
