Кратко
аудит доступности сайта для ИИ-роботов читает ваш robots.txt и главную страницу, а затем сообщает по 14 ИИ-роботам от OpenAI, Anthropic, Perplexity, Google, Apple, Amazon, Meta, ByteDance и Common Crawl, разрешён ли каждый, частично заблокирован или заблокирован. Он также проверяет наличие директивы noindex и карты сайта. Оценка из 100 засчитывает роботов, питающих ответы ИИ-поиска, вдвойне. Если OAI-SearchBot или PerplexityBot заблокирован, ChatGPT и Perplexity не смогут вас цитировать.
Хотите узнать больше? Спросите
Аудит доступности сайта для ИИ-роботов отвечает на простой вопрос: могут ли ИИ, отвечающие вашим клиентам, прочитать ваш сайт? Каждая компания публикует имя, которое её робот использует в robots.txt, и каждая настройка работает сама по себе. OpenAI, например, поясняет, что сайт может разрешить OAI-SearchBot, чтобы появляться в результатах поиска ChatGPT, и при этом запретить GPTBot, чтобы не пускать свой контент в обучение моделей (OpenAI, overview of OpenAI crawlers). Одна строка в robots.txt может сделать вас невидимым в ответе ИИ, а вы об этом не узнаете.
Каких ИИ-роботов проверяет аудит?
Аудит проверяет 14 пользовательских агентов. Пять из них, отмеченные ниже, обслуживают поиск и ответы в реальном времени: их блокировка убирает вас из ответов, которые люди читают сегодня.
| Робот | Компания | Роль | Вес в оценке |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Результаты поиска ChatGPT | Двойной (поиск) |
| ChatGPT-User | OpenAI | Заходит на страницу по запросу пользователя | Двойной (поиск) |
| GPTBot | OpenAI | Обучение моделей | Одинарный |
| PerplexityBot | Perplexity | Результаты поиска Perplexity | Двойной (поиск) |
| Perplexity-User | Perplexity | Заходит на страницу по запросу пользователя | Двойной (поиск) |
| Google-Extended | Обучение Gemini и обоснование ответов | Двойной (поиск) | |
| ClaudeBot | Anthropic | Обучение моделей | Одинарный |
| Claude-Web, anthropic-ai | Anthropic | Старые токены Anthropic | Одинарный для каждого |
| Applebot-Extended | Apple | Обучение Apple Intelligence | Одинарный |
| CCBot | Common Crawl | Открытый веб-архив, который используют многие модели | Одинарный |
| Amazonbot | Amazon | Ассистент и обучение | Одинарный |
| Bytespider | ByteDance | Обучение моделей | Одинарный |
| Meta-ExternalAgent | Meta | Обучение моделей | Одинарный |
Anthropic теперь документирует трёх ботов: ClaudeBot для обучения, Claude-User для страниц, загружаемых, когда кто-то задаёт Claude вопрос, и Claude-SearchBot для качества поиска (Claude Help Center, Anthropic crawlers). Если вы хотите, чтобы вас цитировал Claude, разрешите в robots.txt и последних двух.
Как запустить аудит?
- Введите свой домен, например yourdomain.com. Аудит читает https://yourdomain.com/robots.txt и главную страницу.
- Прочитайте четыре показателя вверху: разрешённые поисковые боты, заблокированные роботы, проверенные роботы и объявленные карты сайта.
- Просмотрите таблицу роботов: в каждой строке указаны компания, роль, статус и правило, которое его определило.
- Исправьте перечисленные проблемы в разделе «Как улучшить», а затем запустите аудит снова.
Аудит бесплатный: 3 проверки в день и без аккаунта.
Как рассчитывается оценка доступности для ИИ-роботов?
Каждый робот считается одной проверкой: разрешён даёт полные баллы, частично половину, заблокирован ничего. Пять поисковых роботов весят вдвое больше, чем роботы для обучения, а noindex на главной странице, в мета-теге robots или в заголовке X-Robots-Tag засчитывается как провал дважды. Оценка это доля набранных баллов.
| Оценка | Класс | Метка |
|---|---|---|
| От 90 до 100 | A | Сильная |
| От 75 до 89 | B | Сильная |
| От 60 до 74 | C | Хорошая, есть куда расти |
| От 40 до 59 | D | Нужна доработка |
| Ниже 40 | F | Критические пробелы |
Оценка поощряет открытость. Если вы оставите открытыми пять поисковых роботов и заблокируете остальные девять, ваша оценка составит около 57: это осознанный выбор, а не ошибка. В таком случае сначала смотрите на показатель «Поисковые боты в порядке», который должен читаться как 5/5.
Что значат «разрешён», «частично» и «заблокирован»?
Аудит применяет правила robots.txt так, как это делают роботы: берёт группу, написанную для робота по имени, или группу «User-agent: *», если её нет.
- Разрешён: ни одна группа не применяется или в группе нет правила Disallow.
- Частично: некоторые пути запрещены, например /admin/ или /cart/. Обычно это нормально; проверьте, что страницы с вашим контентом не входят в список.
- Заблокирован: «Disallow: /» без «Allow: /», то есть робот не может читать ни одну страницу.
Правила следуют Протоколу исключений для роботов, стандартизированному IETF в RFC 9309, который также напоминает владельцам сайтов, что эти правила «не являются формой авторизации доступа» (RFC 9309, Robots Exclusion Protocol). Robots.txt это просьба, которую добросовестные роботы выполняют, а не замок.
Блокировать ИИ-роботов или впускать их?
Разделяйте два назначения. Поисковые роботы приносят цитирования и визиты; роботы для обучения питают будущие модели. Большинство компаний, которые хотят, чтобы их рекомендовали, открывают первую группу, а по второй решают в каждом случае отдельно.
| Цель | Поисковые роботы (OAI-SearchBot, PerplexityBot, ChatGPT-User, Perplexity-User) | Роботы для обучения (GPTBot, ClaudeBot, CCBot, Applebot-Extended...) |
|---|---|---|
| Быть цитируемым в ответах ИИ | Разрешить | На ваше усмотрение |
| Не пускать контент в обучение моделей | Разрешить | Запретить |
| Платный контент или контент только для участников | Запретить только защищённые пути | Запретить только защищённые пути |
Два официальных пояснения помогают принять решение. Google заявляет, что Google-Extended не влияет на включение сайта в Google Search и не является сигналом ранжирования (Google, common crawlers). Perplexity заявляет, что PerplexityBot показывает сайты в результатах его поиска и не используется для обучения базовых ИИ-моделей (Perplexity, crawlers documentation). Applebot-Extended от Apple управляет только обучением: Apple отмечает, что ваш контент остаётся доступным через Spotlight, Siri и Safari (Apple Support, about Applebot).
Как исправить заблокированного ИИ-робота?
Отредактируйте файл robots.txt в корне вашего домена. Чтобы открыть поиск ChatGPT и при этом не пускать GPTBot, добавьте две группы:
- User-agent: OAI-SearchBot, а следом Allow: /
- User-agent: GPTBot, а следом Disallow: /
Затем проверьте три вещи, которые часто сводят изменение на нет.
- Правило CDN или межсетевого экрана, которое блокирует ИИ-агентов ещё до чтения robots.txt. Некоторые CDN предлагают переключатель в один клик, блокирующий ИИ-ботов.
- Noindex в мета-теге или заголовке X-Robots-Tag, о чём аудит сообщает отдельно.
- Задержка: и OpenAI, и Perplexity сообщают, что изменения могут учитываться примерно через 24 часа.
Проверка robots.txt проверяет синтаксис, а генератор robots.txt пишет чистый файл. Статья глоссария об ИИ-роботах подробнее объясняет каждого бота.
Зачем аудит смотрит на карту сайта и noindex?
Потому что одного доступа мало: роботам нужно ещё найти ваши страницы и иметь право их использовать. Строка «Sitemap:» в robots.txt указывает каждому роботу ваш список URL, а noindex на главной странице велит поисковым системам оставить сайт за бортом. Google подтверждает, что для появления в качестве ссылки-подтверждения в AI Overviews или AI Mode страница должна быть проиндексирована и подходить для показа сниппета (Google, AI features and your website). Для постраничного обзора используйте проверку индексируемости и проверку карты сайта.
Каковы ограничения аудита?
- Он читает правила, а не трафик: он не видит, действительно ли робот заходил к вам. Это показывают журналы вашего сервера.
- Отсутствующий robots.txt считается открытым: если файл не удаётся прочитать, все роботы показываются как разрешённые. Если же файл отвечает ошибкой сервера, роботы могут счесть заблокированным весь сайт, как указано в RFC 9309, поэтому проверьте его код ответа.
- Межсетевые экраны для него невидимы: бот, заблокированный на уровне CDN, по-прежнему отображается как разрешённый.
- Новые роботы появляются часто: список охватывает основные ИИ-компании, а не каждого бота в сети.
От открытых дверей к реальным цитированиям
Открытый robots.txt делает цитирования возможными, но не создаёт их. Когда роботы могут вас прочитать, проверьте, действительно ли ChatGPT вас цитирует, с помощью проверки видимости в ChatGPT. Затем отслеживание упоминаний в ИИ от Sorank каждую неделю следит за вашими цитированиями в ChatGPT, Perplexity, Gemini и Claude, а генератор статей для блога публикует страницы, которые эти ИИ любят цитировать. Изучите тарифы Sorank, чтобы запустить всё это на autopilot.
