Кратко
бесплатная проверка robots.txt читает актуальный robots.txt любого домена и показывает его группы правил, карты сайта, найденные проблемы и статус 14 ИИ-роботов (разрешён, частично или заблокирован), от GPTBot и OAI-SearchBot до ClaudeBot, PerplexityBot и Google-Extended. Пользуйтесь ею после каждого изменения файла и всякий раз, когда ваши страницы перестают появляться в Google или в ответах ИИ.
Хотите узнать больше? Спросите
Проверка robots.txt ловит строку, которая незаметно блокирует весь сайт. Robots.txt это открытый стандарт (RFC 9309), который читает каждый крупный робот перед заходом на сайт, а ИИ-роботы многократно увеличили число ботов, которых он должен учитывать. С мая 2024 по май 2025 года доля GPTBot в трафике ИИ-роботов выросла с 5% до 30%, а Meta-ExternalAgent достиг 19% (Cloudflare, who's crawling your site in 2025). Ваш файл должен говорить что-то разумное им всем.
Что показывает проверка robots.txt?
Введите домен, и инструмент загружает https://yourdomain/robots.txt, следует по редиректам, разбирает файл и возвращает пять блоков.
| Блок | Что он показывает | На что смотреть |
|---|---|---|
| Группы правил | Сколько групп User-agent содержит файл | Ноль означает, что синтаксис не удалось прочитать |
| Карты сайта | Каждая найденная строка Sitemap | Хотя бы один полный URL вашей карты сайта |
| ИИ-боты заблокированы | Сколько из 14 ИИ-роботов заблокированы полностью | Только те, которые вы решили заблокировать |
| Проблемы | Обнаруженные проблемы с рекомендацией | Ноль или только осознанные решения |
| Исходный файл | Robots.txt в том виде, в каком он отдаётся | Что это тот файл, который вы, по вашему мнению, опубликовали |
Если у домена нет robots.txt или вместо обычного текста возвращается HTML-страница, инструмент сообщает об этом и рекомендует добавить файл. Бесплатная версия выполняет 3 проверки в день.
Как проверка определяет, заблокирован ли ИИ-бот?
Для каждого из 14 ИИ-роботов инструмент ищет группу, в которой назван бот. Если её нет, он использует группу User-agent: *. Затем применяются три статуса.
| Статус | Правило, найденное в группе | Что это значит |
|---|---|---|
| Разрешён | Ни одна группа не применяется или в группе нет правила Disallow | Бот может сканировать весь сайт |
| Частично | Правила Disallow только для некоторых путей | Бот может сканировать сайт, кроме этих путей |
| Заблокирован | Disallow: / без Allow: / | Боту предписано держаться подальше от всего сайта |
Проверяются 14 роботов: GPTBot, OAI-SearchBot и ChatGPT-User (OpenAI), ClaudeBot, Claude-Web и anthropic-ai (Anthropic), PerplexityBot и Perplexity-User, Google-Extended, Applebot-Extended, CCBot (Common Crawl), Amazonbot, Bytespider (ByteDance) и Meta-ExternalAgent. В таблице также указаны поставщик и назначение каждого бота, так что с первого взгляда видно, блокируете ли вы обучение, поиск или просмотр в реальном времени.
Каких ИИ-роботов стоит разрешить?
Разрешайте роботов, которые помещают ваши страницы в ответы ИИ-поиска. Блокировка роботов для обучения это деловое решение; блокировка поисковых роботов обычно ошибка.
- OAI-SearchBot: сайты, отказавшиеся от него, не показываются в ответах поиска ChatGPT. GPTBot касается только обучения моделей, и две настройки независимы (OpenAI crawlers overview).
- PerplexityBot: он показывает сайты в результатах Perplexity и даёт на них ссылки и не используется для обучения базовых моделей (Perplexity crawlers).
- Google-Extended: токен для обучения Gemini и обоснования ответов, который не влияет ни на включение в Google Search, ни на позиции (Google common crawlers).
- Anthropic: ClaudeBot собирает данные для обучения, а Claude-SearchBot и Claude-User обслуживают поиск и запросы пользователей; их блокировка может снизить вашу видимость в Claude (Anthropic crawler policy).
Большинство сайтов так и не принимают решения. На 6 июня 2025 года лишь около 14% из 10000 крупнейших доменов с robots.txt имели правила для ИИ-ботов, причём GPTBot был и самым блокируемым (312 доменов), и самым явно разрешаемым (61 домен) по данным того же исследования Cloudflare. Боты, не названные в файле, разрешены по умолчанию.
Что означают самые частые проблемы?
| Сообщаемая проблема | Почему это важно | Исправление |
|---|---|---|
| User-agent: * заблокирован для всего сайта | Всем роботам без собственной группы, включая Googlebot, велено держаться подальше | Удалите Disallow: / из группы *, если только сайт не является тестовой копией |
| Нет директивы Sitemap | Роботы, которым вы не отправляли карту сайта, например Bing или ИИ-роботы, могут её не найти | Добавьте Sitemap: https://yourdomain/sitemap.xml |
| Названный ИИ-бот заблокирован | Этот поставщик не будет сканировать ваши страницы | Оставьте, только если блокировка этого бота осознанный выбор |
| Группы User-agent не разобраны | В файле нет корректных правил, поэтому он ничего не ограничивает | Проверьте синтаксис: Поле: значение, одно правило на строку |
| Robots.txt не найден | Сам по себе не ошибка: тогда Google сканирует всё | Всё равно добавьте файл, чтобы объявить карту сайта и свои решения по ИИ |
Отсутствующий или сломанный файл Google обрабатывает по-разному в зависимости от HTTP-статуса. Ответ 4xx (кроме 429) означает отсутствие ограничений. Ответ 5xx считается ошибкой сервера: Google приостанавливает сканирование на 12 часов, затем до 30 дней использует последнюю удачную копию (Google, how Google interprets the robots.txt specification). Поэтому robots.txt, который постоянно отвечает ошибками сервера, может заморозить сканирование здорового сайта.
Как шаг за шагом исправить проблему с robots.txt?
- Прочитайте исходный файл в отчёте, чтобы убедиться, что на самом деле опубликовано. Кэши CDN и тестовые развёртывания часто отдают старую версию.
- Перепишите файл с помощью генератора robots.txt, который создаёт чистые группы, правила Allow и Disallow и строку Sitemap.
- Загрузите его в корень каждого хоста. Поддомену, такому как blog.example.com, нужен собственный файл.
- Запустите проверку снова и убедитесь, что статусы изменились.
- Сообщите Google, если исправление срочное. Отчёт о robots.txt в Search Console показывает файлы, найденные Google для ваших 20 основных хостов, и позволяет запросить повторное сканирование (Search Console Help, robots.txt report). В остальном Google обновляет кэшированную копию примерно за 24 часа.
Затем проверьте сами страницы. Страница, открытая в robots.txt, всё равно может быть исключена из индекса тегом noindex или тегом canonical, указывающим на другую страницу: проверка индексируемости тестирует всё это на одном URL. Для обзора по всему сайту того, что могут прочитать ИИ-роботы, запустите аудит доступности сайта для ИИ-роботов.
Каковы ограничения проверки robots.txt?
- Статусы обобщены по ботам, а не по URL. «Частично» говорит, что часть путей закрыта; чтобы увидеть какие, читайте правила.
- Одна группа на бота. Если вы разнесёте правила для одного бота по нескольким группам, Google их объединит. В таком случае читайте исходный файл.
- Только корневой домен. Инструмент читает файл введённого вами домена без www и следует по редиректам. Каждый поддомен проверяйте отдельно.
- Список из 14 ботов. Более новых пользовательских агентов, таких как Claude-SearchBot и Claude-User, в таблице пока нет: ищите их в исходном файле.
- Robots.txt это просьба. Добросовестные роботы ей следуют, недобросовестные нет, а запросы, инициированные пользователем, такие как ChatGPT-User или Perplexity-User, могут её не применять, как документируют и OpenAI, и Perplexity.
Терминологию, стоящую за этими проверками, смотрите в наших статьях глоссария о robots.txt и ИИ-роботах.
Как убедиться, что ИИ-ассистенты смогут вас найти и процитировать?
Открытый robots.txt это условие, а не результат. Когда роботы могут читать ваш сайт, измерьте, действительно ли ИИ-ассистенты им пользуются.
- Отслеживайте свой бренд в ответах ИИ с помощью отслеживания упоминаний в ИИ от Sorank, которое каждую неделю проверяет, называют ли вас ChatGPT, Claude, Gemini и Perplexity и какие источники они цитируют.
- Следите за визитами из ИИ рядом с кликами из Google в дашборде GEO и SEO.
- Давайте роботам свежие страницы для чтения с помощью планировщика контента для блога, который заполняет ваш календарь и публикует по расписанию.
Одна неверная строка в robots.txt может скрыть сайт и от Google, и от всех ИИ-ассистентов разом. Проверяйте свой файл выше после каждого изменения, а затем изучите тарифы Sorank, чтобы следить за доступностью сайта для роботов и видимостью в ИИ на autopilot.
