Кратко
бесплатный генератор robots.txt пишет файл, который сообщает поисковым роботам, какие части вашего сайта им можно посещать. Выберите режим (разрешить всё, закрыть всё или настраиваемый), перечислите user-agent и пути, добавьте URL карты сайта, затем скопируйте или скачайте файл и загрузите его в корень вашего домена. Помните, что robots.txt управляет сканированием, а не индексацией: чтобы страница не попала в Google, используйте noindex.
Хотите узнать больше? Спросите
Генератор robots.txt избавляет от мелких синтаксических ошибок, которые случайно закрывают целый сайт. Файл следует протоколу исключений для роботов (Robots Exclusion Protocol), созданному Мартейном Костером в 1994 году и опубликованному IETF как интернет-стандарт в сентябре 2022 года (RFC 9309, протокол исключений для роботов). Каждый серьёзный краулер читает его первым: от Googlebot до ботов ChatGPT, Claude и Perplexity.
Что делает генератор robots.txt?
Он собирает корректный robots.txt по мере ввода, с превью справа в реальном времени, кнопкой «Копировать» и кнопкой «Скачать», которая сохраняет файл с именем robots.txt. Ничего не отправляется на сервер: файл собирается в вашем браузере.
| Настройка | Что записывается | Когда использовать |
|---|---|---|
| Разрешить всё | User-agent: * и Allow: / | Большинство публичных сайтов, которым нечего скрывать от роботов |
| Закрыть всё | User-agent: * и Disallow: / | Тестовые и предпросмотровые сайты, которые нельзя сканировать |
| Настраиваемый | Одна строка User-agent на каждого бота, затем ваши пути Disallow и Allow | Закрытие админ-разделов, внутреннего поиска или конкретного бота |
| URL карты сайта | Sitemap: https://example.com/sitemap.xml | Всегда, чтобы каждый робот находил вашу карту сайта |
| Crawl-delay | Crawl-delay: от 1 до 120 секунд | Только для ботов, которые его поддерживают, и если сервер не справляется |
В настраиваемом режиме все перечисленные user-agent используют одни и те же правила, именно так стандарт определяет группу. Чтобы задать разным ботам разные правила, создавайте по одной группе за раз и вставляйте их одну за другой в один файл.
Как шаг за шагом создать файл robots.txt?
- Выберите режим. Начните с «Разрешить всё», если у вас нет причины что-то закрывать.
- Перечислите user-agent в настраиваемом режиме, по одному в строке:
*для всех роботов или имена вроде Googlebot, Bingbot или GPTBot. - Добавьте пути для закрытия (Disallow) и исключения, которые нужно оставить открытыми (Allow), по одному в строке, каждый начинается со слеша.
- Вставьте URL карты сайта полностью, с https и доменом.
- Скопируйте или скачайте файл и загрузите его в корень вашего хоста, чтобы он отвечал по адресу
https://example.com/robots.txt. - Проверьте его в рабочей среде с помощью бесплатной проверки robots.txt, которая читает действующий файл и показывает статус каждого ИИ-краулера.
Расположение строго определено. Google читает только robots.txt в корне хоста, у сайта может быть только один такой файл, и он действует только для протокола, хоста и порта, на которых размещён: поддомену нужен собственный (Google, создание и отправка файла robots.txt).
Какие правила robots.txt соблюдает Google?
Google поддерживает четыре поля: user-agent, allow, disallow и sitemap. Другие поля, например crawl-delay, не поддерживаются (Google, как Google интерпретирует спецификацию robots.txt). Та же страница задаёт приведённые ниже правила.
| Правило | Как Google его применяет |
|---|---|
| Побеждает самое конкретное правило | Когда Allow и Disallow оба подходят к URL, применяется правило с самым длинным путём |
| Равенство правил | Когда два подходящих правила одинаково конкретны, Google использует наименее ограничивающее |
| Подстановочные символы | * соответствует любой последовательности символов, $ обозначает конец URL |
| Регистр | Имена полей не зависят от регистра, но пути зависят: /Admin/ это не /admin/ |
| Размер файла | Содержимое после первых 500 КиБ игнорируется |
| Кеш | Файл обычно кешируется до 24 часов, поэтому изменения вступают в силу не мгновенно |
| Файл отсутствует (4xx) | Считается, что ограничений нет: можно сканировать всё |
| Ошибка сервера (5xx) | Google приостанавливает сканирование на 12 часов, затем использует последнюю рабочую копию до 30 дней |
Вот типичный файл для интернет-магазина. Он закрывает корзину, оформление заказа и внутренний поиск, оставляет открытой одну публичную папку и объявляет карту сайта.
User-agent: * Disallow: /cart/ Disallow: /checkout/ Disallow: /search Allow: /checkout/help/ Sitemap: https://example.com/sitemap.xml
Убирает ли Disallow страницу из Google?
Нет. Robots.txt не является механизмом, который скрывает веб-страницу от Google. Закрытый URL всё равно может быть проиндексирован, если на него ссылаются другие сайты, и тогда он появляется без описания (Google, введение в robots.txt). Чтобы скрыть страницу, разрешите Google её сканировать и добавьте метатег noindex или HTTP-заголовок. Если одновременно закрыть страницу в robots.txt, Google никогда не увидит noindex.
Проверяйте результат постранично с помощью проверки индексируемости, которая читает robots.txt, meta robots, X-Robots-Tag и canonical вместе. Терминологию смотрите в наших статьях глоссария о robots.txt и о сканировании и индексации.
Нужно ли закрывать ИИ-краулеры в robots.txt?
Закрывайте ботов, которые обучают модели, если хотите, но оставляйте открытыми ботов, которые обеспечивают работу ИИ-поиска. Крупные провайдеры теперь разделяют эти два типа, поэтому вам больше не нужно выбирать между защитой контента и цитированием.
| Провайдер | Бот для обучения | Бот для поиска или ответов | Чем грозит закрытие поискового бота |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | Ваши страницы не показываются в поисковых ответах ChatGPT |
| Anthropic | ClaudeBot | Claude-SearchBot | Меньшая видимость в результатах поиска Claude |
| Perplexity | Не указан | PerplexityBot | Ваши страницы могут не отображаться и не цитироваться в результатах Perplexity |
| Google-Extended (токен, а не отдельный бот) | Googlebot | Google-Extended не влияет на Google Поиск и позиции |
Источники: обзор краулеров OpenAI, политика краулера Anthropic, краулеры Perplexity и основные краулеры Google. Чтобы отказаться от обучения, но остаться доступным для цитирования в ChatGPT, достаточно файла, содержащего только эти две строки, поскольку все остальные боты по умолчанию разрешены:
User-agent: GPTBot Disallow: /
Тенденция реальна: всего за один год (с 2023 по 2024) 28% и более наиболее активно поддерживаемых источников обучающего набора данных C4 полностью закрылись для ИИ-краулеров (Longpre et al., Consent in Crisis, 2024). Прежде чем ей следовать, проверьте, чем закрытие обойдётся вам в ответах ИИ: отслеживание упоминаний в ИИ от Sorank каждую неделю показывает, называют ли ChatGPT, Claude, Gemini и Perplexity ваш бренд.
Какие ошибки в robots.txt сильнее всего вредят SEO?
- Оставить Disallow: / после запуска. Файлы тестовой среды часто попадают в рабочую. Одна строка закрывает весь сайт для всех роботов.
- Закрыть CSS и JavaScript. Если из-за недоступных ресурсов странице труднее понять, Google советует их не закрывать.
- Забыть про завершающий слеш.
Disallow: /adminтакже закрывает/administrationи/admin-guide. Пишите/admin/, чтобы закрыть только папку. - Рассчитывать на Crawl-delay для Google. Google его игнорирует. Anthropic заявляет, что поддерживает это расширение, поэтому оставляйте его только для ботов, которые его читают.
- Использовать robots.txt как средство безопасности. Файл публичный, и любой может его прочитать. Защищайте приватные разделы авторизацией, а не строкой Disallow, которая прямо на них указывает.
- Забыть про исключение в WordPress. Файл WordPress по умолчанию закрывает
/wp-admin/, но разрешает/wp-admin/admin-ajax.php, который используют функции фронтенда (справочник разработчика WordPress).
Как проверить robots.txt после публикации?
Используйте три проверки, от самой быстрой до самой полной.
- Откройте URL
https://yourdomain.com/robots.txtв браузере. Вы должны увидеть обычный текст, а не HTML-страницу или ошибку 404. - Запустите проверку robots.txt, чтобы получить список групп правил, карт сайта, проблем и статус 14 ИИ-user-agent.
- Откройте отчёт robots.txt в Search Console. Он показывает файлы, найденные Google для 20 основных хостов вашего сайта, последнее сканирование, предупреждения и позволяет запросить повторное сканирование после срочного исправления (Справка Search Console, отчёт robots.txt).
Затем завершите настройку: создайте чистую карту сайта с помощью генератора XML-карты сайта и файл llms.txt с помощью генератора llms.txt, который даёт ИИ-ассистентам краткое описание ваших ключевых страниц.
Каковы ограничения сгенерированного robots.txt?
Генератор пишет корректный синтаксис, но не может знать ваш сайт. Он не проверяет, нет ли в закрытом пути страниц, которые вы хотите видеть в выдаче, и пишет по одной группе за раз. Вредоносные боты полностью игнорируют файл: robots.txt это просьба, а не стена, поэтому блокируйте злонамеренный трафик на уровне сервера или файрвола. Наконец, протокол охватывает только сканирование. Страница, загруженная по запросу пользователя, например ChatGPT-User или Perplexity-User, может не следовать правилам robots.txt, как заявляют оба провайдера в своей документации.
Как сделать сайт удобным для сканирования и цитирования?
Чистый robots.txt это первый шаг. Следующие шаги: публиковать страницы, которые стоит сканировать, и проверять, что роботы действительно возвращаются.
- Следите за сканированием и трафиком в дашборде GEO и SEO, который объединяет Search Console, Analytics и визиты из ChatGPT и Perplexity.
- Смотрите, какие сайты цитируют ИИ-ассистенты на вашем рынке, с помощью рейтинга GEO и где вы находитесь среди них.
- Публикуйте регулярно с помощью генератора статей для блога, чтобы роботы всегда находили что-то новое.
Robots.txt, сделанный за две минуты, защищает ваш краулинговый бюджет и вашу видимость в ИИ одновременно. Создайте свой файл выше, проверьте его чекером, а затем ознакомьтесь с тарифами Sorank, чтобы ваш сайт оставался доступным для сканирования и цитируемым на autopilot.
