Robots.txt: как управлять сканированием Googlebot

Robots.txt это простой, но мощный файл, который управляет тем, как поисковые системы сканируют ваш сайт. Он находится по адресу `https://example.com/robots.txt` и содержит правила, определяющие, какие страницы и каталоги могут сканировать Google, Bing и другие роботы. Robots.txt помогает управлять краулинговым бюджетом (количеством страниц, которые Google сканирует за день), не тратить сканирование на неважные страницы и не пускать закрытый контент в результаты поиска.

У большинства сайтов есть файл robots.txt, но у многих он настроен неверно. Неправильно настроенный robots.txt может случайно закрыть важные страницы и лишить вас потенциала в ранжировании. Правильно настроенный robots.txt повышает эффективность сканирования и защищает конфиденциальность вашего сайта. В этом руководстве разобраны синтаксис robots.txt, лучшие практики и реальные примеры.

Что такое robots.txt и как его используют поисковые системы

Robots.txt это стандартизированный текстовый файл, который передаёт инструкции по сканированию роботам поисковых систем. Когда робот впервые заходит на ваш сайт, он запрашивает `/robots.txt` раньше всего остального. Робот читает правила и следует им (если это добросовестный робот).

Документация Google по robots.txt является основным источником по этому стандарту. Формат robots.txt появился в 1994 году и получил широкое распространение. Все крупные поисковые системы (Google, Bing, Baidu) соблюдают robots.txt.

Важно: robots.txt это рекомендация, а не межсетевой экран. Добросовестные роботы (Google, Bing) соблюдают правила robots.txt. Вредоносные роботы и парсеры игнорируют robots.txt. Используйте robots.txt для управления сканированием поисковыми системами, а не для защиты от хакеров или парсеров. Для безопасности применяйте инструменты на уровне сервера.

Синтаксис robots.txt и базовые правила

В robots.txt используется простой текстовый синтаксис. Каждое правило состоит из двух частей: User-agent (к какому роботу относится правило) и пути Disallow (какие страницы закрыть).

Базовый пример:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

Это говорит всем роботам (`*` означает всех), чтобы они не сканировали каталоги `/admin/` и `/staging/`. Строка Sitemap указывает роботам, где находится ваша карта сайта.

User-agent: \* означает всех роботов. Можно также указывать отдельных роботов:

`User-agent: Googlebot` относится только к роботу Google. `User-agent: Bingbot` относится только к роботу Bing. Можно использовать несколько разделов User-agent с разными правилами.

Disallow: /path/ запрещает роботам сканировать этот путь. Disallow: / закрывает весь сайт. Disallow: (пустое значение) разрешает всё. Для одного User-agent можно указать несколько правил Disallow.

Allow: /path/ разрешает сканировать конкретный путь, даже если родительский каталог закрыт. Пример: Disallow: /temp/, но Allow: /temp/important/ разрешает сканировать только подкаталог /important/.

Типичные шаблоны robots.txt

Шаблон 1: закрыть административные страницы

User-agent: *
Disallow: /admin/
Disallow: /user/
Disallow: /account/

Это закрывает от сканирования административные страницы, страницы пользователей и аккаунтов. Такие страницы, как правило, не предназначены для поисковых систем.

Шаблон 2: закрыть тестовую среду

User-agent: *
Disallow: /staging/
Disallow: /test/

Не позволяет роботам сканировать тестовые версии вашего сайта.

Шаблон 3: закрыть определённые типы файлов

User-agent: *
Disallow: /*.pdf
Disallow: /*.zip

Не позволяет роботам сканировать PDF-файлы и ZIP-архивы. Это полезно, если у вас много PDF-файлов, которые не должны индексироваться.

Шаблон 4: притормозить роботов, перегружающих ваш сервер

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Crawl-delay: 10

Полностью закрывает сайт для робота Ahrefs (если вы не хотите, чтобы ваш сайт сканировали SEO-инструменты). Замедляет робота Semrush, добавляя задержку в 10 секунд между запросами. Crawl-delay полезен для агрессивных роботов, которые перегружают ваш сервер.

Шаблон 5: разрешить всё (по умолчанию)

User-agent: *
Disallow:

Это значение по умолчанию. Пустой Disallow означает «разрешить всё». Можно вообще обойтись без robots.txt, если весь контент должен сканироваться.

Robots.txt и метатег robots noindex

Robots.txt блокирует сканирование. Метатег robots noindex блокирует индексацию. У них разные задачи.

Используйте robots.txt, когда: вы хотите сэкономить краулинговый бюджет. У вас есть дублированный контент, который не должен сканироваться. У вас есть административные страницы, которых роботы не должны касаться. Вы хотите замедлить агрессивных роботов.

Используйте метатег robots noindex, когда: вы хотите, чтобы страница сканировалась, но не индексировалась (чтобы видеть ошибки и проблемы). Вы хотите предотвратить индексацию, но сохранить внутренние ссылки и сканирование. Вы хотите со временем убрать страницу из поиска, оставив её доступной на сайте.

Пример: страницы пагинации вроде `/products?page=2` можно закрыть в robots.txt, чтобы сэкономить краулинговый бюджет (поскольку Google обычно объединяет пагинацию). Но вы можете захотеть, чтобы их сканировали для определения канонических связей. В таком случае используйте канонические теги вместо robots.txt.

Управление краулинговым бюджетом с помощью robots.txt

Краулинговый бюджет это количество URL, которые Google сканирует на вашем сайте за день. На больших сайтах с миллионами страниц все страницы ежедневно просканировать невозможно. Google выделяет краулинговый бюджет исходя из авторитетности сайта и частоты изменений. Краулинговый бюджет ограничен. Если тратить его на неважные страницы, важные страницы сканируются реже.

Оптимизируйте краулинговый бюджет, закрывая страницы, которые не должны сканироваться: дублированный контент, страницы результатов внутреннего поиска с пагинацией, страницы аккаунтов пользователей, тестовые страницы. Каждая закрытая страница даёт Google больше бюджета на сканирование ваших важных материалов.

Типичные «пожиратели» краулингового бюджета: бесконечная пагинация (фильтры товаров создают неограниченное число URL), дублированный контент с разными параметрами, идентификаторы сессий в каждом URL, страницы календарей и событий, порождающие бесконечные URL. Используйте robots.txt, чтобы закрыть эти шаблоны.

Google Search Console показывает статистику сканирования вашего сайта. Отслеживайте запросы на сканирование ежедневно. Если Google раз за разом сканирует одни и те же страницы, не находя нового контента, пересмотрите robots.txt и стратегию закрытия страниц.

Карта сайта в robots.txt

Укажите URL карты сайта в robots.txt. Добавьте `Sitemap: https://example.com/sitemap.xml` в конец файла robots.txt. Так Google узнает, где находится ваша XML-карта сайта. Если у вас несколько файлов, можно указать несколько карт сайта.

Пример:

User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xml

Указывать карты сайта в robots.txt необязательно (их можно отправить через Google Search Console), но это лучшая практика.

Тестирование и проверка robots.txt

В Google Search Console есть тестер robots.txt. Перейдите в «Настройки» > «Сканирование» > «Проверить robots.txt». Введите URL и узнайте, блокирует ли его robots.txt. Это незаменимо для проверки правил перед внедрением.

Всегда тестируйте изменения robots.txt перед публикацией. Одна ошибка (например, `Disallow: /`, закрывающий весь сайт) может обрушить ваши позиции. Используйте тестер, чтобы убедиться, что:

Важные страницы не заблокированы. Административные страницы заблокированы. Шаблоны дублированного контента заблокированы. Критически важные пути не закрыты случайно.

После публикации robots.txt следите за изменениями в отчёте о сканировании Google Search Console. Если частота сканирования неожиданно упала, возможно, вы случайно закрыли важный контент.

Типичные ошибки в robots.txt

Ошибка 1: блокировка CSS и JavaScript. Если вы закроете в robots.txt `/css/` или `/js/`, Google не сможет сканировать ваши CSS и JavaScript. Без CSS Google не сможет правильно отобразить ваши страницы. Не закрывайте CSS и JavaScript.

Ошибка 2: блокировка важного контента. Всегда тестируйте перед публикацией. Опечатка вроде `Disallow: /p` вместо `Disallow: /staging/` может непреднамеренно закрыть `/products/`.

Ошибка 3: использование robots.txt для безопасности. Не полагайтесь на robots.txt для защиты конфиденциальных данных. Страницы, связанные с безопасностью, должны требовать авторизации, а не только полагаться на robots.txt. Robots.txt общедоступен и легко обходится.

Ошибка 4: разные robots.txt на разных доменах. Если у вас несколько доменов, придерживайтесь единой политики robots.txt. Случайные расхождения в правилах могут снизить эффективность сканирования.

Ошибка 5: блокировка самой карты сайта. Никогда не закрывайте `/sitemap.xml` в robots.txt. Google должен сканировать карту сайта, чтобы находить страницы.

Расширенные возможности robots.txt

Crawl-delay и Request-rate: эти директивы замедляют роботов. `Crawl-delay: 10` добавляет 10 секунд между запросами. `Request-rate: 1/10` разрешает 1 запрос в 10 секунд. Используйте их для роботов, перегружающих сервер. Google рекомендует вместо этих директив использовать настройки Search Console.

Директива Allow: разрешает сканировать конкретный путь, даже если родительский путь закрыт. Полезна для исключений. Пример: `Disallow: /temp/`, но `Allow: /temp/keep/` разрешает только подкаталог keep.

Спецификация Google по robots.txt описывает все поддерживаемые директивы. Большинство возможностей нужны редко. Для большинства сайтов достаточно базовых User-agent, Disallow и Sitemap.

Расширенные директивы robots.txt

Правила для отдельных User-agent позволяют задавать разные правила сканирования для разных роботов. Можно отдельно задать правила для Googlebot, Bingbot и других User-agent. Это полезно, если вы хотите, чтобы Google сканировал весь сайт, а Bing не имел доступа к определённым разделам. Указывайте User-agent в начале каждого блока правил:

`User-agent: Googlebot` применяет правила только к роботу Google. `User-agent: *` применяет правила ко всем роботам. Правила действуют для конкретного User-agent до следующей директивы User-agent. Можно создавать несколько блоков правил для разных роботов.

Директивы Crawl-delay и Request-rate сообщают роботам, как часто сканировать. `Crawl-delay: 5` просит робота ждать 5 секунд между запросами. Это снижает нагрузку на сервер. `Request-rate: 1/10` просит робота делать не более 1 запроса в 10 секунд. Документация Google по robots.txt подробно описывает все поддерживаемые директивы.

Директивы расположения карты сайта сообщают роботам, где её искать. `Sitemap: https://example.com/sitemap.xml` указывает роботам на вашу XML-карту сайта. Можно указать несколько карт сайта. Это рекомендуется, так как помогает роботам эффективно находить все ваши страницы.

Директива Clean-param удаляет параметры URL перед сканированием. `Clean-param: utm_source&utm_medium https://example.com` говорит Google игнорировать параметры UTM на example.com. Так Google не воспринимает ссылки с метками как дублированный контент. Сегодня эта директива применяется реже, так как Google автоматически обрабатывает большинство параметров отслеживания.

Проверьте файл robots.txt в тестере robots.txt в Google Search Console. Инструмент показывает, какие URL ваш robots.txt закроет для Googlebot. Это предотвращает случайную блокировку важных страниц.

Заключение

Robots.txt это простой, но критически важный файл для управления сканированием поисковыми системами и защиты конфиденциальности вашего сайта. Правильно настроенный robots.txt закрывает неважные страницы, экономит краулинговый бюджет и не даёт сканировать дублированный контент по нескольку раз. Неправильно настроенный robots.txt может случайно закрыть важный контент и обрушить ваши позиции.

Всегда тестируйте изменения robots.txt перед публикацией. Проверяйте правила в тестере Google Search Console. Ежемесячно отслеживайте статистику сканирования. Закрывайте неважный контент и эффективно управляйте краулинговым бюджетом. Используйте наш инструмент GEO SEO-аудита, чтобы проверить конфигурацию robots.txt и выявить возможные проблемы со сканируемостью и индексацией на всём вашем сайте.