Заблокировано в файле robots.txt: что означает этот статус Search Console и как его исправить

Статус заблокировано в файле robots.txt появляется в отчёте об индексировании страниц Google Search Console, среди причин, по которым страницы не проиндексированы. Документация отчёта об индексировании страниц описывает его одной строкой: страница заблокирована файлом robots.txt вашего сайта. За этой строкой стоят две очень разные ситуации, полезная блокировка и случайная, а также сбивающий с толку родственный статус: «Проиндексировано, несмотря на блокировку в файле robots.txt». Это руководство показывает, как их различить и исправить каждую, ничего не сломав. Если сам файл вам пока незнаком, начните с нашего определения robots.txt.

Что означает «Заблокировано в файле robots.txt» в Search Console?

Файл robots.txt лежит в корне хоста (example.ru/robots.txt) и сообщает роботам, какие пути им можно загружать. Найдя URL по ссылке или в карте сайта, Googlebot сначала проверяет этот файл. Если правило Disallow для его user-agent совпадает с путём, он не загружает страницу. Тогда Search Console показывает URL в группе «Заблокировано в файле robots.txt».

Отсюда два следствия. Google не видит ни содержимого, ни заголовка, ни внутренних ссылок, ни метатегов страницы. А раз он её не читает, то не видит и тег noindex. Статус числится среди причин неиндексирования и для большинства сайтов носит справочный характер: сам Google отмечает, что URL, заблокированные в robots.txt, скорее всего, закрыты намеренно.

Проблема начинается, когда в списке оказываются страницы, которые должны быть в Google: карточки товаров, статьи, категории или весь сайт после переезда. Тогда блокировка становится прямой причиной того, что сайт не отображается в Google, и это одна из технических проблем, которые исправляются быстрее всего.

«Заблокировано в файле robots.txt» или «Проиндексировано, несмотря на блокировку»?

Второй статус выглядит противоречиво и больше всего тревожит владельцев сайтов. Введение Google в robots.txt объясняет: robots.txt не предназначен для того, чтобы скрыть страницу от Google. Если на запрещённый URL ссылаются другие страницы, Google может проиндексировать сам адрес, не сканируя его. В результатах тогда виден адрес без описания, потому что Google так и не прочитал текст.

Главное, сначала решить, чего вы хотите для каждого URL: индексировать или не индексировать. robots.txt отвечает на другой вопрос (сканировать или не сканировать), и смешение двух вопросов порождает большинство ошибок.

Почему ваши страницы заблокированы в robots.txt?

Большинство случайных блокировок сводится к нескольким причинам. Проверьте их в таком порядке:

• Правило тестового сервера попало на рабочий сайт. Disallow: / защищает тестовую версию, уходит в релиз вместе с запуском и закрывает всё.
• Настройка CMS. В WordPress есть опция «Попросить поисковые системы не индексировать сайт»; на других платформах есть похожие переключатели, которые меняют robots.txt или добавляют заголовки.
• Слишком широкое правило. Disallow: /p закрывает /products/ и /pricing/ так же, как /p/. Правила robots.txt сравниваются с началом пути.
• Подстановочные символы. * соответствует любой последовательности символов, а $ обозначает конец URL. Disallow: /*? закрывает все URL с параметрами, в том числе страницы пагинации или фильтров, которые вы хотите видеть в индексе.
• Заблокированные ресурсы. Закрыв /assets/ или /wp-includes/, вы прячете CSS и JavaScript, нужные Google для отрисовки страницы, и он хуже понимает контент.
• Переезд сайта. Пути меняются, старый robots.txt остаётся, или новый хостинг отдаёт собственный файл по умолчанию.
• Не тот хост. У каждого поддомена и протокола свой файл: правила на www.example.ru не действуют на shop.example.ru.

Помните, что Google применяет самое конкретное правило (с самым длинным совпадающим путём), а при одинаково конкретных Allow и Disallow побеждает менее строгое. Точечное Allow: /blog/ может снова открыть папку внутри более широкой блокировки.

Как исправить «Заблокировано в файле robots.txt»: пошагово

1. Выгрузите затронутые URL

В Google Search Console откройте раздел «Индексирование», затем «Страницы», и нажмите на строку «Заблокировано в файле robots.txt». Выгрузите список и отсортируйте его по папкам. Обычно закономерность видна за минуту: одна директория, один параметр, один поддомен.

2. Отделите намеренные блокировки от ошибок

Пометьте каждую группу как «оставить закрытым» или «должно быть в Google». Корзины, оформление заказа, личные кабинеты, результаты внутреннего поиска и админка относятся к первой группе. Всё, что отвечает на поисковый запрос, получает ссылки или есть в вашей XML-карте сайта, ко второй. URL, который одновременно есть в карте сайта и заблокирован, это противоречие, которое нужно устранить.

3. Найдите совпадающее правило

Откройте инструмент проверки URL для одного адреса из списка: он покажет, разрешено ли сканирование. Затем прочитайте рабочий файл или вставьте URL в наш бесплатный инструмент проверки robots.txt, чтобы увидеть, какая строка его блокирует и для какого user-agent.

4. Отредактируйте файл

Удалите или сузьте правило либо добавьте более конкретное Allow. Вносите минимальное изменение и проверяйте его и на URL, который нужно открыть, и на URL, который должен остаться закрытым. Если файл запутан, соберите чистую версию в нашем генераторе robots.txt и сравните перед публикацией.

5. Дайте Google прочитать новый файл

Согласно спецификации robots.txt, Google обычно кеширует файл до 24 часов. Чтобы ускорить процесс, откройте «Настройки», затем отчёт о файлах robots.txt в Search Console (доступен для ресурсов уровня домена), и запросите повторное сканирование файла. Затем запросите индексирование самых важных открытых URL в инструменте проверки URL.

6. Проверьте исправление и следите за результатом

Нажмите «Проверить исправление» на странице проблемы. Проверка может занять от нескольких дней до нескольких недель, а новые URL проверяются по мере повторного сканирования. Наше руководство по индексированию в Google объясняет, что происходит после сканирования, когда Google решает, стоит ли сохранять страницу.

Как исправить «Проиндексировано, несмотря на блокировку в файле robots.txt»

Решение зависит от того, что вы хотите от страницы:

1. Страница должна быть в Google. Снимите блокировку. Google просканирует страницу, прочитает содержимое и покажет обычный результат с заголовком и описанием.
2. Страница не должна быть в Google. Тоже снимите блокировку, затем добавьте <meta name="robots" content="noindex"> в head или HTTP-заголовок X-Robots-Tag: noindex для PDF и других файлов. Когда Google повторно просканирует страницу и удалит её из индекса, можно снова закрыть её, если важен объём сканирования, хотя большинству сайтов это не нужно. Наше определение noindex описывает варианты.
3. Страница вообще не должна быть публичной. Защитите её паролем или удалите (404 или 410). Ни robots.txt, ни noindex не являются средствами защиты.

Для фасетной навигации с тысячами URL фильтров блокировка в robots.txt может оставаться правильным инструментом, чтобы экономить краулинговый бюджет. Предупреждение «Проиндексировано, несмотря на блокировку» для части этих URL тогда допустимо, если канонические версии категорий доступны для сканирования и проиндексированы.

Как убедиться, что исправление сработало

Успешное исправление подтверждают три сигнала. Проверка рабочего URL показывает «Сканирование разрешено: да». Число заблокированных страниц в отчёте об индексировании снижается в следующие недели. А открытые страницы начинают получать показы в отчёте «Эффективность». Быстрая проверка в нашем инструменте проверки индексируемости найдёт и другие препятствия, которые часто сопровождают ошибки в robots.txt: забытый noindex, неверный канонический адрес или переадресацию.

Мониторинг важен, потому что такие ошибки возвращаются. Обновление темы, плагин или скрипт деплоя может переписать robots.txt незаметно для всех. Следить за страницами, у которых резко падают клики и показы, это самый быстрый ранний сигнал.

Дашборд GEO и SEO в Sorank подключается к Search Console и показывает растущие и падающие страницы в одном окне. Блокировка, появившаяся после деплоя, видна как группа URL со снижением, а не как медленная необъяснимая потеря трафика.

robots.txt, ИИ-краулеры и GEO

У robots.txt теперь есть вторая аудитория: краулеры ИИ-ассистентов. OpenAI, Anthropic, Perplexity и Google публикуют свои user-agent (GPTBot и OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended), которые соблюдают robots.txt. Правило для одного из них или общая блокировка User-agent: * решает, смогут ли ChatGPT, Claude или Perplexity прочитать ваши страницы, когда ищут в интернете материал для ответа.

Логика та же, что и с Google: решите для каждого бота, чего вы хотите. Закрыть краулеры для обучения и разрешить поисковые краулеры, частый компромисс. Наше руководство по robots.txt для ИИ-краулеров перечисляет user-agent и правила для каждого. Статья глоссария об ИИ-краулерах объясняет, какой бот что делает.

Чтобы увидеть эффект этих решений, отслеживайте промпты, важные для вашего бизнеса. Отслеживание упоминаний в ИИ в Sorank показывает, цитируют ли ваш сайт ChatGPT, Gemini или Claude и каких конкурентов они называют вместо вас.

Правило, которое стоит запомнить

robots.txt решает, что роботам можно читать; noindex решает, что можно показывать в результатах поиска. Закрывайте только разделы без поисковой ценности, никогда не блокируйте страницу, которую хотите проиндексировать или убрать из индекса, и проверяйте отчёт об индексировании после каждого переезда или деплоя. Большинство проблем со статусом «заблокировано в файле robots.txt» решается за несколько минут, когда найдено нужное правило, а дашборд Search Console в Sorank помогает заметить следующую до того, как она обойдётся вам потерей трафика.