Excluded by 'noindex' tag: это нормально и как это исправить?

«Excluded by 'noindex' tag» - единственный статус индексации, который вы создаёте сами, намеренно или по ошибке. Документация Google к отчёту «Индексирование страниц» описывает эту причину тремя предложениями: «Когда Google пытался проиндексировать страницу, он обнаружил директиву «noindex» и поэтому не проиндексировал её. Если вы не хотите, чтобы эта страница индексировалась, поздравляем! Если вы хотите, чтобы она индексировалась, вам нужно удалить директиву «noindex»». Это руководство поможет понять, к какой части этой фразы относится каждый URL, найти точный источник нежелательного правила и исправить его, ничего не сломав.

Что означает «Excluded by 'noindex' tag»?

Правило noindex просит поисковые системы не показывать страницу в результатах. Google читает его в двух местах, как объясняет его руководство по блокировке индексирования с помощью noindex:

• Метатег robots в <head> HTML: <meta name="robots" content="noindex"> для всех поисковых систем или name="googlebot" только для Google.
• HTTP-заголовок X-Robots-Tag, который сервер отправляет вместе с ответом, со значением noindex или none. Это единственный вариант для файлов без HTML, например PDF.

Как только Googlebot находит любое из них, он держит URL вне индекса. Статус отображается в Search Console в разделе «Индексирование», затем «Страницы», в таблице «Why pages aren't indexed». Справка называет ту же причину «URL marked 'noindex'»: обе метки описывают одну ситуацию.

Три факта меняют то, как читать отчёт:

• Google выполнил вашу инструкцию. В отличие от «Crawled - currently not indexed», где Google сам решает не индексировать страницу, этот статус отражает инструкцию, которую отправил ваш сайт.
• Нужен обход. Google может увидеть правило noindex только на странице, которую ему разрешено загрузить. Страница, заблокированная в robots.txt, никогда не получает этот статус.
• Правило может появиться на любом этапе. HTML, CMS, плагин, тема, настройки сервера и CDN могут добавить его, а исходный код страницы не показывает HTTP-заголовки.

Это норма или ошибка?

У большинства сайтов есть URL в этом статусе, и многим из них там и место. Google указывает, что страницы, перечисленные как неиндексированные, там оказались «не обязательно из-за ошибки». Прежде чем что-то исправлять, отсортируйте список по типу URL.

Последняя строка важнее, чем кажется. Карта сайта говорит Google «проиндексируй эти страницы», а noindex говорит обратное. Оставляйте в карте сайта только индексируемые канонические URL (наше руководство по отправке карты сайта в Google объясняет, как её очистить).

Откуда берётся нежелательный noindex?

Когда на важной странице стоит noindex, причина почти всегда в одном из источников ниже. Проверяйте их в таком порядке: от самых частых к самым редким.

Случай с WordPress достаточно распространён, чтобы его назвать. Согласно документации WordPress по экрану «Чтение», отметка «Discourage search engines from indexing this site» добавляет noindex,nofollow в head каждой страницы (с версии 5.3). Одной забытой галочки после запуска достаточно, чтобы убрать весь сайт из Google. Запуски и редизайны самые рискованные моменты, поэтому чек-лист SEO-миграции всегда включает проверку правил сканирования. Настройки, специфичные для WordPress, описаны на нашей странице SEO и GEO для WordPress.

Как диагностировать статус по шагам?

1. Откройте отчёт. В Search Console перейдите в «Индексирование», затем «Страницы», нажмите «Excluded by 'noindex' tag» и выгрузите список.
2. Отсортируйте URL по таблице выше. Отложите в сторону те, которые должны оставаться вне индекса.
3. Проверьте один важный URL. Вставьте его в инструмент «Проверка URL». Строка «Indexing allowed?» покажет, видел ли Google noindex и пришло ли правило из метатега robots или из заголовка X-Robots-Tag.
4. Проверьте живой URL. Нажмите «Test live URL»: если в живой версии больше нет noindex, правило уже убрано, и Google нужен только новый обход.
5. Проверьте оба места сами. Ищите noindex в исходном коде страницы, затем в заголовках ответа (инструменты разработчика браузера, вкладка Network). Бесплатная проверка HTTP-заголовков покажет X-Robots-Tag без открытия инструментов разработчика, а проверка индексируемости проверит метатег, заголовок и robots.txt за один раз.
6. Найдите источник по таблице источников, начиная с настройки CMS и SEO-плагина.

Как это исправить?

Исправление зависит от источника. Меняйте настройку там, где создаётся правило, а не только видимый результат, иначе оно вернётся при следующем обновлении.

После исправления запросите индексирование самых важных URL в инструменте «Проверка URL» и заново отправьте карту сайта, если затронуто много страниц. Для группы исправленных URL нажмите в отчёте «Validate fix». Google сообщает, что проверка «typically takes up to about two weeks, but in some cases can take much longer». Сначала очистите кеш страницы или CDN, иначе Google может загрузить старую версию со старым правилом. Если страницы всё ещё не появляются через несколько недель, наше руководство по индексированию страниц Google перечисляет следующие шаги, а если страницы переходят в статус Crawled - currently not indexed, проблема уже в содержании, а не в правиле.

Noindex, robots.txt или canonical: что выбрать?

Эти три инструмента часто путают, а неправильное сочетание даёт самые запутанные отчёты.

Google говорит об этом прямо: если robots.txt блокирует страницу, то «the crawler will never see the noindex rule». Если вы хотите, чтобы страница вышла из индекса, оставьте её доступной для обхода с noindex, пока она не исчезнет, и только потом решайте, блокировать ли её. Проверьте файл с помощью проверки robots.txt и прочитайте спецификацию метатега robots, где полный список правил: там же сказано, что при конфликте применяется «the more restrictive rule applies».

Почему это важно для SEO и видимости в ИИ?

Страница под noindex не получает органических кликов из Google, какого бы качества она ни была. На большом сайте нежелательное правило в шаблоне может убрать сотни страниц товаров или статей разом, и первым признаком часто становится падение трафика через несколько недель. Если ваш сайт кажется полностью пропавшим, начните с нашего чек-листа о сайте, который не показывается в Google.

ИИ-ассистенты добавляют вторую потерю. ChatGPT, Perplexity и Gemini часто отвечают, загружая страницы из индексов веб-поиска и цитируя их, поэтому страница, отсутствующая в индексе, почти не имеет шансов быть процитированной. Наше исследование о платформах, которые ИИ цитирует чаще всего, показывает, каким источникам они отдают предпочтение.

Sorank - наш продукт: программа для SEO и GEO в режиме autopilot. Её панель GEO и SEO показывает клики, показы и позиции из Search Console, поэтому резкое падение показов по группе страниц заметно быстро. А бесплатное расширение Sorank для Chrome отмечает SEO-проблемы на каждой открытой вами странице.

Коротко: оставляйте noindex на страницах, которые никогда не должны ранжироваться, и удаляйте его у источника на тех, которые должны, держите карту сайта свободной от URL с noindex и никогда не блокируйте страницу в robots.txt, пока Google ещё должен прочитать её noindex. Чтобы публиковать страницы, созданные для индексации и цитирования, посмотрите тарифы Sorank: от 49€ в месяц, с бесплатной пробной версией на 3 дня.