Noindex: это директива, которая сообщает поисковым системам, что страницу не нужно показывать в результатах. Как её добавить, когда использовать и какие ошибки приводят к деиндексации сайтов.

Кратко
noindex: это директива, размещаемая в мета-теге robots или в HTTP-заголовке, которая просит поисковые системы просканировать страницу, но не показывать её в результатах. Это надёжный способ закрыть страницу от индекса Google.
Хотите узнать больше? Спросите
Noindex: это инструкция, которая сообщает поисковым системам, что страницу не нужно включать в индекс и, следовательно, показывать в результатах поиска. Она задаётся либо в HTML страницы тегом <meta name="robots" content="noindex"> в head, либо в HTTP-ответе заголовком X-Robots-Tag: noindex, который работает и для PDF и других файлов, не являющихся HTML. Google, Bing и большинство других систем её соблюдают.
Noindex: точный инструмент: он убирает URL из результатов, не делая его недоступным для пользователей. Страница с благодарностью, страница результатов внутреннего поиска или страница входа могут оставаться в сети и быть полезными, будучи невидимыми в Google. При ошибочном использовании тот же тег может за несколько дней вывести весь сайт из поиска, поэтому с ним нужно обращаться аккуратно.
Поисковая система должна просканировать страницу, чтобы прочитать директиву noindex. Когда Googlebot загружает URL и находит тег или заголовок, он удаляет страницу из индекса или не добавляет её вовсе. При последующих сканированиях страница остаётся исключённой, пока директива присутствует. В Google Search Console такие URL отображаются в отчёте об индексации страниц как «Исключено тегом noindex».
Поскольку системе нужно увидеть директиву, noindex работает только на страницах, которые роботам разрешено загружать. Если URL закрыт в robots.txt, Google не может прочитать тег, а URL даже может остаться в индексе без описания, если на него ссылаются другие сайты. Google также прекратил поддержку строк noindex внутри robots.txt в 2019 году: директива должна находиться на странице или в заголовке.
Эти три инструмента отвечают на разные вопросы. Robots.txt управляет сканированием: он просит роботов не загружать некоторые URL, что экономит краулинговый бюджет, но не гарантирует деиндексацию. Noindex управляет индексацией: страницу можно сканировать, но она не будет показана. Канонический тег работает с дубликатами: он сообщает Google, какую версию похожих страниц индексировать, и передаёт ей сигналы, не убирая остальные из обнаружения.
Простое правило: чтобы объединить дубликаты, используйте canonical; чтобы убрать из результатов полезную, но не предназначенную для поиска страницу, используйте noindex; чтобы роботы не тратили время на бесконечные URL, например некоторые фильтры, используйте robots.txt, понимая, что он не удалит эти URL из индекса.
Типичные кандидаты: страницы, которые нужны пользователям, но не имеют ценности как результат поиска: страницы подтверждения заказа и благодарности, результаты внутреннего поиска, страницы аккаунта и корзины, версии для печати, архивы тегов с горсткой записей, а также тестовые и промежуточные среды, которые никогда не должны появляться в выдаче. Тонкие страницы, которые вы планируете улучшить, тоже можно временно закрыть noindex, хотя улучшить или объединить их обычно лучше, как объясняет наша страница о тонком контенте.
Noindex не подходит для конфиденциального контента. Страница остаётся общедоступной для любого, у кого есть URL. Настоящая защита требует аутентификации или пароля.
В CMS используйте встроенную опцию: большинство SEO-плагинов и конструкторов сайтов предлагают переключатель «скрыть от поисковых систем» для каждой страницы. В собственном коде добавьте мета-тег robots в head или настройте сервер так, чтобы он отправлял заголовок X-Robots-Tag для папки или типа файлов. Значения можно сочетать, например «noindex, follow», что оставляет ссылки страницы доступными для сканирования.
Затем проверьте результат: проверьте URL в Search Console, убедитесь, что тег есть в отрисованном HTML, и что страница не закрыта в robots.txt. Чтобы быстро убрать страницу, инструмент удаления скрывает её примерно на шесть месяцев, пока noindex вступает в силу. Бесплатная проверка возможности индексации от Sorank показывает, есть ли у URL директива noindex.
Самая вредная ошибка: оставить включённой опцию «препятствовать индексации поисковыми системами» после запуска сайта или миграции: настройка тестовой среды попадает на рабочий сайт, и весь сайт деиндексируется. Вторая: сочетать noindex с блокировкой в robots.txt, из-за чего Google не видит тег. Третья: ставить noindex на страницы, у которых одновременно указан canonical на другой URL, что отправляет противоречивые сигналы. Наконец, закрытие noindex страниц пагинации категорий или важных фильтров может отрезать роботов от перечисленных там товаров.
Для SEO noindex поддерживает чистоту индекса: чем меньше малоценных URL, тем сильнее поисковые системы сосредоточены на страницах, заслуживающих ранжирования. Для GEO эффект прямой. ИИ-ассистенты, такие как поиск ChatGPT или Perplexity, опираются на веб-индексы, в том числе Bing, чтобы находить источники. Страница, исключённая noindex, как правило, отсутствует в этих индексах и не может быть процитирована. Проверка того, что ключевые страницы доступны для индексации: необходимое условие любой видимости в ИИ.
Noindex сообщает поисковым системам, что страницу не нужно показывать в результатах. Он работает через мета-тег robots или заголовок X-Robots-Tag, требует, чтобы страница была доступна для сканирования, и подходит для страниц, полезных посетителям, но бесполезных в поиске. При аккуратном использовании он сохраняет сфокусированность индекса; если оставить его включённым по ошибке, он может стереть сайт из Google.
Чтобы узнать больше, прочитайте наши материалы об индексации и robots.txt. Источники: Google о блокировке индексации с помощью noindex и спецификации мета-тега robots от Google.
Источники
Страница удаляется после того, как Googlebot повторно просканирует её и увидит директиву, на что может уйти от нескольких дней до нескольких недель в зависимости от частоты сканирования страницы. Запрос на повторное сканирование через инструмент проверки URL ускоряет процесс, а инструмент удаления может временно скрыть URL.
Нет. Если страница закрыта в robots.txt, Google не может её просканировать и никогда не увидит тег noindex, поэтому URL может остаться в индексе. Оставляйте страницы с noindex доступными для сканирования, пока они не будут удалены.
Это просит поисковые системы не индексировать страницу, но продолжать переходить по содержащимся в ней ссылкам. Это распространённая настройка для архивных или служебных страниц, ссылки которых ведут на контент, который вы хотите сканировать. Follow: поведение по умолчанию, поэтому один «noindex» даёт тот же эффект для ссылок.
ОНИ ПОПРОБОВАЛИ SORANK ДО ВАС
