Discovered - currently not indexed: что это значит и как исправить

Discovered - currently not indexed: одна из самых частых причин в разделе «Почему страницы не индексируются» в Google Search Console, и одна из самых неверно понимаемых. В документации к отчёту «Индексирование страниц» Google даёт короткое определение: «Google нашёл страницу, но ещё не просканировал её. Обычно Google хотел просканировать URL, но ожидалось, что это перегрузит сайт, поэтому Google перенёс сканирование на другое время». Это руководство объясняет, что стоит за этой фразой, как отличить обычную очередь от реальной проблемы и какие меры выводят URL из очереди. Полный процесс индексации описан в нашем руководстве о том, как добиться индексации страниц Google.

Что означает «Discovered - currently not indexed»?

Google индексирует страницу в три этапа: обнаружение (он узнаёт, что URL существует), сканирование (Googlebot загружает страницу) и индексирование (Google анализирует содержимое и решает, сохранять ли его). URL в этом статусе прошёл только первый этап. Google знает адрес и поставил его в очередь, но никогда его не загружал, поэтому содержимое ещё не оценено. Поэтому поле «Последнее сканирование» пустое, когда вы проверяете такой URL.

Этот статус часто путают с соседним, «Crawled - currently not indexed». Разница подсказывает, где искать причину.

Коротко: «Discovered»: это проблема сканирования, а «Crawled»: это решение об индексировании. Переписывание содержимого страницы, которую Google никогда не загружал, ничего не изменит, пока Googlebot не вернётся за ней.

Является ли «Discovered - currently not indexed» проблемой?

Всё зависит от объёма и затронутых страниц. Три ситуации нормальны и не требуют действий:

• Новые страницы, опубликованные за последние дни или недели. Обнаружение и сканирование являются отдельными шаги, и Google планирует их сам.
• URL, которые всё равно не нужно индексировать: комбинации фильтров, результаты внутреннего поиска, архивы тегов, параметры отслеживания. Их присутствие в списке: лишь подсказка заблокировать их или перестать на них ссылаться, не более.
• Небольшая часть большого сайта. Ни у одного сайта не проиндексированы все URL.

Проблемой это становится, когда важные страницы (товары, категории, статьи, страницы услуг) неделями остаются в списке или когда их число растёт быстрее, чем число проиндексированных страниц. Руководство Google по краулинговому бюджету называет именно этот сигнал: сайтам, у которых «значительная часть от общего числа URL» относится к статусу Discovered - currently not indexed, стоит проверить, как Google распределяет на них сканирование.

Что вызывает «Discovered - currently not indexed»?

Google определяет объём сканирования по двум факторам, описанным в документации о краулинговом бюджете: предел возможностей сканирования (сколько выдержит ваш сервер без замедления) и спрос на сканирование (насколько Google нужны ваши URL с учётом размера, частоты обновлений, качества страниц и их релевантности по сравнению с другими сайтами). Каждая причина ниже снижает один из этих двух факторов. Понятие краулингового бюджета важнее всего для больших сайтов, но медленный сервер или слабая структура сайта могут вызвать этот статус и на сайте из нескольких сотен страниц.

1. Медленный или нестабильный сервер

Google называет эту причину первой. По руководству о краулинговом бюджете, возможности сканирования растут, когда время ответа «остаётся стабильным или улучшается», и падают, когда сайт тормозит или возвращает ошибки сервера. Общий хостинг, перегруженная база данных, тяжёлая тема или файрвол, который ограничивает Googlebot, уменьшают количество URL, которые Google готов загрузить за день.

2. Слишком много URL с низкой ценностью конкурируют за сканирование

Фасетная навигация, параметры сортировки, идентификаторы сессий, бесконечные страницы календаря, автоматически созданные страницы тегов и почти одинаковые варианты товаров создают тысячи URL. Руководство Google предупреждает, что дублирующиеся и неважные URL тратят время сканирования, а страницы soft 404 «будут продолжать сканироваться и растрачивать ваш бюджет». Ваши хорошие страницы ждут в той же очереди.

3. Слабая внутренняя перелинковка

URL, который есть только в XML-карте сайта, или который ссылается со страницы, удалённой на пять кликов от главной, посылает слабый сигнал приоритета. Документация Google о сканируемых ссылках добавляет техническую ловушку: Google может перейти по ссылке, только если это HTML-элемент <a> с атрибутом href. Меню или кнопки «Загрузить ещё», построенные только на событиях JavaScript, могут скрывать страницы от краулера.

4. Сигналы качества всего сайта

Спрос на сканирование частично зависит от того, как Google оценивает остальную часть сайта. Если значительная доля уже просканированных страниц содержит тонкое содержимое или дублированное содержимое, у Google мало причин спешить со следующими. Поэтому статус часто появляется после публикации сотен похожих страниц сразу.

5. Новый или малоизвестный сайт

Молодой домен с малым числом обратных ссылок и большим объёмом свежего содержимого начинает с низким спросом на сканирование. Мюллер сказал в той же сессии 2022 года, что более новый сайт с большим объёмом контента должен ожидать, что значительная его часть некоторое время останется в этом статусе.

Как диагностировать это в Search Console?

Работайте с примерами, прежде чем что-либо менять. На большинстве сайтов эта последовательность занимает около часа.

1. Откройте список. В разделе Индексирование > Страницы нажмите «Discovered - currently not indexed» и экспортируйте примеры URL (Search Console показывает до 1 000).
2. Отсортируйте по типу. Сгруппируйте URL по папке или шаблону: товары, статьи, URL с параметрами, пагинация, теги. Если большинство составляют URL, которые вы не хотите индексировать, решение в том, чтобы сократить их, а не проталкивать.
3. Проверьте несколько важных страниц. Инструмент проверки URL подтверждает, что страница никогда не сканировалась, и показывает, нашёл ли её Google в карте сайта или через страницу, которая на неё ссылается.
4. Проверьте сторону сервера. Откройте Настройки > Статистика сканирования. Отчёт «Статистика сканирования» показывает состояние хоста за 90 дней (загрузку robots.txt, разрешение DNS, связь с сервером), долю ошибок 5XX и тайм-аутов, а также среднее время ответа. Рост времени ответа при снижении числа запросов указывает на проблему с мощностью.
5. Проверьте внутренние ссылки. Подсчитайте, сколько внутренних ссылок ведёт на затронутые страницы и откуда они. Анализатор внутренних ссылок покажет страницы-сироты и страницы, зарытые глубоко в структуре.
6. Изучите журналы сервера, если они есть. Журналы показывают, какие URL Googlebot действительно запрашивает каждый день и где он теряет время, часто на URL с параметрами, о существовании которых вы не знали.

Как исправить «Discovered - currently not indexed»?

Подберите исправление под причину, найденную при диагностике. В таблице собраны основные случаи.

Сначала улучшите мощность сервера

Если отчёт «Статистика сканирования» показывает ошибки сервера или растущее время ответа, ничего другого не сработает, пока это не исправлено, потому что Google сам снижает скорость сканирования, чтобы защитить сайт. Спросите у хостинга о лимитах, добавьте кэширование страниц и сеть доставки контента, а из шаблонов уберите тяжёлые скрипты.

Сократите ненужные URL

Каждый бесполезный URL, который загружает Googlebot,: это полезный URL, который он не загрузит. Уберите внутренние ссылки на комбинации фильтров и параметры отслеживания, с помощью проверки robots.txt протестируйте правила Disallow перед блокировкой шаблонов и исправьте страницы soft 404. Руководство Google однозначно о дубликатах: удаляйте их, чтобы сосредоточить сканирование «на уникальном содержимом, а не на уникальных URL».

Усильте внутреннюю перелинковку на важные страницы

Ставьте ссылки на затронутые страницы с тех, которые Google часто сканирует: главной страницы, основных категорий, популярных статей. Используйте стандартные ссылки <a href> с описательными анкорами. Понятная архитектура сайта держит каждую важную страницу в трёх-четырёх кликах от главной, что повышает приоритет её сканирования.

Очистите карту сайта и запрашивайте индексирование умеренно

Отправьте чистую XML-карту сайта и используйте кнопку «Запросить индексирование» только для нескольких стратегических URL: у неё дневная квота, и она не повышает общую мощность сканирования вашего сайта. Когда причина устранена, нажмите в отчёте «Проверить исправление». Google сообщает, что проверка «обычно занимает до двух недель, но иногда может длиться гораздо дольше», и не нажимайте её снова, пока она не завершится успешно или с ошибкой.

Если страницы остаются невидимыми после этих шагов, причина может быть в другом: наш список причин, по которым сайт не появляется в Google, охватывает санкции, теги noindex и ошибки canonical.

Почему это важно для видимости в ИИ (GEO)?

Страница, которую Googlebot никогда не сканирует, не может занимать позиции в Google, и её нельзя использовать как источник для ИИ-обзоров или режима ИИ в Google, которые опираются на индекс Google. Накопление непросканированных URL поэтому задерживает вашу видимость и в классических результатах, и в ответах ИИ одновременно.

ChatGPT, Perplexity и Claude опираются на собственные сканеры и индексы партнёров, поэтому страница может быть загружена ими, пока Google её игнорирует, и наоборот. Журналы сервера показывают, какие ИИ-боты посещают какие страницы; наша статья в глоссарии о журналах ИИ-сканеров объясняет, как их читать. Исправления из этого руководства (быстрый сервер, меньше ненужных URL, понятные внутренние ссылки) помогают всем сканерам, и Googlebot, и ИИ-ботам.

Sorank, наш продукт, работает с контентной стороной проблемы. Его панель GEO и SEO подключается к Search Console, чтобы отслеживать клики, показы и позиции после каждого исправления, а генератор статей публикует меньше, но более глубоких статей с автоматическими внутренними ссылками на существующие страницы, так что новые URL получают ссылки с первого дня.

Итог: «Discovered - currently not indexed» означает, что Google знает ваш URL, но ещё не выделил на его сканирование время. Игнорируйте статус для нескольких новых страниц, а действуйте, когда он затрагивает важные страницы: ускорьте сервер, уберите ненужные URL и поставьте ссылки на важные страницы. Чтобы автоматизировать часть с контентом и внутренними ссылками, смотрите тарифы Sorank: от 49€ в месяц при оплате за год, с 3-дневным бесплатным пробным периодом.