Discovered - currently not indexed: що це означає і як виправити

Discovered - currently not indexed: одна з найпоширеніших причин у розділі «Чому сторінки не індексуються» в Google Search Console, і одна з найчастіше неправильно розуміних. У документації до звіту «Індексування сторінок» Google дає коротке визначення: «Google знайшов сторінку, але ще не просканував її. Зазвичай Google хотів просканувати URL, але очікувалося, що це перевантажить сайт, тому Google перенапланував сканування». Цей посібник пояснює, що стоїть за цим реченням, як відрізнити звичайну чергу від справжньої проблеми і які заходи виводять URL з черги. Повний процес індексації описано в нашому посібнику про те, як домогтися індексації сторінок Google.

Що означає «Discovered - currently not indexed»?

Google індексує сторінку у три етапи: виявлення (він дізнається, що URL існує), сканування (Googlebot завантажує сторінку) і індексування (Google аналізує вміст і вирішує, чи зберігати його). URL у цьому статусі пройшов лише перший етап. Google знає адресу і поставив її в чергу, але ніколи її не завантажував, тож вміст ще не оцінено. Тому поле «Останнє сканування» порожнє, коли ви перевіряєте такий URL.

Цей статус часто плутають із сусіднім, «Crawled - currently not indexed». Різниця підказує, де шукати причину.

Коротко: «Discovered»: це проблема сканування, а «Crawled»: це рішення про індексування. Переписування вмісту сторінки, яку Google ніколи не завантажував, нічого не змінить, доки Googlebot не повернеться по неї.

Чи є «Discovered - currently not indexed» проблемою?

Це залежить від обсягу та сторінок, яких це стосується. Три ситуації нормальні й не потребують дій:

• Нові сторінки, опубліковані за останні дні або тижні. Виявлення і сканування є окремими кроки, і Google планує їх самостійно.
• URL, які все одно не потрібно індексувати: комбінації фільтрів, результати внутрішнього пошуку, архіви тегів, параметри відстеження. Їхня присутність у списку: лише підказка заблокувати їх або припинити посилатися на них, не більше.
• Невелика частина великого сайту. Жоден сайт не має всіх URL у індексі.

Це стає проблемою, коли важливі сторінки (товари, категорії, статті, сторінки послуг) тижнями залишаються у списку або коли їх кількість зростає швидше, ніж кількість проіндексованих сторінок. Посібник Google про краулінговий бюджет називає саме цей сигнал: сайтам, у яких «значна частина від загальної кількості URL» має статус Discovered - currently not indexed, варто перевірити, як Google розподіляє на них сканування.

Що викликає «Discovered - currently not indexed»?

Google визначає обсяг сканування за двома факторами, описаними в документації про краулінговий бюджет: межа можливостей сканування (скільки витримає ваш сервер без уповільнення) і попит на сканування (наскільки Google потрібні ваші URL з огляду на розмір, частоту оновлень, якість сторінок і їхню релевантність порівняно з іншими сайтами). Кожна причина нижче знижує один із цих двох факторів. Поняття краулінгового бюджету найважливіше для великих сайтів, але повільний сервер або слабка структура сайту можуть викликати цей статус і на сайті з кількома сотнями сторінок.

1. Повільний або нестабільний сервер

Це причина, яку Google називає першою. За посібником про краулінговий бюджет, можливості сканування зростають, коли час відповіді «залишається стабільним або покращується», і падають, коли сайт сповільнюється або повертає помилки сервера. Спільний хостинг, перевантажена база даних, важка тема або файрвол, що обмежує Googlebot, зменшують кількість URL, які Google готовий завантажити за день.

2. Забагато URL з низькою цінністю конкурують за сканування

Фасетна навігація, параметри сортування, ідентифікатори сесій, нескінченні сторінки календаря, автоматично створені сторінки тегів і майже ідентичні варіанти товарів створюють тисячі URL. Посібник Google попереджає, що дублікати й неважливі URL витрачають час сканування, а сторінки soft 404 «продовжуватимуть скануватися і марнувати ваш бюджет». Ваші хороші сторінки чекають у тій самій черзі.

3. Слабка внутрішня перелінковка

URL, який є лише в XML-карті сайту, або який посилається зі сторінки, віддаленої на п'ять кліків від головної, надсилає слабкий сигнал пріоритету. Документація Google про доступні для сканування посилання додає технічну пастку: Google може перейти за посиланням, лише якщо це HTML-елемент <a> з атрибутом href. Меню або кнопки «Завантажити ще», побудовані лише на подіях JavaScript, можуть приховувати сторінки від краулера.

4. Сигнали якості для всього сайту

Попит на сканування частково залежить від того, як Google оцінює решту сайту. Якщо значна частина вже просканованих сторінок містить тонкий вміст або дубльований вміст, у Google мало причин поспішати з наступними. Тому статус часто з'являється після публікації сотень схожих сторінок одразу.

5. Новий або маловідомий сайт

Молодий домен з невеликою кількістю зворотних посилань і великим обсягом свіжого вмісту починає з низьким попитом на сканування. Мюллер сказав у тій самій сесії 2022 року, що новіший сайт із великим обсягом вмісту має очікувати, що значна його частина якийсь час залишатиметься в цьому статусі.

Як діагностувати це в Search Console?

Працюйте з прикладами, перш ніж щось змінювати. На більшості сайтів ця послідовність займає близько години.

1. Відкрийте список. У розділі Індексування > Сторінки натисніть «Discovered - currently not indexed» і експортуйте приклади URL (Search Console показує до 1 000).
2. Відсортуйте за типом. Згрупуйте URL за папкою або шаблоном: товари, статті, URL з параметрами, пагінація, теги. Якщо більшість становлять URL, які ви не хочете індексувати, рішення полягає в тому, щоб їх зменшити, а не проштовхувати.
3. Перевірте кілька важливих сторінок. Інструмент перевірки URL підтверджує, що сторінку ніколи не сканували, і показує, чи знайшов її Google у карті сайту або через сторінку, що на неї посилається.
4. Перевірте серверний бік. Відкрийте Налаштування > Статистика сканування. Звіт Статистика сканування показує стан хоста за 90 днів (завантаження robots.txt, розпізнавання DNS, зв'язок із сервером), частку помилок 5XX і тайм-аутів, а також середній час відповіді. Зростання часу відповіді за зменшення кількості запитів вказує на проблему з потужністю.
5. Перевірте внутрішні посилання. Порахуйте, скільки внутрішніх посилань веде на уражені сторінки і звідки. Аналізатор внутрішніх посилань показує сторінки-сироти та сторінки, поховані глибоко в структурі.
6. Прочитайте журнали сервера, якщо вони є. Журнали показують, які URL Googlebot справді запитує щодня і де він марнує час, часто на URL з параметрами, про існування яких ви не знали.

Як виправити «Discovered - currently not indexed»?

Підберіть виправлення під причину, знайдену під час діагностики. Таблиця підсумовує основні випадки.

Спершу покращте потужність сервера

Якщо звіт «Статистика сканування» показує помилки сервера або час відповіді, що зростає, нічого іншого не спрацює, доки це не виправлено, адже Google сам знижує швидкість сканування, щоб захистити сайт. Запитайте у хостингу про обмеження, додайте кешування сторінок і мережу доставки контенту, а з шаблонів приберіть важкі скрипти.

Зменште URL, які вам не потрібні

Кожен марний URL, який завантажує Googlebot,: це корисний URL, який він не завантажить. Приберіть внутрішні посилання на комбінації фільтрів і параметри відстеження, за допомогою перевірки robots.txt протестуйте правила Disallow перед блокуванням шаблонів і виправте сторінки soft 404. Посібник Google однозначний щодо дублікатів: видаляйте їх, щоб зосередити сканування «на унікальному вмісті, а не на унікальних URL».

Посильте внутрішню перелінковку на важливі сторінки

Ставте посилання на уражені сторінки з тих, які Google часто сканує: головної сторінки, основних категорій, популярних статей. Використовуйте стандартні посилання <a href> з описовими анкорами. Зрозуміла архітектура сайту тримає кожну важливу сторінку в трьох-чотирьох кліках від головної, що підвищує пріоритет її сканування.

Очистіть карту сайту і запитуйте індексування помірно

Надішліть чисту XML-карту сайту і використовуйте кнопку «Запросити індексування» лише для кількох стратегічних URL: вона має денну квоту і не підвищує загальну потужність сканування вашого сайту. Коли причину усунено, натисніть у звіті «Перевірити виправлення». Google повідомляє, що перевірка «зазвичай триває до двох тижнів, але в деяких випадках може тривати набагато довше», і не натискайте її знову, доки вона не завершиться успішно або з помилкою.

Якщо сторінки залишаються невидимими після цих кроків, причина може бути деінде: наш список причин, чому сайт не з'являється в Google, охоплює санкції, теги noindex і помилки canonical.

Чому це важливо для видимості в ШІ (GEO)?

Сторінка, яку Googlebot ніколи не сканує, не може займати позиції в Google і не може слугувати джерелом для ШІ-оглядів або режиму ШІ в Google, які спираються на індекс Google. Накопичення непросканованих URL отже затримує вашу видимість і в класичних результатах, і у відповідях ШІ одночасно.

ChatGPT, Perplexity і Claude спираються на власні сканери та індекси партнерів, тож сторінку можуть завантажити вони, поки Google її ігнорує, і навпаки. Журнали сервера показують, які ШІ-боти відвідують які сторінки; наша стаття в глосарії про журнали ШІ-сканерів пояснює, як їх читати. Виправлення з цього посібника (швидкий сервер, менше непотрібних URL, зрозумілі внутрішні посилання) допомагають усім сканерам, і Googlebot, і ШІ-ботам.

Sorank, наш продукт, працює з контентною стороною проблеми. Його панель GEO та SEO підключається до Search Console, щоб відстежувати кліки, покази й позиції після кожного виправлення, а генератор статей публікує менше, але глибших статей з автоматичними внутрішніми посиланнями на наявні сторінки, тож нові URL мають посилання від дня публікації.

Підсумок: «Discovered - currently not indexed» означає, що Google знає ваш URL, але ще не виділив на його сканування час. Ігноруйте статус для кількох нових сторінок, а діяйте, коли він стосується важливих сторінок: прискоріть сервер, приберіть непотрібні URL і поставте посилання на важливі сторінки. Щоб автоматизувати частину з контентом і внутрішніми посиланнями, дивіться тарифи Sorank: від 49€ на місяць за річної оплати, з 3-денним безкоштовним пробним періодом.