Сайт не відображається в Google? Покрокова діагностика: 10 причин і способи їх усунення

Сайт, що не відображається в Google, є однією з найстресовіших проблем для власника бізнесу і однією з найлегших для методичної діагностики. Google перелічує найпоширеніші причини у своєму посібнику Додайте свій сайт в Google: відсутність посилань на сайт, дизайн, який краулерам важко прочитати, помилки сканування або просто надто новий сайт. Цей посібник дає порядок діагностики, виправлення для кожної причини та реалістичні строки. Щоб зрозуміти механіку, прочитайте наш посібник про те, як працює індексація Google.

Ваш сайт відсутній у Google чи просто ранжується низько?

Це дві різні проблеми з різними рішеннями. Проведіть три швидкі тести:

1. Пошукайте site:yourdomain.com у Google. Якщо жодного результату немає, сайт не проіндексований. Якщо сторінки з'являються, сайт проіндексований, а проблема у видимості за цільовими запитами. Google попереджає, що цей оператор не обов'язково повертає кожен проіндексований URL, тож використовуйте його як сигнал, а не як перепис.
2. Пошукайте точну назву свого бренду. Проіндексований сайт зазвичай посідає перше місце за власною назвою протягом кількох тижнів, якщо тільки назва не є поширеним словом або не збігається з назвою іншої компанії.
3. Пошукайте точний URL ключової сторінки або вставте його в інструмент перевірки URL у Google Search Console. Інструмент повідомляє, чи «URL є в Google», а якщо ні, то чому.

Якщо сайт проіндексований, але невидимий за запитами, які ви тестуєте, то це проблема ранжування, а не індексації: переходьте до причини 8.

Як діагностувати сайт, якого немає в Google? 10 причин по порядку

1. Не налаштовано Search Console

Без Search Console ви гадаєте. Верифікуйте домен (запис DNS охоплює всі субдомени й протоколи), а потім відкрийте звіт про індексацію сторінок. Він перелічує кожен відомий URL з його статусом, і кожен статус вказує на причину. Документація Google про звіт про індексацію сторінок визначає їх усі.

2. Тег noindex блокує індексацію

Директива noindex у мета-тезі robots або в HTTP-заголовку X-Robots-Tag каже Google не індексувати сторінку. Це найчастіша причина після запуску: налаштування з тестового сайту потрапляє в продакшн разом із ним. У WordPress перевірте, що в «Налаштування, Читання» не поставлено галочку «Попросити пошукові системи не індексувати сайт». Search Console показує такі сторінки як позначені «noindex». Приберіть директиву, а потім надішліть запит на індексацію.

3. Robots.txt блокує Googlebot

Рядок Disallow: / у robots.txt не дає Google сканувати весь сайт. Сторінки все одно можуть з'являтися як голі URL без опису, і це типовий симптом. Перевірте файл за адресою yourdomain.com/robots.txt або нашим перевірником robots.txt. Пам'ятайте, що robots.txt керує скануванням, а не індексацією: щоб тримати сторінку поза індексом, використовуйте noindex і дозвольте Google її сканувати.

4. Сайт новий або не має посилань

Google знаходить сторінки переважно за посиланнями. Новий домен без зворотних посилань і без мапи сайту може чекати тижнями до першого сканування. Google пише, що «Google може знадобитися кілька тижнів, щоб помітити новий сайт або будь-які зміни у вашому наявному сайті». Подайте XML-мапу сайту в Search Console (наш перевірник мапи сайту підтверджує її валідність), додайте посилання на сайт у соціальних профілях і каталогах та надішліть запит на індексацію головної сторінки.

5. Google просканував сторінки, але не проіндексував

Статус «Проскановано, наразі не індексовано» означає, що Google прочитав сторінку і вирішив, що наразі індексувати її не варто. Звичайні причини: тонкий контент, майже дубльовані сторінки (фільтри, теги, сторінки локацій із підміненою назвою міста) або сторінки без внутрішніх посилань. Покращуйте чи об'єднуйте слабкі сторінки замість того, щоб знову й знову подавати їх повторно.

6. Google знає URL, але не сканував їх

«Знайдено, наразі не індексовано» означає, що Google знайшов URL, але відклав сканування. На малому сайті це зазвичай вказує на слабке внутрішнє перелінкування або сервер, що повільно відповідає; на великому сайті на забагато малоцінних URL, що конкурують за сканування. Робіть посилання на важливі сторінки з меню та споріднених статей і прибирайте варіації URL, які вам не потрібні.

7. Дублікати, редиректи та canonical спрямовують Google в інше місце

Сторінку можуть виключити, бо Google вважає її дублікатом іншого URL («Дублікат без канонічної сторінки, вибраної користувачем»), бо її тег canonical вказує на іншу сторінку або бо вона перенаправляє. Перевірте «Канонічну сторінку, вибрану Google» в інструменті перевірки URL: якщо Google вибрав інший URL, ніж ваш, узгодьте теги canonical, внутрішні посилання та мапу сайту на одній версії (https, з www або без, зі слешем у кінці або без).

8. Сторінка проіндексована, але її обігнали

Більшість скарг «не відображається» закінчується тут: сторінка є в індексі, але стоїть на 4-й сторінці видачі за запитом на кшталт «сантехнік» чи «кросівки для бігу». Новий сайт рідко ранжується за широкими конкурентними запитами. Подивіться звіт «Ефективність» у Search Console: запити, за якими ви вже отримуєте покази, показують, де можна перемогти. Націльтеся на конкретніші запити, що відповідають пошуковому наміру сторінки, а потім дотримуйтеся нашого методу, як піднятися вище в Google. Автоматизоване дослідження ключових слів Sorank знаходить такі досяжні запити за вас.

9. Ручні санкції або проблема безпеки

Відкрийте звіти «Ручні дії» та «Проблеми безпеки» в Search Console. Ручні санкції (неприродні посилання, спам, прихований текст, зламаний контент) можуть прибрати сторінки чи весь сайт із результатів. Усуньте кожну названу проблему, а потім надішліть запит на повторний розгляд. Зламаний сайт також може бути позначений попередженням у Chrome і у видачі.

10. Google не може прочитати контент

Контент, що з'являється лише після виконання JavaScript, за логіном, всередині зображень або в iframe, може бути невидимим чи відкладеним для Google. Перевірте сторінку інструментом перевірки URL, потім «Переглянути просканьовану сторінку» і порівняйте відрендерений HTML з тим, що бачать відвідувачі. Наш безкоштовний перевірник індексованості і безкоштовне SEO-розширення для Chrome виявляють більшість таких перешкод на будь-якій сторінці.

Симптом, причина, виправлення та строк: підсумкова таблиця

Скільки часу потрібно, щоб сайт з'явився в Google?

Фіксованого строку немає. Документація Google про запит на повторне сканування URL зазначає, що «сканування може тривати від кількох днів до кількох тижнів» і що повторне подання того самого URL не прискорює процес. Новий сайт із мапою та кількома посиланнями зазвичай скануються за дні чи тижні; індексація всіх його сторінок займає довше, а ранжування за конкурентними запитами місяці. Запити через інструмент перевірки URL підлягають квоті, тож зберігайте їх для найважливіших сторінок.

Чому мій сайт не відображається в ChatGPT чи інших AI-асистентах?

Відсутність у відповідях AI має почасти інші причини. Кожен асистент використовує власні краулери та джерела:

• Заблоковані краулери: документація OpenAI про його краулери зазначає, що «сайти, які відмовилися від OAI-SearchBot, не показуватимуться у відповідях пошуку ChatGPT». Robots.txt, що блокує всіх ботів, крім Googlebot, або правило брандмауера прибирає вас із пошуку ChatGPT.
• Контент, невидимий без JavaScript: більшість AI-краулерів читають лише сирий HTML, тож сайт із клієнтським рендерингом може бути проіндексований Google і все одно порожній для них.
• Інші пошукові індекси: кілька асистентів спираються на провайдерів вебпошуку, відмінних від Google. Перевірте індексацію також у Bing через Bing Webmaster Tools.
• Замало згадок: асистенти рекомендують бренди, які цитують інші джерела. Наше дослідження цитувань ChatGPT показує, на які типи сайтів він спирається.

Наш посібник про те, як потрапити у видачу ChatGPT, докладно описує рішення. Щоб дізнатися, чи згадують асистенти ваш бренд взагалі, відстеження згадок у ШІ від Sorank стежить за запитаннями ваших клієнтів у ChatGPT, Claude і Gemini та показує, кого цитують замість вас.

Порядок, який варто запам'ятати: спершу перевірте індексацію, потім перешкоди для сканування, потім якість контенту і лише після цього конкуренцію. Більшість сайтів, які «не відображаються в Google», виправляє одне налаштування; решті потрібні кращі сторінки й час.