Сайт не отображается в Google? Пошаговая диагностика: 10 причин и способы их устранения

Сайт, не отображающийся в Google, это одна из самых стрессовых проблем для владельца бизнеса и одна из самых простых для методичной диагностики. Самые частые причины Google перечисляет в своем руководстве Как сделать так, чтобы ваш сайт появился в Google: на сайт нет ссылок, дизайн трудно читается краулерами, ошибки сканирования или сайт просто слишком новый. Это руководство дает порядок диагностики, способ исправления для каждой причины и реалистичные сроки. Чтобы понять механику этого процесса, прочитайте наше руководство о том, как работает индексация Google.

Ваш сайт отсутствует в Google или просто ранжируется низко?

Это две разные проблемы с разными решениями. Проведите три быстрых теста:

1. Введите в Google site:yourdomain.com. Если результатов нет, сайт не проиндексирован. Если страницы появляются, сайт проиндексирован, и проблема в видимости по вашим целевым запросам. Google предупреждает, что этот оператор не обязательно возвращает все проиндексированные URL, поэтому используйте его как сигнал, а не как перепись.
2. Найдите точное название вашего бренда. Проиндексированный сайт обычно занимает первое место по собственному названию в течение нескольких недель, если только название не является распространенным словом или не совпадает с названием другой компании.
3. Найдите точный URL ключевой страницы или вставьте его в инструмент проверки URL в Google Search Console. Инструмент сообщает, «есть ли URL в Google», а если нет, то почему.

Если сайт проиндексирован, но невидим по тестируемым запросам, перед вами проблема ранжирования, а не индексации: перейдите к причине 8.

Как диагностировать сайт, которого нет в Google? 10 причин по порядку

1. Search Console не настроена

Без Search Console вы действуете наугад. Подтвердите домен (запись DNS охватывает все поддомены и протоколы), а затем откройте отчет «Индексирование страниц». Он перечисляет все известные URL с их статусом, и каждый статус указывает на причину. Документация Google по отчету об индексировании страниц определяет их все.

2. Тег noindex блокирует индексацию

Директива noindex в мета-теге robots или HTTP-заголовке X-Robots-Tag сообщает Google не индексировать страницу. Это самая частая причина после запуска: настройка тестового сайта попадает в продакшн вместе с ним. В WordPress проверьте, что в разделе «Настройки», «Чтение» снят флажок «Попросить поисковые системы не индексировать сайт». Search Console показывает такие страницы как помеченные «noindex». Удалите директиву, затем запросите индексацию.

3. Robots.txt блокирует Googlebot

Строка Disallow: / в robots.txt запрещает Google сканировать весь сайт. Страницы все равно могут появляться как голые URL без описания, это типичный симптом. Проверьте файл по адресу yourdomain.com/robots.txt или с помощью нашего проверщика robots.txt. Помните, что robots.txt управляет сканированием, а не индексацией: чтобы исключить страницу из индекса, используйте noindex и позвольте Google ее сканировать.

4. Сайт новый или на него нет ссылок

Google находит страницы в основном по ссылкам. Новый домен без обратных ссылок и без карты сайта может ждать первого сканирования неделями. Google пишет, что «Google может потребоваться несколько недель, чтобы заметить новый сайт или любые изменения на существующем». Отправьте XML-карту сайта в Search Console (наш проверщик карты сайта убедится, что она корректна), поставьте ссылки на сайт из своих профилей в соцсетях и записей в каталогах и запросите индексацию главной страницы.

5. Google просканировал страницы, но не проиндексировал их

Статус «Просканировано, но пока не проиндексировано» означает, что Google прочитал страницу и решил, что индексировать ее пока не стоит. Обычные причины: тонкий контент, почти одинаковые страницы (фильтры, теги, страницы городов с подменой названия) или страницы без внутренних ссылок. Улучшите или объедините слабые страницы, а не отправляйте их снова и снова.

6. Google знает URL, но не сканировал их

«Обнаружено, но пока не проиндексировано» означает, что Google нашел URL, но отложил сканирование. На небольшом сайте это обычно указывает на слабую внутреннюю перелинковку или медленно отвечающий сервер, на большом сайте на слишком много малоценных URL, конкурирующих за сканирование. Ставьте ссылки на важные страницы из меню и со связанных статей и убирайте ненужные вариации URL.

7. Дубликаты, редиректы и canonical отправляют Google в другое место

Страница может быть исключена, потому что Google видит в ней дубликат другого URL («Страница-дубликат: пользователь не выбрал канонический вариант»), потому что ее канонический тег указывает на другую страницу или потому что она перенаправляет. Проверьте «Канонический URL, выбранный Google» в проверке URL: если Google выбрал не тот URL, что вы, приведите ваши канонические теги, внутренние ссылки и карту сайта к одной версии (https, с www или без, со слешем на конце или без).

8. Страница проиндексирована, но обойдена

Большинство жалоб «не отображается» заканчиваются здесь: страница есть в индексе, но находится на 4-й странице по запросу вроде «сантехник» или «кроссовки для бега». Новый сайт редко ранжируется по широким конкурентным запросам. Посмотрите отчет «Эффективность» в Search Console: запросы, по которым вы уже получаете показы, показывают, где можно победить. Нацельтесь на более конкретные запросы, соответствующие поисковому намерению страницы, затем следуйте нашему методу, как подняться выше в Google. Автоматический подбор ключевых слов Sorank находит такие достижимые запросы за вас.

9. Ручные меры или проблема безопасности

Откройте в Search Console отчеты «Меры, принятые вручную» и «Проблемы безопасности». Ручные меры (неестественные ссылки, спам, скрытый текст, взломанный контент) могут убрать из результатов отдельные страницы или весь сайт. Исправьте все перечисленные проблемы, затем отправьте запрос на повторную проверку. Взломанный сайт также может быть помечен предупреждением в Chrome и в результатах поиска.

10. Google не может прочитать контент

Контент, который появляется только после выполнения JavaScript, находится за авторизацией, внутри изображений или во фрейме iframe, может быть невидим для Google или появляться с задержкой. Проверьте страницу через проверку URL, затем «Посмотреть просканированную страницу» и сравните отрендеренный HTML с тем, что видят посетители. Наш бесплатный проверщик индексируемости и бесплатное SEO-расширение для Chrome выявляют большинство таких препятствий на любой странице.

Симптом, причина, решение и срок: сводная таблица

Сколько времени нужно, чтобы сайт появился в Google?

Фиксированного срока нет. В документации Google о запросе на повторное сканирование URL сказано, что «сканирование может занять от нескольких дней до нескольких недель» и что повторные запросы по одному и тому же URL процесс не ускоряют. Новый сайт с картой сайта и несколькими ссылками обычно сканируется в течение от нескольких дней до нескольких недель, индексация всех его страниц занимает больше времени, а ранжирование по конкурентным запросам требует месяцев. Запросы через проверку URL ограничены квотой, поэтому приберегите их для самых важных страниц.

Почему мой сайт не отображается в ChatGPT и других AI-ассистентах?

У отсутствия в ответах AI частично другие причины. Каждый ассистент использует собственных краулеров и источники:

• Заблокированные краулеры: в документации OpenAI о его краулерах сказано, что «сайты, отказавшиеся от OAI-SearchBot, не будут показываться в ответах поиска ChatGPT». Файл robots.txt, блокирующий всех ботов, кроме Googlebot, или правило брандмауэра убирают вас из поиска ChatGPT.
• Контент, невидимый без JavaScript: большинство AI-краулеров читают только необработанный HTML, поэтому сайт с клиентским рендерингом может быть проиндексирован Google и при этом оставаться пустым для них.
• Другие поисковые индексы: несколько ассистентов опираются на поисковых провайдеров, отличных от Google. Проверьте индексацию и в Bing с помощью Bing Webmaster Tools.
• Слишком мало упоминаний: ассистенты рекомендуют бренды, которые цитируют другие источники. Наше исследование цитирования ChatGPT показывает, на какие типы сайтов он опирается.

Наше руководство о том, как попасть в выдачу ChatGPT, подробно описывает решения. Чтобы узнать, упоминают ли ассистенты ваш бренд вообще, отслеживание упоминаний в ИИ Sorank следит за вопросами ваших клиентов в ChatGPT, Claude и Gemini и показывает, кого цитируют вместо вас.

Порядок, который стоит запомнить: сначала проверьте индексацию, затем препятствия для сканирования, затем качество контента и только после этого конкуренцию. Большинство сайтов, которые «не отображаются в Google», исправляются одной настройкой, остальным нужны более качественные страницы и время.