Кратко
проверка индексируемости в Google сообщает, мешает ли что-нибудь Google проиндексировать страницу. Она следует за редиректами, читает HTTP-код, проверяет robots.txt для Googlebot, ищет noindex в метатегах и заголовке X-Robots-Tag и анализирует тег canonical вплоть до страницы, на которую он указывает. Вы получаете один из трёх вердиктов: индексируется, Google, вероятно, проиндексирует другую страницу или не индексируется, с точным сигналом, который нужно исправить, и предлагаемым тегом canonical.
Хотите узнать больше? Спросите
Проверка индексируемости отвечает на вопрос, который стоит задать до любой другой работы по SEO: может ли эта страница вообще появиться в Google? Страница может быть хорошо написана, быстра и обеспечена ссылками, и всё равно оставаться невидимой из-за одной строки в шаблоне. Google прямо говорит, что страница с правилом noindex исключается из результатов поиска и что правило работает, только если страница не заблокирована в robots.txt, ведь робот, который не может прочитать страницу, никогда не увидит noindex (Google Search Central, блокировка индексации с помощью noindex). Проверка читает эти сигналы вместе, как это делает Google.
Что проверяет проверка индексируемости?
Вставьте полный URL страницы и запустите анализ. Инструмент запрашивает страницу как браузер, затем просматривает пять групп сигналов.
| Сигнал | Что читает инструмент | Блокирует, когда |
|---|---|---|
| Редиректы | Каждый шаг до итогового адреса | Сам по себе никогда; Google индексирует итоговый URL |
| HTTP-код | Код итоговой страницы | Любой, кроме успешного кода 2xx |
| robots.txt | Правила для Googlebot для итогового пути | Директива Disallow соответствует странице или robots.txt отвечает ошибкой сервера 5xx |
| Директивы для роботов | Метатеги robots и googlebot и заголовок X-Robots-Tag | Присутствует noindex (или none) |
| Canonical | rel="canonical" в HTML или в HTTP-заголовке Link, затем целевая страница | Несколько разных canonical, нечитаемый canonical или целевая страница, которая перенаправляет, выдаёт ошибку или имеет noindex |
Инструмент также отмечает nofollow на всей странице, файл не в формате HTML и canonical, который является относительным, находится вне <head>, использует другой протокол или указывает на другой домен.
Как читать три вердикта?
| Вердикт | Что он означает | Что делать |
|---|---|---|
| Эта страница может быть проиндексирована Google | Страница отвечает 200, robots.txt пускает Googlebot, noindex нет, а canonical указывает на саму страницу | Ничто не мешает. Если её всё равно нет в Google, смотрите на качество контента и внутренние ссылки |
| Google, вероятно, проиндексирует другую страницу | Индексацию ничто не запрещает, но canonical указывает на другой URL или требует исправления | Оставьте как есть, если эта страница является дубликатом; иначе направьте canonical на саму страницу |
| Эта страница не может быть проиндексирована | Есть хотя бы один блокирующий сигнал: код ошибки, блокировка в robots.txt или noindex | Сначала исправьте красные пункты, затем запустите проверку снова |
К каждому результату прилагается краткое пояснение, а инструмент предлагает тег canonical для копирования в <head> страницы. Проверка бесплатна, 3 анализа в день.
Почему страница не индексируется Google?
Пять причин ниже объясняют большинство случаев, которые находит инструмент. Каждая взята из собственной документации Google.
- Код ошибки. Google не индексирует URL, возвращающие код 4xx, а уже проиндексированные URL, которые начинают его возвращать, со временем удаляются (Google, как HTTP-коды ответа влияют на роботов).
- Noindex, оставшийся от тестового сайта. Очень частая ситуация после запуска или редизайна: шаблон по-прежнему содержит noindex.
- Правило в robots.txt. Google подчёркивает, что robots.txt «не является механизмом, позволяющим скрыть веб-страницу от Google»: заблокированный URL всё равно может попасть в выдачу, но без содержимого (Google, введение в robots.txt). Чтобы страницы не было в выдаче, используйте noindex; чтобы она появилась, уберите блокировку.
- robots.txt, отвечающий ошибкой сервера. Когда Google находит robots.txt, но не может его получить из-за ошибки 5xx, он прекращает сканирование сайта на первые 12 часов, продолжая повторять попытки (Google, как Google интерпретирует robots.txt).
- Canonical, указывающий в другое место. Google считает основным другой URL и обычно индексирует его вместо этого.
Как правильно задать тег canonical?
На оригинальной странице canonical указывает на саму страницу, с полным абсолютным URL, внутри <head>. Google рекомендует абсолютные пути, отмечая, что относительные поддерживаются, но «могут вызвать проблемы в долгосрочной перспективе», и предупреждает не объявлять разные canonical разными способами (Google, как указать canonical).
| Ситуация | Правильный canonical |
|---|---|
| Оригинальная страница | Её собственный URL, с https:// и правильным хостом |
| Та же страница с параметрами отслеживания или сортировки (?utm_source=..., ?sort=price) | Чистый URL без параметров; инструмент отмечает этот случай как правильный |
| Дубликат другой страницы | URL оригинала |
| Контент, распространяемый с другого сайта | Оригинал на другом домене |
| Страница, которую нужно убрать из Google | Никакого canonical на другую страницу: используйте один noindex |
Сочетание noindex с canonical на другую страницу даёт противоречивые сигналы, и инструмент это отмечает. Чтобы быстро проверить canonical других страниц, используйте проверку canonical и прочитайте статью глоссария о теге canonical.
Как редиректы влияют на индексацию?
Google индексирует итоговый адрес цепочки редиректов, а не первый. Его роботы по умолчанию проходят до 10 шагов редиректа, а содержимое перенаправляющих URL игнорируется. Инструмент проходит до 8 шагов и показывает каждый из них, поэтому вы видите, где цепочку стоит сократить.
- Ссылайтесь на итоговый URL в меню, sitemap и внутренних ссылках, чтобы ни посетители, ни роботы не проходили через редирект.
- Избегайте цепочек: с http на https, на www, на адрес со слешем в конце это три шага там, где хватило бы одного.
- Проверяйте старые URL после миграции с помощью проверки редиректов.
Всегда ли индексируемая страница индексируется?
Нет. «Индексируема» значит, что индексацию ничто не запрещает; Google всё равно сам решает, что добавить в свой индекс, исходя из качества, дублирования и того, насколько легко найти страницу. Если инструмент говорит, что страницу можно проиндексировать, а в Google её нет:
- Проверьте URL в Search Console: инструмент проверки URL показывает, знает ли Google о странице и почему она исключена.
- Проверьте внутренние ссылки: страницу, на которую не ведёт ни одна другая, трудно обнаружить.
- Добавьте её в sitemap и проверьте файл с помощью проверки sitemap.
- Улучшите контент, если он повторяет то, что уже говорят другие страницы, на вашем сайте или в другом месте.
Индексация важна и за пределами классической выдачи. Google заявляет, что страница должна быть проиндексирована и допускаться к показу со сниппетом, чтобы появиться в качестве вспомогательной ссылки в AI Overviews или AI Mode (Google, функции ИИ и ваш сайт). Для других ИИ проверьте доступ с помощью аудита доступности для ИИ-роботов.
Каковы ограничения проверки?
- Один URL за раз: она не сканирует сайт. Используйте её для важных страниц и для шаблонов.
- Только правила для Googlebot: robots.txt читается для Googlebot; правила для других роботов здесь не оцениваются.
- Нет рендеринга JavaScript: noindex или canonical, добавленные JavaScript после загрузки, не видны. Google рендерит страницы, поэтому такие случаи проверяйте в Search Console.
- Снимок момента: брандмауэры, геоблокировка или ограничения частоты запросов могут отвечать инструменту иначе, чем Googlebot.
От индексируемой страницы к заметной
Индексируемость это дверь: если она закрыта, ничто другое в SEO не имеет значения. Когда дверь открыта, задача состоит в том, чтобы заслужить место в выдаче. Генератор статей для блога Sorank каждый день публикует индексируемые страницы с хорошей перелинковкой, дашборд GEO и SEO показывает, какие из них получают показы и клики, а SEO Chat отвечает на ваши вопросы об индексации на основе данных вашего сайта. Посмотрите тарифы Sorank, чтобы запустить всё это на autopilot.
