Настройки

Конфиденциальность важна для нас, поэтому вы можете отключить отдельные виды хранения данных, которые не нужны для базовой работы сайта. Блокировка некоторых категорий может повлиять на ваше впечатление от сайта. Подробнее (Политика использования cookie)

Ошибки сканирования: как найти, расставить приоритеты и исправить каждую

Исправьте ошибки сканирования: DNS, сервер, robots.txt, 404, soft 404 и ошибки переадресации. Как реагирует Googlebot и метод исправления в 6 шагов.

Опубликовано
18/11/2026
Обновлено
18/11/2026
Время чтения
19 мин
Ошибки сканирования: как найти, расставить приоритеты и исправить каждую

Инструменты

На этой странице

Коротко

ошибки сканирования это запросы поисковой системы или AI-краулера к вашему сайту, которые завершаются неудачей: сервер не отвечает вовремя, DNS не отвечает, robots.txt не удаётся загрузить, переадресация зацикливается или страница возвращает код 4xx или 5xx. Ошибки уровня сайта (DNS, сервер, robots.txt) могут остановить сканирование Google по всему сайту, поэтому исправляйте их первыми; ошибки уровня URL (404, soft 404, ошибки переадресации) важны только тогда, когда затрагивают страницы, которые вы хотите видеть в индексе. Вы находите их в отчётах Search Console «Статистика сканирования» и «Индексирование страниц», подтверждаете краулером и серверными логами, затем устраняете причину и запускаете проверку.

Хотите узнать больше? Спросите

Короткий тест

Кто должен исправить техническую часть сайта?

Вопрос 1 из 425%
Что происходит сейчас?

Что такое ошибки сканирования и чем они не являются

Краулер работает как очень терпеливый посетитель. Он запрашивает у сервера URL, ждёт ответа, читает код состояния и содержимое, а затем переходит по найденным ссылкам. Ошибка сканирования это любой шаг этой цепочки, который не удался. Посетитель так и не получает пригодную страницу.

Определение важно, потому что многие отчёты смешивают ошибки сканирования с решениями об индексировании. «Страница просканирована, но пока не проиндексирована» не является ошибкой сканирования: Google без проблем загрузил страницу и решил её не сохранять. «Исключено тегом noindex» тоже не ошибка сканирования: вы сами попросили Google убрать страницу. Ошибка сканирования означает, что сбой произошёл в самой загрузке.

Два семейства: ошибки сайта и ошибки URL

Google делит проблемы на два уровня, и вам стоит делать так же.

  • Ошибки сайта (Google называет их проблемами со статусом хоста): сбои разрешения DNS, сбои подключения к серверу и сбои загрузки robots.txt. Они затрагивают каждый URL на хосте. Один плохой день здесь может заморозить сканирование всего сайта.
  • Ошибки URL: страница возвращает 404, 410, 401, 403, 5xx, soft 404 или неработающую переадресацию. Они затрагивают только этот URL, и многие из них безвредны.

Ошибки сайта и ошибки URL

Ошибки сайта (исправить сегодня)
  • DNS не разрешается
  • Сервер не отвечает вовремя или обрывает соединение
  • robots.txt возвращает 5xx или 429
  • Видны в «Статистике сканирования», раздел «Статус хоста»
  • Могут приостановить сканирование всех страниц
Ошибки URL (сортировать)
  • 404, 410, soft 404
  • 401, 403, другие 4xx
  • Цикл переадресаций или слишком длинная цепочка
  • Видны в отчёте «Индексирование страниц»
  • Важны только для страниц, которые нужно индексировать

Почему это различие меняет приоритеты

Интернет-магазин с 4000 старыми URL товаров, которые возвращают 404, может быть полностью здоров, если эти товары исчезли навсегда. Тот же магазин с robots.txt, который шесть часов возвращает 503, находится в настоящей аварийной ситуации, даже если все карточки товаров работают. Начинайте с хоста, затем с URL, которые приносят деньги, затем со всего остального.

Как Googlebot реагирует на каждый сбой

Чтобы правильно исправлять ошибки сканирования, нужно знать, что Google делает на самом деле, когда сталкивается с ними. Документация Google о том, как коды состояния HTTP и сетевые ошибки влияют на Google Поиск (Google Search Central), задаёт правила. Вот что они означают на практике.

Коды состояния, по семействам

ОтветЧто делает GoogleЭто проблема?
2xxПередаёт содержимое на индексирование. Индексирование не гарантировано.Нет, если страница не пустая (soft 404).
301, 308Сильный сигнал, что целевой адрес и есть новый URL.Нет, если это один переход на страницу с кодом 200.
302, 303, 307Слабый сигнал: исходный URL обычно остаётся каноническим.Да, если перенос постоянный.
Цепочки 3xxПо умолчанию следует максимум за 10 переходами, затем сдаётся.Да: каждый переход тратит запрос, а циклы никогда не разрешаются.
404, 410, другие 4xx (кроме 429)Считает содержимое несуществующим, со временем удаляет проиндексированные URL и сканирует их реже.Только если страница должна существовать.
401, 403Как и другие 4xx. Они не замедляют сканирование.Да, если блокируют Googlebot на публичных страницах.
429Воспринимается как сигнал перегрузки сервера, как 5xx.Да: сканирование замедляется.
5xxЗамедляет сканирование пропорционально числу ошибок. URL, которые продолжают давать сбой, удаляются из индекса.Да, всегда.

На двух деталях спотыкаются многие команды. Во-первых, 401 и 403 не снижают частоту сканирования. Если сервер не справляется, возврат 403 для Googlebot не поможет; Google просит вместо этого временно возвращать 503 или 429. Во-вторых, 404 это не санкция. Это правильный ответ для страницы, которой больше нет.

Сбои robots.txt самые опасные

Документация Google по отчёту «Статистика сканирования» (Справка Search Console) объясняет правило. robots.txt, который отвечает 200 (даже пустой) или 403, 404 либо 410 (файла нет), в порядке. robots.txt, который отвечает 429 или 5xx, считается сбоем, и тогда Google действует осторожно.

Что делает Google, когда robots.txt продолжает давать сбой

Первые 12 часовGoogle полностью прекращает сканирование сайта.
До 30 днейGoogle использует последний успешно загруженный robots.txt.
После 30 днейПоведение зависит от того, доступна ли главная страница.

Источник: Справка Search Console, отчёт «Статистика сканирования»

Значит, правило CDN или файрвол, отдающие 503 по адресу /robots.txt, могут заморозить весь сайт на полдня, даже если все остальные URL работают. В любом расследовании ошибок сканирования проверяйте этот файл первым. Наше руководство по статусу «Заблокировано в файле robots.txt» разбирает обратную проблему, когда файл работает, но блокирует слишком много.

Лимиты сканирования Google, которые стоит запомнить

10переходов переадресации максимум проходят краулеры Google
12 чостановки сканирования, когда robots.txt возвращает 5xx или 429
30 днейGoogle продолжает использовать последний рабочий robots.txt
5%ежедневная доля сбоев DNS, приведённая как пример проблемы с хостом

Источники: Google Search Central, коды состояния HTTP и сетевые ошибки; Справка Search Console, отчёт «Статистика сканирования»

Иллюстрация краулера, который идёт по ссылкам сайта, пока несколько сломанных страниц ремонтируются
Ошибки сканирования это точки, в которых путь краулера по вашему сайту обрывается.

Все типы ошибок сканирования и способы их исправить

Вот полный список того, что вы встретите в Search Console и в краулерах, с причиной и исправлением для каждого случая. Названия соответствуют документации Google по отчёту «Индексирование страниц» (Справка Search Console).

Ошибки DNS

Google не смог преобразовать доменное имя в IP-адрес, или DNS-сервер не ответил. Частые причины: истёкший домен, сбой у DNS-провайдера, неверная запись после миграции или ошибка в настройке DNSSEC. Проверьте запросом из-за пределов вашей сети:

dig +short example.com A
dig +short www.example.com CNAME
dig example.com +dnssec

Исправление: поправьте записи, снижайте TTL перед любой миграцией и используйте DNS-провайдера с резервированием. Если существуют и example.com, и www.example.com, оба должны разрешаться, даже если один только переадресует.

Ошибки подключения к серверу и 5xx

Сервер не ответил вовремя, закрыл соединение или ответил кодом 500, 502, 503 или 504. Типичные причины: перегруженная база данных, процесс PHP или Node, падающий под нагрузкой, тайм-аут обратного прокси, обновление плагина или файрвол, ограничивающий ботов. Посмотрите на распределение по времени: ошибки в один и тот же час каждую ночь часто указывают на резервное копирование или задачу cron.

Исправление: изучите журнал ошибок сервера в моменты, указанные Google, увеличьте тайм-ауты или число рабочих процессов, кэшируйте тяжёлые страницы и убедитесь, что защита от ботов пропускает проверенный Googlebot. Для плановых работ возвращайте 503 с заголовком Retry-After, а не страницу с кодом 200 и надписью «скоро вернёмся»:

HTTP/1.1 503 Service Unavailable
Retry-After: 3600

404 и 410 (Не найдено)

Страница не существует. Это нормально, если её удалили намеренно и на неё ничего не ссылается. Это проблема, если у URL всё ещё есть обратные ссылки, трафик или внутренние ссылки, или если страница должна существовать, а её сломал деплой.

Исправление: если содержимое переехало, поставьте одну 301 на ближайший аналог. Если оно исчезло навсегда, оставьте 404 или используйте 410 и удалите внутренние ссылки и записи в карте сайта, которые на него ведут. Никогда не переадресуйте все 404 на главную: Google обычно считает такие случаи soft 404.

Soft 404

Сервер отвечает 200, но страница выглядит пустой или сообщает «не найдено»: пустая категория, страница поиска без результатов, товар не в наличии без содержимого. Google тратит на неё запрос и ничего не получает. Мы подробно разбираем это в руководстве по ошибкам soft 404.

401, 403 и другие 4xx

Googlebot никогда не отправляет учётные данные, поэтому 401 или 403 на публичной странице означает, что её блокирует ваш сервер или слой защиты. Частые виновники: пароль тестовой среды, забытый на рабочем сайте, правило WAF, блокировка по странам или защита от хотлинкинга, применённая к HTML. Исправляйте правило, а не симптом, и проверяйте инструментом проверки URL в Search Console.

Ошибки переадресации

Google сообщает об ошибке переадресации, когда встречает цикл, слишком длинную цепочку, URL длиннее допустимого или неверный либо пустой URL в цепочке. Классический случай после миграции: http на https, затем на www, затем на завершающий слеш, затем на новый путь. Четыре перехода там, где хватило бы одного. Наше полное руководство по SEO-переадресациям объясняет, как их объединить.

Совет

Вставьте подозрительный URL в бесплатный инструмент проверки переадресаций Sorank: он проходит всю цепочку, показывает каждый переход и его код состояния и подсказывает, где находится цикл или лишний переход.

Тайм-ауты, обрезанные ответы и слишком тяжёлые страницы

Некоторые ошибки вообще не показывают код состояния. Страница начинает загружаться и останавливается, или она настолько тяжёлая, что краулер читает лишь её часть. Краулеры Google читают ограниченное число байт на файл, поэтому страница, раздутая встроенными скриптами или изображениями в base64, может потерять содержимое внизу. Проверяйте тяжёлые шаблоны инструментом проверки размера страницы.

Все способы найти ошибки сканирования: сравнение

Ни один инструмент не показывает все ошибки сканирования. Каждый метод видит проблему под своим углом, и серьёзный аудит сочетает как минимум два.

Метод 1: Search Console, отчёт «Статистика сканирования»

Принцип: Google показывает собственные запросы сканирования за последние 90 дней, сгруппированные по ответу, типу файла, цели и типу Googlebot, а также статус хоста для DNS, сервера и robots.txt. Когда использовать: всегда и в первую очередь для ошибок сайта. Преимущества: это истина из первых рук, от самого Google. Ограничения: только для ресурсов корневого уровня, примеры выборочные, и Google говорит, что сайтам меньше тысячи страниц он редко нужен. Пример: всплеск ответов «тайм-аут страницы» каждое воскресенье в 3 часа ночи, совпадающий с резервным копированием базы данных.

Страница Справки Search Console об отчёте «Статистика сканирования»
Документация Google по отчёту «Статистика сканирования», где объясняется статус хоста для DNS, сервера и robots.txt.

Метод 2: Search Console, отчёт «Индексирование страниц» и проверка URL

Принцип: перечисляет известные Google URL и причины, по которым они не проиндексированы, например «Ошибка сервера (5xx)», «Ошибка переадресации», «Не найдено (404)» или «Soft 404». Когда использовать: для сортировки ошибок URL и проверки исправлений. Преимущества: привязан к страницам, которые Google действительно пытался загрузить. Ограничения: отчёты запаздывают на несколько дней, списки примеров ограничены, и он смешивает ошибки сканирования с решениями об индексировании. Пример: 300 URL в разделе «Ошибка переадресации», и у всех одинаковый старый префикс /blog/.

Метод 3: Десктопный или облачный краулер

Принцип: инструмент вроде Screaming Frog сканирует сайт так, как это сделал бы бот: идёт по ссылкам с главной и записывает каждый код состояния, цепочку переадресаций и битую ссылку. Когда использовать: до и после миграции, редизайна или крупного деплоя, а на больших сайтах ежемесячно. Преимущества: мгновенно, полно для страниц со ссылками, показывает, где находится каждая битая ссылка. Ограничения: не знает, что на самом деле запрашивал Google, пропускает страницы-сироты, а ваш сервер может обращаться с ним иначе, чем с Googlebot. Наше руководство по настройке Screaming Frog проводит через полный аудит.

Страница продукта Screaming Frog SEO Spider
Screaming Frog SEO Spider сканирует сайт как бот и показывает каждый код состояния, цепочку переадресаций и битую ссылку.

Метод 4: Анализ серверных логов

Принцип: журналы доступа фиксируют каждый запрос, включая запросы Googlebot, Bingbot, GPTBot, ClaudeBot и PerplexityBot, с точным кодом состояния и временем ответа. Когда использовать: на больших сайтах, после необъяснимого падения трафика и чтобы увидеть, что посещают AI-краулеры. Преимущества: реальные запросы, реальные коды, без выборки, все боты. Ограничения: нужен доступ к логам и немного скриптов; необходимо проверять, что «Googlebot» действительно Google. Наше руководство по анализу логов для SEO идёт шаг за шагом. Быстрый первый взгляд:

# Запросы Googlebot, которые не вернули 200, 301 или 304, самые частые сверху
grep -i "googlebot" access.log | awk '$9 !~ /^(200|301|304)$/ {print $9, $7}' | sort | uniq -c | sort -rn | head -50

Метод 5: Точечные проверки отдельных URL

Принцип: проверяйте по одному URL через curl или бесплатный онлайн-инструмент. Когда использовать: чтобы подтвердить исправление или проверить ключевую страницу после деплоя. Преимущества: мгновенно и точно. Ограничения: не масштабируется. Используйте user-agent Googlebot, чтобы поймать правила, по-другому обращающиеся с ботами:

curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page/
curl -sIL https://example.com/old-page/ | grep -iE "^(HTTP|location)"
МетодВидит ошибки сайтаВидит ошибки URLРеальные данные GooglebotВидит AI-краулеровЛучше всего для
Статистика сканированияДаВыборочноДаНетЗдоровье хоста
Индексирование страницЧастичноДаДаНетСортировка и проверка
Краулер (Screaming Frog...)НетДа, страницы со ссылкамиНетНетПоиск битых ссылок у источника
Серверные логиЧастичноДаДаДаБольшие сайты, первопричины
Проверка одного URLНетПо одномуНетНетПодтверждение исправлений

5xx-ошибки: читайте код состояния, чтобы найти уровень, который сломался

Статус 5xx означает, что сервер не смог обработать запрос, который выглядел корректным. Google в ответ снижает частоту сканирования, и снижает сильнее, когда больше ваших URL возвращают ошибки. Google какое-то время сохраняет уже проиндексированные URL, но удаляет те, которые постоянно возвращают ошибку сервера. Короткий всплеск пережить можно: Google постепенно снова повышает частоту сканирования, как только ваш сервер начинает отвечать кодами 2xx. Долгая серия ошибок как раз и портит индекс.

Код показывает, какой уровень вышел из строя

Каждый код 5xx указывает на свою часть стека. Таблица даёт первое место, куда стоит посмотреть для каждого из них.

КодЧто обычно означаетЧто смотреть в первую очередь
500Приложение дало сбой при обработке запросаЖурнал ошибок приложения на точное время запроса
502Прокси или CDN получил некорректный ответ от приложения, часто из-за падения или перезапускаПерезапуски и время работы процесса приложения
503Сервис перегружен, ограничен по частоте запросов или находится на обслуживанииГрафики нагрузки, история развёртываний и окна техобслуживания
504Прокси перестал ждать ответа от приложенияМедленные запросы к базе данных и настройки таймаута прокси
429Ограничитель частоты сообщает, что запросов слишком многоПравила ограничения частоты и то, распространяются ли они на подтверждённого Googlebot

Сопоставьте временные метки Google с вашими логами

Статистика сканирования показывает дни и часы, когда Google столкнулся с ошибками (наше руководство по статистике сканирования объясняет каждый график). Серверный журнал показывает, что происходило в эти моменты. Отфильтруйте запросы Googlebot и подсчитайте ответы 5xx по часам:

grep -i 'googlebot' access.log | awk '$9 ~ /^5/ {print substr($4,2,14), $9}' | sort | uniq -c

Каждая строка результата: это час, код состояния и количество. Скопление в один и тот же час каждую ночь обычно указывает на резервное копирование, задание cron или запланированный импорт. Ошибки, разбросанные по всему дню, чаще говорят о нагрузке, поэтому решение: мощности или кэширование, а не одна конкретная ошибка. Более глубокий метод описан в нашем руководстве по анализу файлов логов.

Оцените, чем обходится 5xx, прежде чем паниковать

Google снижает сканирование пропорционально числу URL, которые возвращают ошибки. Сломанный шаблон, затрагивающий несколько URL, стоит вам немного времени сканирования. Сбой базы данных, который ломает каждую страницу, обходится очень дорого, и его нужно чинить в первую очередь.

Ответ 429 действует так же, как 5xx, потому что Google воспринимает его как перегруженный сервер. Если ваш ограничитель или защита от ботов отдают Googlebot код 429, вы платите за это временем сканирования. В документации Google не упоминается заголовок Retry-After. Продолжайте отправлять его людям и API-клиентам, но не рассчитывайте, что Googlebot подождёт указанное вами время.

4xx-ошибки: выясните, откуда они берутся, прежде чем их исправлять

Статус 4xx означает, что сервер отклонил запрос из-за чего-то на стороне клиента: URL не существует, доступ запрещён или адрес составлен неверно. Google обрабатывает все коды 4xx, кроме 429, одинаково. Он перестаёт использовать содержимое по этому URL и удаляет URL из индекса, если тот был проиндексирован. Прежде чем трогать 4xx, выясните, откуда приходит запрос, потому что исправление часто находится в одном месте: в ссылке, шаблоне или правиле переадресации.

Найдите источник каждой 4xx в логах

Журнал доступа фиксирует реферер каждого запроса, то есть показывает, какая страница отправила посетителя или бота на этот URL. Подсчитайте ответы 4xx по путям и по рефереру:

awk '$9 ~ /^4/ {print $9, $7}' access.log | sort | uniq -c | sort -rn | head -20
awk '$9 ~ /^4/ {print $11, $7}' access.log | sort | uniq -c | sort -rn | head -20

Читайте столбец реферера так:

  • Реферер на вашем домене означает, что одна из ваших страниц ссылается на мёртвый URL. Исправьте ссылку или шаблон, который её выводит. Это самое ценное исправление, потому что оно в ваших руках. Наше руководство по исправлению битых ссылок описывает весь метод.
  • Реферер с другого сайта означает, что обратная ссылка ведёт на URL, который больше не работает. Если ссылка стоит того, чтобы её сохранить, добавьте одну 301-переадресацию на ближайшую рабочую страницу. Если нет, оставьте 404 как есть.
  • Пустой реферер или путь, который вы никогда не публиковали, например страница входа на статическом сайте, обычно означает, что адрес перебирал бот или сканер. Пусть он возвращает 404, и не тратьте на это время.

Ловите всплески 4xx сразу после каждого релиза

Релиз, который переименовывает маршрут, меняет slug или перестраивает шаблон, часто в тот же день вызывает волну 404. Выгрузите количество ответов 4xx по дням за неделю до выкладки и за неделю после. Рост, сосредоточенный в одной папке, указывает прямо на изменение. Добавьте переадресацию со старого URL на новый в том же релизе, а не в отдельной задаче позже. При полном переносе см. наш чек-лист SEO-миграции.

Совет

Не заменяйте отсутствующую страницу ответом 200, который показывает короткое сообщение или пустой список. Google может счесть её soft 404, и тогда загрузка потратится впустую, а взамен вы ничего не получите.

Пошагово: исправляйте ошибки сканирования в правильном порядке

Это метод, которым пользуемся мы. Он идёт от ошибок, способных остановить весь сайт, к тем, что лишь немного тратят сканирование впустую.

Метод исправления ошибок сканирования в 6 шагов

  1. Проверьте статус хостаОткройте «Статистику сканирования» и посмотрите DNS, подключение к серверу и robots.txt за последние 90 дней.
  2. Выгрузите и сгруппируйте ошибки URLВыгрузите каждую причину из «Индексирования страниц» и сгруппируйте URL по папке или шаблону.
  3. Отсортируйте по ценностиОставьте URL с трафиком, обратными ссылками, внутренними ссылками или записями в карте сайта.
  4. Исправьте причину на уровне шаблонаОдно правило, одна карта переадресаций или одна настройка сервера исправляют сотни URL.
  5. Очистите сигналыОбновите внутренние ссылки и карты сайта, чтобы они вели на конечные URL с кодом 200.
  6. Проверьте и наблюдайтеНажмите «Проверить исправление», затем каждую неделю следите за «Статистикой сканирования» и логами.

Шаг 1: сначала проверьте хост

В Search Console откройте «Настройки», затем «Статистика сканирования», затем «Статус хоста». Зелёный цвет означает отсутствие серьёзных проблем за 90 дней. «Недавняя проблема» означает серьёзную проблему за последнюю неделю: отложите всё остальное. Нажмите на каждую категорию, чтобы увидеть долю сбоев по дням, затем сопоставьте плохие дни с историей хостинга, CDN и деплоев.

Шаг 2: выгрузите и сгруппируйте по шаблону

Откройте «Индексирование», затем «Страницы», и выгрузите каждую причину ошибки. Не исправляйте URL по одному. Перенесите их в таблицу и извлеките первую папку:

=REGEXEXTRACT(A2, "^https?://[^/]+(/[^/]*/?)")

Сводная таблица по этому столбцу обычно показывает, что большая часть ошибок приходит из двух или трёх шаблонов: закрытой категории блога, параметра фильтра, старого фида товаров.

Шаг 3: отсортируйте по ценности для бизнеса

Для каждого шаблона задайте четыре вопроса. Получает ли он органические клики? Есть ли у него обратные ссылки? Есть ли на него внутренние ссылки? Есть ли он в карте сайта? 404 без всех четырёх признаков может ждать вечно. 404 с обратными ссылками нуждается в 301 уже сегодня. Бесплатный инструмент поиска битых ссылок показывает, какие из ваших страниц всё ещё ссылаются на мёртвые URL.

Шаг 4: устраните первопричину

Исправляйте правила, а не URL. Карта переадресаций в конфигурации сервера лучше, чем 400 переадресаций, добавленных вручную в плагине. Например, в nginx:

map $request_uri $new_uri {
    /old-blog/seo-tips/    /blog-geo-seo/seo-best-practices/;
    /old-blog/sitemaps/    /blog-geo-seo/how-to-create-a-sitemap/;
}
server {
    if ($new_uri) { return 301 $new_uri; }
}

Для 5xx исправьте мощность сервера или ошибку. Для 401 и 403 исправьте правило безопасности. Для soft 404 либо добавьте настоящее содержимое, либо возвращайте настоящий 404.

Шаг 5: очистите внутренние ссылки и карты сайта

Каждая внутренняя ссылка должна вести прямо на URL, который возвращает 200. Каждая запись в карте сайта должна быть каноническим, индексируемым URL с кодом 200. Карта сайта, полная переадресаций и 404, приучает Google доверять ей меньше. Наше руководство о том, как создать карту сайта, объясняет, что в неё должно входить.

Шаг 6: проверьте и наблюдайте

В отчёте «Индексирование страниц» откройте исправленную причину и нажмите «Проверить исправление». Google сначала проверяет выборку, затем остальное; обычно это занимает примерно до двух недель, и проверка останавливается, если хоть один URL всё ещё даёт сбой. Не нажимайте повторно, пока она идёт. Затем заведите еженедельную рутину: «Статистика сканирования» для хоста, логи для всплесков, сканирование после каждого деплоя.

Цепочка переадресаций до и после исправления

До
  • http://site.com/page
  • 301 на https://site.com/page
  • 301 на https://www.site.com/page
  • 301 на https://www.site.com/page/
  • Внутренние ссылки всё ещё ведут на первый URL
После
  • Одна 301 сразу на https://www.site.com/page/
  • Внутренние ссылки обновлены на конечный URL
  • Карта сайта содержит только конечный URL
  • Один запрос вместо четырёх

Частые ошибки: как их заметить и исправить

Ошибка 1: переадресация всех 404 на главную

Что это: плагин или правило, которое отправляет любой отсутствующий URL на /. Как заметить: много URL в разделах «Soft 404» или «Страница с переадресацией», и все они ведут на главную; краулер показывает сотни 301 с одной и той же целью. Как исправить: переадресуйте только на близкий аналог, а остальные пусть возвращают 404 или 410.

Ошибка 2: блокировка Googlebot средствами защиты

Что это: WAF, менеджер ботов или ограничитель частоты, который отдаёт Google 403, 429 или страницу проверки. Как заметить: 403 или 429 в «Статистике сканирования», при том что в вашем браузере страница открывается нормально; логи показывают блокировки по IP. Как исправить: разрешите проверенный Googlebot через обратный DNS или опубликованные Google диапазоны IP, а не доверяйте строке user-agent.

Ошибка 3: хрупкий robots.txt

Что это: robots.txt генерируется приложением и поэтому ломается каждый раз, когда ломается приложение, или отдаётся через правило CDN, которое кэширует 5xx. Как заметить: категория загрузки robots.txt в «Статусе хоста» не зелёная. Как исправить: отдавайте его как статический файл вне приложения и проверяйте инструментом проверки robots.txt.

Ошибка 4: страницы техработ, которые возвращают 200

Что это: страница «Скоро вернёмся», которая отдаётся с кодом 200 на всех URL. Как заметить: после техработ волна soft 404 или дублирующихся заголовков. Как исправить: во время техработ возвращайте 503 с Retry-After и делайте их короткими.

Ошибка 5: использование 403, чтобы замедлить Google

Что это: ответ 403 для Googlebot, когда сервер перегружен. Как заметить: всплески 403, совпадающие с пиками нагрузки. Как исправить: Google говорит, что коды 4xx, кроме 429, не влияют на частоту сканирования. Ненадолго возвращайте 503 или 429 и увеличьте мощность.

Ошибка 6: исправление ошибок по одной

Что это: пролистывать список в Search Console и править каждый URL. Как заметить: та же причина возвращается каждый месяц. Как исправить: группируйте по шаблону, исправьте шаблон или правило, затем запустите проверку один раз.

Ошибка 7: паника из-за безвредных 404

Что это: тратить дни на 404 для спамных URL или давно удалённых страниц без ссылок. Как заметить: у этих URL нет кликов, обратных и внутренних ссылок. Как исправить: оставьте их как есть. Google говорит, что 404 для удалённой страницы не обязательно является проблемой.

Внимание

Никогда не блокируйте URL в robots.txt, чтобы «спрятать» ошибку сканирования. Google больше не увидит 404 или переадресацию, URL может остаться в индексе, а вы потеряете сигнал, который пытались передать.

Ошибки сканирования и краулинговый бюджет

На сайте из нескольких сотен страниц у Google хватает времени на всё, и ошибки сканирования важны в основном для тех страниц, которые они ломают. На больших сайтах (магазины с фильтрами, маркетплейсы, новостные сайты) каждый неудачный или потраченный впустую запрос отнимает время у ваших настоящих страниц. В этом и состоит идея краулингового бюджета.

Как ошибки съедают ресурс сканирования

Из-за 5xx и 429 Google замедляется на всём хосте, так что несколько сломанных шаблонов могут задержать сканирование ваших новых карточек товаров. Цепочки переадресаций стоят по запросу на каждый переход. Soft 404 стоит полной загрузки и ничего не даёт взамен. Исправьте эти три вещи, и тот же бюджет покроет больше полезных страниц.

Причём здесь «Обнаружена, не проиндексирована»

Когда Google находит URL, но откладывает их сканирование, причиной часто оказывается сервер, который он считает ненадёжным. Если вы видите, что растёт число страниц «Страница обнаружена, но не проиндексирована», а в «Статистике сканирования» есть ошибки сервера, сначала исправьте сервер. Оба отчёта рассказывают одну и ту же историю.

Ошибки сканирования для AI-краулеров

Googlebot больше не единственный важный посетитель. GPTBot, OAI-SearchBot, ClaudeBot и PerplexityBot загружают страницы, чтобы обучать модели или отвечать на вопросы в реальном времени. Они обращаются к тому же серверу и страдают от тех же ошибок, с одним отличием: для них нет Search Console.

Что меняется с AI-ботами

Большинство AI-краулеров не выполняют JavaScript, поэтому страница, которая собирает содержимое только в браузере, может выглядеть для них пустой: это своего рода soft 404, который вы никогда не увидите в отчётах Google. Многих из них по умолчанию блокируют сервисы защиты от ботов, часто кодом 403. А поскольку они загружают страницы по запросу, когда пользователь задаёт вопрос, тайм-аут в этот момент означает, что ответ процитирует кого-то другого. Наше руководство по SEO для JavaScript разбирает рендеринг и для поисковых, и для AI-краулеров.

Как за ними следить

Серверные логи единственный надёжный источник. Отфильтруйте по user-agent и посмотрите коды состояния:

grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

Если AI-боты получают 403, которых вы не планировали, исправьте правило. Затем проверьте, цитируют ли они вас на самом деле: отслеживание упоминаний в AI от Sorank показывает, как часто ChatGPT, Gemini, Claude и Perplexity упоминают ваш бренд, и вы видите, изменило ли что-то исправление сканирования.

Ваш чек-лист здоровья сканирования

Проходите этот список после каждой миграции, редизайна или крупного деплоя, а на больших сайтах раз в месяц.

Чек-лист здоровья сканирования

  • Статус хоста зелёный для DNS, подключения к серверу и robots.txt
  • robots.txt отдаётся как статический файл и возвращает 200
  • Нет всплесков 5xx или 429 в «Статистике сканирования» или в логах
  • Файрвол не блокирует проверенный Googlebot и нужных AI-ботов
  • Каждая переадресация это один переход, 301 или 308, на страницу с кодом 200
  • Внутренние ссылки ведут на конечные URL с кодом 200
  • Карты сайта содержат только канонические индексируемые URL с кодом 200
  • 404 с обратными ссылками или трафиком переадресованы на близкий аналог
  • Пустые страницы исправлены или возвращают настоящий 404
  • Техработы возвращают 503 с Retry-After
  • «Проверить исправление» запущено для каждой исправленной причины

Что сделать сегодня

Откройте «Статистику сканирования» и проверьте три строки статуса хоста. Затем запустите бесплатный инструмент проверки индексируемости для пяти самых ценных страниц. Если и там, и там чисто, выгрузите ошибки из «Индексирования страниц» и сгруппируйте их по папкам: у вас появится короткий упорядоченный список исправлений вместо пугающего отчёта.

Когда сканирование в порядке, следующим ограничением становится само содержимое. Оптимизация контента от Sorank переписывает и обновляет ваши существующие страницы в режиме autopilot, чтобы страницы, до которых теперь добирается Google, стоило индексировать и цитировать. Для страниц, которые Google просканировал, но не включил в индекс, прочитайте наше руководство по статусу «Страница просканирована, но пока не проиндексирована».

Часто задаваемые вопросы

Что такое ошибки сканирования в SEO?

Ошибки сканирования это неудачные запросы поисковой системы или AI-краулера: DNS не разрешается, сервер не отвечает вовремя или возвращает 5xx, robots.txt не удаётся загрузить, переадресация зацикливается или страница возвращает код 4xx. Ошибки уровня сайта могут приостановить сканирование всего сайта, а ошибки URL затрагивают только конкретную страницу.

Вредят ли ошибки 404 SEO?

Сами по себе нет. Google говорит, что 404 для страницы, удалённой без замены, не обязательно является проблемой. Проблемой это становится, когда у URL остались обратные ссылки, трафик или внутренние ссылки, и тогда правильное решение это одна 301 на близкий аналог.

Сколько времени нужно Google, чтобы увидеть исправление ошибок сканирования?

После нажатия «Проверить исправление» в отчёте «Индексирование страниц» Search Console проверка обычно занимает примерно до двух недель. Google сначала проверяет выборку URL, затем остальные, и останавливает проверку, если хоть один затронутый URL всё ещё даёт сбой.

Получите бесплатный контент-план на 30 дней

Мы бесплатно анализируем ваших конкурентов, ваш сайт и вашу видимость в ИИ и составляем персональный контент-план.

Наши бесплатные SEO-инструменты

Все наши бесплатные инструменты

Получите бесплатный контент-план на 30 дней

Мы бесплатно анализируем ваших конкурентов, ваш сайт и вашу видимость в ИИ и составляем персональный контент-план.

Темноволосый мужчина с бородой в светло-коричневой рубашке говорит перед микрофоном в студии подкаста или записи.Портрет мужчины с короткими тёмными волосами в белой рубашке и тёмном пиджаке: он смотрит прямо в камеру с нейтральным выражением лица.Мужчина с короткими тёмными волосами, бородой и прозрачными очками в чёрной футболке с белым круглым логотипом стоит перед каменной стеной.Celio fabianoУлыбающаяся молодая женщина с длинными каштановыми волосами в красной кофте и ожерелье на фоне деревьев на улице.Фото профиля Xavier Breull, клиента Sorank
Google
Сплошная жёлтая пятиконечная звезда на прозрачном фоне.Сплошная жёлтая пятиконечная звезда на прозрачном фоне.Сплошная жёлтая пятиконечная звезда на прозрачном фоне.Сплошная жёлтая пятиконечная звезда на прозрачном фоне.Сплошная жёлтая пятиконечная звезда на прозрачном фоне.
5/5
+5,000
пользователей

Отзывы амбициозных основателей

От 0 до 10000 посетителей за 5 месяцев

Celio Fabianomonrobotlavevitre.frGoogleЭлектронная коммерция

От 0 до 5000 визитов за 8 месяцев

Thibault BMsorank.comGoogleПрограммное обеспечение

от 0 до 1104 кликов за 4 месяца

Dominiqueflight-sensations-idf.comGoogleДосуг и авиация

С 0 до 163 кликов за 6 месяцев

Coworking Pariscoworking-paris.frGoogleOffice broker

x92 клика за 7 месяцев

Guide Zanzibarguidezanzibar.comGoogleПутешествия