Учимся читать каждый график отчёта «Статистика сканирования» в
Google Search Console, что он пропускает по сравнению с серверными логами и как исправлять показанное.

На этой странице
Коротко
отчёт «Статистика сканирования» в Google Search Console показывает, как Googlebot запрашивает URL вашего сайта: сколько запросов он отправляет, сколько байт загружает, как быстро отвечает ваш сервер и какие коды статуса получает в ответ. Сначала смотрите статус хоста, затем коды ответов, а потом разбивку по назначению и типу файлов. Отчёт представляет собой сводку, а не журнал, поэтому используйте его, чтобы найти проблему, а затем подтвердите её в серверных логах.
Хотите узнать больше? Спросите
Короткий тест
Кто должен исправить техническую часть сайта?
Наш совет для вас
Проверьте сами в бесплатных инструментах Google
Search Console показывает страницы, которые Google не может прочитать, а PageSpeed Insights проверяет скорость. Многие мелкие проблемы решаются в настройках вашего конструктора сайтов.
Наш совет для вас
Веб-разработчик
Проблема в коде или на сервере: нужен разработчик, который разбирается в SEO. Передайте ему список ошибок из Search Console.
Наш совет для вас
Инструмент для технического аудита
На вашем сайте много страниц: краулер прочитает их все так же, как Google, и выдаст полный список ошибок, страница за страницей.
Наш совет для вас
Автоматический аудит, потом контент
Сайт работает, но посетителей мало: технические проблемы редко бывают причиной. Sorank проверяет сайт, а затем пишет страницы, которые приводят трафик.
Статистика сканирования: взгляд со стороны Google на активность Googlebot на вашем сайте. Она показывает, что делал Googlebot, но не объясняет, почему ваши страницы ранжируются или не ранжируются. Google описывает отчёт как рассчитанный на опытных пользователей, а сайту из меньше тысячи страниц он может быть вообще не нужен. Если у вас небольшой сайт-визитка, можно пропустить его, пока ничего не меняется.

Search Console: один продукт со множеством отчётов. Его публичная страница описывает сканирование и индексирование в целом: карты сайта, проверку URL, покрытие индекса. Статистика сканирования находится в разделе «Настройки», а не в главном меню, поэтому многие никогда её не открывают.
Отчёт есть только у ресурсов уровня корня: ресурса «Домен» или ресурса с префиксом URL, построенного на корне сайта. Ресурс для подпапки, например example.com/blog/, отчёт не получает. Данные охватывают только тот домен, который вы выбрали. Запросы к соседним поддоменам не появляются в отчёте другого поддомена, но представление родительского домена включает все его поддомены. Протоколы http и https учитываются в одном представлении.
Примечание
Если ваш сайт использует языковые поддомены, например en.example.com и de.example.com, откройте каждый по отдельности. У каждого свои данные, и сломанный немецкий поддомен не виден в английском представлении.
Откройте отчёт, если верно одно из следующего: вы публикуете много страниц, вы поменяли структуру URL или хостинг, Googlebot стал заходить на сайт реже, или страницы обнаруживаются, но никогда не индексируются. Сайт, на котором появляется несколько статей в месяц, из отчёта почти ничего не извлечёт, кроме ошибок, а ошибки лучше находить при обычном сканировании сайта.
Откройте свой ресурс, перейдите в «Настройки», найдите «Статистику сканирования» и нажмите «Открыть отчёт». Вверху три графика: общее число запросов на сканирование, общий объём загрузки и средняя продолжительность ответа. Ниже находятся статус хоста и четыре разбивки: ответы при сканировании, тип файла, назначение сканирования и тип Googlebot. Каждая разбивка показывает процент от числа запросов.

Вот что считает каждая часть и как её читать.
| Часть отчёта | Что считает | Как читать |
|---|---|---|
| Общее число запросов на сканирование | Все запросы к вашим URL, успешные или нет, включая неудачные попытки DNS, соединения и циклов перенаправлений. Попытки, заблокированные robots.txt, тоже учитываются. | Резкое падение или скачок: проверьте изменения в robots.txt и структуре URL за те же даты. |
| Общий объём загрузки | Байты, загруженные при сканировании. Кешированный ресурс учитывается только при первом запросе. | Рост байтов при стабильном числе запросов означает, что страницы стали тяжелее. |
| Средняя продолжительность ответа | Среднее время получения каждого ресурса; каждый связанный ресурс учитывается отдельно. | Смотрите на тренд, а не на одно значение. Следите за ним после каждого обновления. |
| Статус хоста | Загрузка robots.txt, разрешение DNS и доступность сервера. Зелёный означает отсутствие значимых проблем за последние 90 дней, жёлтый: проблемы старше недели, красный: проблемы за последнюю неделю. | Любой красный или жёлтый пункт сначала является проблемой сервера или сети, и только потом проблемой SEO. |
| Ответы при сканировании | Доля ответов по типам, по числу запросов. | Следите за долей плохих ответов во времени. Сырое число важно меньше. |
| Тип файла | Доля ответов по типам: HTML, изображение, JavaScript, CSS, PDF, JSON, видео. Считается по числу ответов, а не по байтам. | Показывает, на что Googlebot тратит запросы. Большая доля JavaScript и CSS означает, что страницы зависят от многих ресурсов. |
| Назначение сканирования | Обнаружение (URL, который Google никогда не сканировал) или обновление (повторное сканирование известного URL). | См. раздел про обнаружение и обновление ниже. |
| Тип Googlebot | Smartphone, Desktop, Image, Video, Page resource load, AdsBot, StoreBot и другие. | Для сайта с индексированием по мобильной версии Smartphone должен быть самой большой группой. Внезапный сдвиг стоит проверить. |
Каждая разбивка считает запросы. URL, который Googlebot загружает 50 раз, учитывается 50 раз. Поэтому «40% ответов составляют 301» говорит о том, сколько запросов попадает на перенаправление, а не о том, сколько URL перенаправляются. Чтобы узнать, какие именно URL затронуты, нужны логи. Примеры URL, которые показывает Google, представляют собой выборку, и Google говорит, что она не полная.
Справка Google указывает, что отчёт сейчас учитывает большинство запросов на сканирование, но некоторые запросы могут не учитываться. Там же сказано, что неудачные запросы, которые не доходят до вашего сервера, не появляются в логах. Поэтому отчёт показывает ошибки DNS и соединения, которых ваши логи не видят, и поэтому читать стоит оба источника. Google не сообщает срок хранения графиков, поэтому, если нужна история, сохраняйте собственную копию каждый месяц: скриншот или короткую запись цифр.

Разбивка ответов является той частью отчёта, которая чаще всего приводит к исправлению. Читайте её в таком порядке и остановитесь на первом шаге, который показывает реальную проблему.
Сортировка ответов при сканировании в пять шагов
Google делит ответы на три группы. Эта группировка служит первичным фильтром, а не оценка каждого URL.
Ответ 401 в отчёте считается плохим, но он правилен, если страница за логином, который должен оставаться закрытым. Решайте это для каждого URL. Отчёт показывает, на какую группу смотреть, а что должен возвращать каждый ответ, решаете вы.
Ответ 302 считается хорошим, поэтому доля перенаправлений может выглядеть нормально, при этом всё равно тратя сканирование. В анализе крупного сайта, опубликованном в апреле 2021 года в Search Engine Journal Томеком Рудзки из Onely, 16% запросов уходили на перенаправленные страницы, и автор советовал проверять каждый переход в цепочке.
Вот как вредит цепочка. Допустим, /blog/seo-tips перенаправляет на /blog/seo-tips-2025, который перенаправляет на /blog/seo-tips-guide. Googlebot нужно три запроса, чтобы добраться до контента, и каждая внутренняя ссылка, которая всё ещё ведёт на первый URL, повторяет этот расход. Направьте первый URL сразу на конечный адрес и обновите внутренние ссылки, чтобы они перестали использовать старые пути. Бесплатная проверка перенаправлений проходит цепочку URL шаг за шагом, так что вы видите путь до исправления. Если вы не уверены, должно ли перенаправление быть постоянным, прочитайте наш гид 301 против 302: 301 означает, что переезд постоянный, а 302 означает, что он временный.
Совет
Отсортируйте URL с перенаправлениями по тому, как часто Googlebot запрашивает их в ваших логах. Сначала исправьте пять самых запрашиваемых цепочек. Обычно на них приходится большая часть доли перенаправлений.
Руководство Google для крупных сайтов говорит, что когда сайт отвечает ошибками сервера (5XX) или сигналами ограничения частоты, такими как HTTP 429, Google снижает лимит скорости сканирования. Поэтому всплеск 5XX обходится дороже, чем сами битые URL. Он может замедлить сканирование и ваших работающих страниц. Краулинговый бюджет сайта отчасти зависит от того, насколько хорошо отвечает сервер, и ответы 5XX его уменьшают.
Когда вы видите всплеск 5XX, смотрите, когда он происходит. Ошибки в один и тот же час каждый день указывают на задание резервного копирования, плановый импорт или пик трафика. Ошибки сразу после релиза указывают на релиз. Ошибки, разбросанные по всему дню, указывают на нехватку мощности. У каждого шаблона своё решение, и ни одно из них не решается правкой одной страницы.
Разбивка по назначению сканирования делит запросы на обнаружение, когда Google впервые видит URL, и обновление, когда он повторно сканирует уже известный URL. Соотношение между ними показывает, на что Google тратит время.
Один крупный сайт, один день сканирования
Источник: Томек Рудзки (Onely), Search Engine Journal, апрель 2021. Один сайт примерно на 1 миллион страниц с накоплением URL в статусе «Discovered, currently not indexed».
Тот же анализ сделал полезную грубую проверку. При таком темпе автор оценил, что накопление заняло бы около года на сканирование. Эта цифра представляет собой расчёт одного автора по одному сайту, а скриншоты датированы 2021 годом, поэтому не копируйте её. Метод работает и на ваших данных: разделите число URL, ожидающих обнаружения, на число сканирований обнаружения в день из вашего отчёта. Если результат измеряется месяцами, у вас есть проблема со сканированием, которую нужно решить до публикации новых страниц.
Разбивка по типам файлов считает ответы, а не байты, поэтому она показывает, сколько запросов идёт на каждый тип ресурса, но не то, насколько они тяжёлые. Перенаправления попадают в «Other file type», а неудачные запросы отображаются как «Unknown (Failed)». Растущая доля Unknown (Failed) является сигналом ошибки, а не тип файла, и её нужно разбирать вместе с плохими ответами.
Есть три способа увидеть, что делал Googlebot на вашем сайте: отчёт «Статистика сканирования», серверные логи и инструмент «Проверка URL» в Search Console. Каждый отвечает на свой вопрос, и у каждого есть слепые зоны, которые закрывают два других. Для настоящей проблемы используйте все три.
Принцип: сводка запросов Googlebot по всему ресурсу, которую считает Google. Когда использовать: для трендов, статуса хоста и первичного обзора проблемы. Преимущества: он бесплатный, охватывает ошибки, которые никогда не доходят до вашего сервера, и добавляет назначение и тип Googlebot, которых логи напрямую не дают. Ограничения: это сводка, часть запросов может не учитываться, а примеры URL представляют собой выборку. Пример: доля 5XX три дня растёт на одном хосте. Отчёт показывает дни и хост, а ваши логи показывают URL и часы.
Принцип: сырая запись, которую веб-сервер делает для каждого полученного запроса. Когда использовать: для точных списков URL, кодов статуса по часам и данных, на которых основан тренд в отчёте. Преимущества: полные данные по каждому запросу, дошедшему до сервера, с точным URL и кодом статуса. Ограничения: в них нет запросов, которые не дошли до сервера, user agent можно подделать, а большинство серверов ротируют или удаляют логи по истечении срока. Вот команда, которая считает коды статуса для запросов, определённых как Googlebot, в журнале в формате combined:
grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
Команда ищет строку user agent, а затем считает код статуса, который в формате combined является девятым полем. Если ваш сервер пишет в другом формате, измените номер поля. Результат: таблица количества по кодам статуса, самый частый код сверху.
Внимание
Любой может отправить запрос, который выдаёт себя за Googlebot. Прежде чем действовать по подозрительному всплеску, убедитесь, что IP-адреса принадлежат Google. Google описывает проверку обратного DNS для этого, и её стоит сделать, прежде чем блокировать или перенаправлять что-либо на основании user agent.
Принцип: проверка одного URL, которая показывает, когда Google последний раз его загружал, что получил и проиндексирован ли он. Когда использовать: чтобы подтвердить одно исправление, например то, загрузил ли Google исправленную страницу после изменения. Преимущества: быстро, точно и легко читается для одного URL. Ограничения: один URL за раз, поэтому он не покажет закономерность по всему сайту. В упомянутом выше анализе инструмент показал, что главная страница категории не сканировалась три месяца, и автор использовал его вместо логов для этой страницы.
Отчёт «Статистика сканирования» и серверные логи
| Метод | На какой вопрос отвечает | Охват | Слепая зона |
|---|---|---|---|
| Статистика сканирования | Здоров ли Googlebot и как он ведёт себя в целом? | Весь ресурс, в сводке | Выборка примеров URL, и часть запросов может не учитываться |
| Серверные логи | Какие точные URL получили какой ответ и когда? | Каждый запрос, дошедший до сервера | Неудачные попытки DNS и соединения, а также подделываемые user agent |
| Проверка URL | Когда Google последний раз загружал эту страницу и что получил? | Один URL | Ничего не говорит о остальной части сайта |
Данные за один месяц мало что говорят. Отчёт становится полезным, когда вы сравниваете его с собственной нормой, поэтому ведите короткую запись и просматривайте её в один и тот же день каждого месяца. Это рутина, которая работает для большинства сайтов.
Ежемесячный обзор в шесть шагов
Сигналы, требующие действий в этом месяце
Допустим, вы переносите блог из /old-blog/ в /blog/ с перенаправлениями 301. Сразу после переноса ожидайте роста доли перенаправлений, потому что Googlebot всё ещё запрашивает старые пути. В последующие недели доля должна снижаться по мере того, как Google узнаёт новые URL. Ожидайте и роста доли обнаружения, ведь новые URL для Google новые. Если доля перенаправлений остаётся высокой через несколько недель, ищите цепочки, старые внутренние ссылки или перенаправления, которые вы забыли добавить. Наш гид по исправлению битых ссылок описывает ссылочную часть той же уборки.
Большинство ошибок возникает, когда один график читают как приговор. У каждой из пяти ошибок ниже есть явный признак в отчёте и исправление, которое можно проверить в логах.
Что это: предположение, что больше запросов на сканирование означает лучше SEO. Как заметить: запросы резко растут после релиза, который добавил опции фильтрации или сортировки, а новые URL содержат параметры. Как исправить: проверьте долю обнаружения и шаблоны URL в логах. Исправьте генератор URL: перестаньте ссылаться на URL с параметрами или задайте канонический адрес и закройте от индексирования те, у которых нет поисковой ценности. Большее число лишних запросов означает расход, а не выигрыш.
Что это: смотреть на среднее и пропускать скачки, которые оно скрывает. Как заметить: среднее выглядит ровным, но ваши логи показывают медленные ответы в один и тот же час каждую ночь. Как исправить: сгруппируйте логи по часу и по URL и сопоставьте медленные часы с резервными копиями, импортами и релизами. Исправьте медленное задание или шаблон, затем проверьте среднее снова. Среднее представляет собой линию тренда, а линия тренда не скажет, где начинается замедление.
Что это: предположение, что сайт здоров, потому что он открывается в вашем браузере. Как заметить: статус хоста жёлтый или красный по robots.txt, DNS или соединению, а ваши страницы работают у вас. Googlebot попадает на сайт по другим сетевым путям, и брандмауэр, правило CDN или запись DNS могут его заблокировать, не затрагивая ваш браузер. Как исправить: проверьте, что файл robots.txt загружается с ответом 200, с помощью проверки robots.txt, а затем просмотрите правила брандмауэра и CDN за даты, когда статус стал красным.
Что это: изменение robots.txt, которое снижает запросы на сканирование, за которым следует отчёт, выглядящий спокойнее. Как заметить: общее число запросов резко падает в день изменения robots.txt. Как исправить: спад может быть правильным, если вы заблокировали мусорные пути, но проверьте, что важные разделы по-прежнему сканируются. Посмотрите в логах на разделы, которые важны. Если нужная страница заблокирована, наш гид по статусу заблокировано robots.txt объяснит, как найти правило и что изменить.
Что это: считать хорошо просканированную страницу проиндексированной. Как заметить: Googlebot регулярно запрашивает URL, но его нет в результатах Google. Высокое число сканирований не доказывает, что Google хранит страницу. Как исправить: перейдите от отчёта «Статистика сканирования» к отчётам об индексировании страниц и проверьте статус URL. Наш гид о статусе просканировано, но не проиндексировано объясняет причины, а гид о индексировании в Google описывает проверки по порядку.
| Ошибка | Как заметить | Как исправить |
|---|---|---|
| Общее число запросов как оценка | Запросы растут после появления параметров URL | Прекратите создавать мусорные URL и пересчитайте |
| Только средняя продолжительность ответа | Медленные часы скрыты плоским средним | Группируйте логи по часам и сопоставляйте медленные часы с заданиями |
| Статус хоста проигнорирован | Жёлтый или красный, пока страницы открываются в браузере | Проверьте robots.txt, DNS, брандмауэр и правила CDN |
| Спад сканирования принят за прогресс | Запросы падают в день изменения robots.txt | Убедитесь, что важные разделы по-прежнему сканируются |
| Сканирование перепутано с индексированием | Регулярные сканирования, URL отсутствует в результатах | Проверьте статус индексирования URL |
Панель GEO/SEO в Sorank показывает клики, показы, CTR и позиции из Search Console рядом с визитами, которые присылают ИИ-ассистенты, по данным Google Analytics. Она не показывает запросы Googlebot, поэтому для этой задачи оставьте отчёт «Статистика сканирования». Два инструмента отвечают на разные вопросы: панель показывает, что Google присылает вам, а Статистика сканирования показывает, как Google заходит на ваш сервер.
Совет
Прежде чем тратить время в логах на одну страницу, проверьте, может ли Google вообще её индексировать, с помощью бесплатной проверки индексируемости. Она отвечает на первый вопрос за несколько секунд.
| Что вы видите | Начните с | Затем откройте |
|---|---|---|
| Статус хоста красный или жёлтый | Проверка robots.txt, затем статус DNS и хостинга | Серверные логи за те же даты |
| Доля 5XX растёт | Логи, сгруппированные по часу и URL | Мощность сервера или шаблон, который ломается |
| Высокая доля перенаправлений | Проверка перенаправлений на главных URL | Цепочки перенаправлений и старые внутренние ссылки |
| Много URL обнаружено, мало проиндексировано | Проверка индексируемости на выборке | Наш гид по анализу лог-файлов |
Отчёт «Статистика сканирования»: хороший первый экран. Он подсказывает, какой тип проблемы подозревать и в какие даты. Исправление почти всегда находится в списке URL, а этот список в ваших логах. Начните с отчёта, а потом переходите к URL.
Откройте ресурс, перейдите в «Настройки», выберите «Статистику сканирования» и нажмите «Открыть отчёт». Отчёт есть только у ресурсов «Домен» и ресурсов с префиксом URL на уровне корня, поэтому ресурс для подпапки его не покажет.
Само по себе нет. Общее число учитывает каждый запрос, включая неудачные и заблокированные robots.txt, поэтому оно показывает, сколько Googlebot заходит, а не насколько здоровы эти заходы. Читайте его вместе с кодами ответов и средней продолжительностью ответа.
Не только на неё. Google говорит, что часть запросов может не учитываться, а его примеры URL не полные. Используйте отчёт для трендов и категорий ошибок, а логи для точных URL.
