Краулинговый бюджет: как часто поисковые системы заходят на ваш сайт

Краулинговый бюджет описывает, сколько внимания при сканировании поисковая система уделяет вашему сайту. Googlebot не сканирует все страницы интернета одинаково и постоянно: он делает экономические выбор о том, куда потратить свои ограниченные ресурсы. Краулинговый бюджет, практический результат этого выбора для вашего конкретного домена: набор URL, которые Google может и хочет получить за определённое время.

Google не публикует число вашего краулингового бюджета и не позволяет задать его вручную. Вместо этого, как объясняется в документации Google по краулинговому бюджету, он складывается из двух базовых факторов. Понимание этих факторов, ключ к тому, чтобы влиять на то, насколько полно и как часто сканируются ваши страницы, особенно когда в 2026 году ИИ-краулеры создают дополнительную нагрузку на серверные ресурсы.

Два фактора: лимит скорости сканирования и спрос на сканирование

Лимит скорости сканирования: это максимальное число одновременных соединений, которое Googlebot будет использовать для сканирования вашего сайта, плюс задержка между запросами. Он определяется состоянием вашего сервера. Если сайт отвечает быстро и без ошибок, Google повышает лимит и сканирует активнее. Если сервер замедляется или возвращает ошибки 5xx, Google отступает, чтобы не перегружать вас.

Спрос на сканирование: это то, насколько Google вообще хочет сканировать ваши страницы. Он растёт с популярностью (URL, привлекающие трафик и ссылки), воспринимаемым объёмом (сколько полезных страниц, по мнению Google, у вас есть) и устареванием (страницы, которые, как считает Google, нужно обновить). Крупный, часто обновляемый авторитетный сайт создаёт высокий спрос на сканирование, небольшой статичный сайт создаёт низкий.

Ваш фактический краулинговый бюджет, точка встречи этих двух факторов. Высокая скорость при низком спросе всё равно означает редкое сканирование, а высокий спрос, сдерживаемый медленным сервером, означает пропущенные страницы. Оба рычага важны, и они взаимодействуют с общим следом вашего сканирования.

Кому на самом деле стоит беспокоиться о краулинговом бюджете

Большинству сайтов вообще не нужно думать о краулинговом бюджете. Если у вас несколько сотен или несколько тысяч страниц, а сервер достаточно быстрый, Google без труда просканирует всё важное. Тратить силы на оптимизацию краулингового бюджета для небольшого сайта обычно бесполезно.

Google прямо адресует свои рекомендации трём группам: крупным сайтам с миллионом и более уникальных страниц, которые меняются как минимум раз в неделю, средним и крупным сайтам с 10000 и более уникальных страниц, которые меняются ежедневно, и любым сайтам, у которых значительная доля URL в Search Console отображается как «Обнаружена, но пока не проиндексирована». Если вы входите в одну из этих групп, краулинговый бюджет становится реальным ограничением, которое напрямую определяет, какие страницы индексируются и насколько свежими остаются.

Как понять, что краулинговый бюджет является проблемой

Самый ясный сигнал находится в Google Search Console. Откройте отчёт «Статистика сканирования», чтобы увидеть, сколько запросов Googlebot делает в день, среднее время ответа и любые ошибки доступности. Большое число запросов, потраченных на малоценные URL, или растущее время ответа указывает на неэффективность.

Следите в отчёте «Страницы» за статусом «Обнаружена, но пока не проиндексирована». Когда Google нашёл URL, но не просканировал его, ваши важные страницы могут стоять в очереди за мусором. Самый точный метод, анализ логов сервера: он показывает, какие именно URL запрашивает Googlebot и как часто, и выявляет, куда на самом деле уходит ваш бюджет и куда вы хотите его направить.

Что расходует краулинговый бюджет впустую

Главные потери предсказуемы. Фасетная навигация и параметры URL могут порождать почти бесконечные комбинации отфильтрованных и отсортированных страниц, каждая из которых является уникальным URL, который Googlebot может попытаться просканировать. Идентификаторы сессий в URL создают такой же взрыв дублей. Каждый такой впустую потраченный запрос, запрос, не потраченный на настоящую страницу.

Другие частые источники потерь: длинные цепочки редиректов, мягкие страницы 404, которые возвращают статус 200 для отсутствующего контента, дублированный контент на нескольких URL, страницы с бесконечной прокруткой или календари, генерирующие бесконечные ссылки, и устаревшие карты сайта со ссылками на несуществующие URL. Каждый из этих факторов расходует ресурс сканирования, который должен идти на ваш новейший продукт, статью или посадочную страницу и на лучшую индексацию важных для вас страниц.

Как оптимизировать краулинговый бюджет

Начните с блокировки того, что Google не должен сканировать. Используйте файл robots.txt, чтобы запретить фасетные параметры, внутренние результаты поиска и другие малоценные шаблоны URL. Google отмечает, что здесь подходит именно robots.txt, а не noindex: страницу с noindex всё равно нужно просканировать, чтобы прочитать директиву, а это расходует бюджет, тогда как запрещённый путь пропускается.

Затем наведите порядок в кодах ответа. Возвращайте 404 или 410 для навсегда удалённых страниц, чтобы Google перестал их запрашивать. Объединяйте дублированный контент с помощью канонических тегов и устраняйте цепочки редиректов, направляя ссылки сразу на конечный URL. Каждое исправление возвращает запросы страницам, которые их заслуживают.

Наконец, поддерживайте точность вашей XML-карты сайта с честными датами lastmod и повышайте скорость сервера, чтобы Google поднял лимит скорости сканирования. Более быстрый сайт сканируется полнее при прочих равных.

Краулинговый бюджет и ИИ-краулеры в 2026 году

Googlebot больше не единственный краулер, борющийся за внимание вашего сервера. ИИ запускают собственных ботов, включая GPTBot и OAI-SearchBot от OpenAI, ClaudeBot от Anthropic и PerplexityBot, чтобы собирать и обновлять контент, который они цитируют в ответах. Эти краулеры потребляют реальную пропускную способность и ресурсы сервера.

Данные серверов за 2025 год показали резкий рост трафика ИИ-краулеров и поисковых краулеров: у ряда ботов он вырос на сотни процентов за год. Практический вывод: та же работа над состоянием и эффективностью сайта, которая защищает ваш краулинговый бюджет Google, защищает и производительность для ИИ-краулеров. Быстрый сервер и чистая структура URL помогают каждому боту, от Googlebot до систем, на которых работает ИИ-поиск, тратить ограниченное время сканирования на страницы, которые стоит получать.

Краулинговый бюджет и индексация: частая путаница

Сканирование и индексация, разные этапы, и их смешивание ведёт к напрасным усилиям. Краулинговый бюджет определяет, получает ли Google URL и как часто. Индексация, отдельное решение о том, стоит ли сохранять просканированную страницу и показывать её в результатах. Страница может быть просканирована, а затем намеренно не проиндексирована, потому что Google счёл её малоценной.

Это важно для диагностики. Если страница обнаружена, но не просканирована, это проблема краулингового бюджета или обнаружения, и применимы описанные выше исправления. Если страница просканирована, но не проиндексирована, проблема обычно в качестве контента, слабом контенте или дублировании, и никакая оптимизация сканирования её не решит. Определите, на каком этапе сбой, прежде чем действовать.

Оптимизация краулингового бюджета по типам сайтов: с чего начать?

Оптимизация краулингового бюджета начинается с типа сайта, который вы ведёте, потому что каждый тип расходует сканирование впустую по-своему. Согласно руководству Google для крупных сайтов, эта тема касается в основном сайтов с очень большим числом страниц или страниц, которые меняются очень часто; для небольшого сайта гораздо важнее качество контента и внутренние ссылки.

Какой бы ни был тип, следуйте одному порядку: сначала уберите потери, затем сделайте важные страницы более достижимыми, затем через несколько недель проверьте эффект в отчёте «Статистика сканирования». Сделать страницы более достижимыми, в основном значит заняться внутренней перелинковкой: страница, на которую ссылаются несколько релевантных статей, обнаруживается и пересканируется быстрее, чем страница-сирота. Sorank автоматически добавляет такие ссылки при каждой публикации статьи, что сохраняет связь нового контента с остальным сайтом.

Заключение

Краулинговый бюджет: это число URL, которые поисковая система может и хочет просканировать на вашем сайте за определённый период; он определяется лимитом скорости сканирования (состояние вашего сервера) и спросом на сканирование (ваша популярность, объём и свежесть). Он действительно важен для крупных сайтов от 10000 страниц и для любых сайтов с множеством URL со статусом «обнаружена, но не проиндексирована», а для небольших сайтов в основном не проблема. Чтобы оптимизировать его, блокируйте малоценные URL в robots.txt, исправляйте коды ответа и цепочки редиректов, устраняйте дубли, поддерживайте точность карты сайта и ускоряйте сервер. В 2026 году эта же гигиена сохраняет эффективность и для ИИ-краулеров. Запустите аудит GEO и SEO в Sorank, чтобы найти потери при сканировании, мешающие вашей индексации.