Crawl budget: jak často vyhledávače navštěvují váš web

Crawl budget popisuje, kolik pozornosti vyhledávač věnuje procházení vašeho webu. Googlebot neprochází všechny stránky internetu stejně ani neustále; dělá ekonomická rozhodnutí o tom, kam vynaložit své omezené zdroje. Crawl budget je praktický výsledek těchto rozhodnutí pro vaši konkrétní doménu: soubor URL, které Google může stáhnout a chce je stáhnout v daném časovém okně.

Google nezveřejňuje číslo vašeho crawl budgetu ani vám neumožňuje ho nastavit ručně. Místo toho dokumentace Googlu ke crawl budgetu vysvětluje, že vzniká ze dvou základních faktorů. Pochopení těchto faktorů je klíčem k tomu, jak důkladně a jak často se vaše stránky procházejí, zvlášť když AI crawlery v roce 2026 přidávají tlak na serverové zdroje.

Dva faktory: limit kapacity procházení a poptávka po procházení

Limit kapacity procházení je maximální počet souběžných spojení, která Googlebot použije k procházení vašeho webu, plus prodleva mezi jednotlivými stahováními. Určuje ho zdravotní stav vašeho serveru. Pokud váš web reaguje rychle a bez chyb, Google limit zvýší a prochází agresivněji. Pokud server zpomalí nebo vrací chyby 5xx, Google ustoupí, aby vás nepřetěžoval.

Poptávka po procházení je míra, s jakou Google chce vaše stránky vůbec procházet. Roste s popularitou (URL, které přitahují návštěvnost a odkazy), s vnímaným inventářem (kolik užitečných stránek Google u vás předpokládá) a se zastaralostí (stránky, u kterých Google věří, že potřebují obnovu). Velký, často aktualizovaný a autoritativní web generuje vysokou poptávku; malý, statický web generuje nízkou.

Váš skutečný crawl budget je průsečík těchto dvou faktorů. Vysoká kapacita při nízké poptávce stále znamená řídké procházení a vysoká poptávka brzděná pomalým serverem znamená vynechané stránky. Obě páčky mají význam a navzájem spolu souvisejí s vaší celkovou stopou procházení webu.

Kdo se crawl budgetem skutečně musí zabývat

Většina webů se crawl budgetem vůbec nemusí zabývat. Pokud máte několik stovek nebo několik tisíc stránek a váš server je přiměřeně rychlý, Google projde všechno důležité bez obtíží. Vynakládat úsilí na optimalizaci crawl budgetu u malého webu je obvykle zbytečné.

Google své pokyny výslovně cílí na tři skupiny: velké weby s jedním milionem nebo více unikátních stránek, které se mění alespoň jednou týdně, střední až velké weby s 10.000 nebo více unikátními stránkami, které se mění denně, a každý web, kde velký podíl URL figuruje jako Zjištěno, zatím neindexováno v Search Console. Pokud spadáte do některé z těchto skupin, crawl budget se stává skutečným omezením, které přímo řídí, jaké stránky se zaindexují a jak čerstvé zůstanou.

Jak poznat, že je crawl budget problém

Nejjasnější signál najdete v Google Search Console. Otevřete přehled Statistiky procházení a uvidíte, kolik požadavků Googlebot denně odešle, průměrnou dobu odezvy a případné chyby dostupnosti. Vysoký počet požadavků věnovaných méně cenným URL nebo rostoucí doby odezvy ukazují na neefektivitu.

Sledujte přehled Stránky, zda se neobjevuje stav Zjištěno, zatím neindexováno. Když Google URL našel, ale neprohledal ji, vaše důležité stránky mohou čekat ve frontě za nepodstatným obsahem. Nejpřesnější metodou je analýza serverových logů: ukáže přesně, které URL Googlebot stahuje a jak často, a odhalí, kam váš crawl budget skutečně míří oproti tomu, kam byste ho chtěli nasměrovat.

Co crawl budget plýtvá

Největší úniky jsou předvídatelné. Fasetová navigace a parametry v URL mohou vytvořit téměř nekonečné kombinace filtrovaných a řazených stránek, každou s jedinečnou URL, kterou se Googlebot může pokusit prohledat. Identifikátory relace v URL vytvářejí stejnou explozi duplicit. Každé takové zbytečné stažení je stažení, které nepřipadne skutečné stránce.

Mezi další časté plýtvače patří dlouhé řetězce přesměrování, soft 404 stránky, které vracejí stav 200 u chybějícího obsahu, duplicitní obsah na více URL, stránky s nekonečným posouváním nebo kalendáře generující nekonečné odkazy a zastaralé mapy webu odkazující na neexistující URL. Každý z nich spotřebovává kapacitu procházení, která by měla směřovat k vašemu nejnovějšímu produktu, článku nebo přistávací stránce a k lepší indexaci stránek, na kterých vám záleží.

Jak crawl budget optimalizovat

Začněte blokováním toho, co Google procházet nemá. Pomocí souboru robots.txt zakažte fasetové parametry, výsledky interního vyhledávání a další vzorce URL s nízkou hodnotou. Google upozorňuje, že správným nástrojem je tu robots.txt, nikoli noindex: stránka s noindex se musí nejdřív prohledat, aby se přečetla, takže spotřebuje crawl budget, zatímco zakázaná cesta se přeskočí.

Dále vyčistěte stavové kódy. Pro trvale odstraněné stránky vracejte 404 nebo 410, aby Google přestal o ně žádat. Duplicitní obsah sjednoťte pomocí kanonických značek a odstraňte řetězce přesměrování tím, že odkazy budete směřovat rovnou na konečnou URL. Každá oprava uvolní stažení pro stránky, které si je zaslouží.

Nakonec udržujte svou XML mapu webu přesnou s poctivými daty lastmod a zrychlete server, aby Google zvýšil limit kapacity procházení. Rychlejší web je při jinak stejných podmínkách procházen důkladněji.

Crawl budget a AI crawlery v roce 2026

Googlebot už není jediný crawler, který se přetahuje o pozornost vašeho serveru. AI firmy nasazují vlastní boty, včetně GPTBot a OAI-SearchBot od OpenAI, ClaudeBot od Anthropic a PerplexityBot, které sbírají a obnovují obsah, jejž citují v odpovědích. Tito crawleři spotřebovávají skutečnou šířku pásma a výpočetní kapacitu serveru.

Serverová data z roku 2025 ukázala strmý nárůst provozu AI a vyhledávacích crawlerů, přičemž některé boty rostly meziročně o stovky procent. V praxi platí, že stejná práce na zdraví a efektivitě webu, která chrání váš crawl budget u Googlu, chrání i výkon pro AI crawlery. Rychlý server a čistá struktura URL pomáhají každému botovi, od Googlebotu po enginy poháněné AI vyhledáváním, vynaložit omezené procházení na stránky, které stojí za stažení.

Crawl budget versus indexace: častá záměna

Procházení a indexace jsou odlišné kroky a jejich záměna vede k plýtvání úsilím. Crawl budget určuje, zda a jak často Google URL stáhne. Indexace je samostatné rozhodnutí, zda prohledanou stránku stojí za uložení a zobrazování ve výsledcích. Stránka může být prohledána a pak záměrně ponechána neindexovaná, protože Google ji posoudil jako málo hodnotnou.

To je důležité pro diagnostiku. Pokud je stránka Zjištěno, ale neprohledáno, jde o problém crawl budgetu nebo objevování a platí výše uvedené opravy. Pokud je stránka Prohledáno, zatím neindexováno, bývá příčinou obvykle kvalita obsahu, tenký obsah nebo duplicita a žádná optimalizace procházení to neopraví. Než začnete jednat, zjistěte, ve které fázi selhávání je.

Optimalizace crawl budgetu podle typu webu: kde začít?

Optimalizace crawl budgetu začíná typem webu, který provozujete, protože každý typ plýtvá procházením po svém. Podle průvodce Googlu pro velké weby se téma týká hlavně webů s velmi velkým počtem stránek nebo stránek, které se mění velmi často; u malého webu jsou mnohem důležitější kvalita obsahu a interní odkazy.

Ať je typ webu jakýkoli, postupujte stejně: nejdřív odstraňte plýtvání, pak zpřístupněte důležité stránky a výsledek ověřte v přehledu Statistiky procházení za několik týdnů. Zpřístupnění stránek znamená hlavně interní propojení: stránka odkazovaná z několika relevantních článků je objevena a znovu prohledána rychleji než osamocená stránka. Sorank tyto odkazy přidává automaticky při každém publikování článku, takže nový obsah zůstává propojený se zbytkem webu.

Závěr

Crawl budget je počet URL, které může vyhledávač na vašem webu v daném čase prohledat a zároveň chce, určený limitem kapacity procházení (zdravím vašeho serveru) a poptávkou po procházení (vaší popularitou, inventářem a čerstvostí). Je to skutečný problém u velkých webů s 10.000 nebo více stránkami a u každého webu s mnoha URL ve stavu Zjištěno, zatím neindexováno, a u malých webů jde z velké části o nepodstatnou věc. Pro jeho optimalizaci zablokujte URL s nízkou hodnotou v robots.txt, opravte stavové kódy a řetězce přesměrování, odstraňte duplicity, udržujte mapu webu přesnou a zrychlete server. V roce 2026 stejná hygiena udržuje efektivní i AI crawlery. Spusťte audit GEO a SEO v nástroji Sorank, který najde plýtvání procházením, jež brzdí vaši indexaci.