Crawl-budget: hur ofta sökmotorer besöker din webbplats

Crawl-budget beskriver hur mycket crawl-uppmärksamhet en sökmotor avsätter för din webbplats. Googlebot crawlar inte alla sidor på internet lika mycket eller hela tiden. Den gör ekonomiska val om var den lägger sina begränsade resurser. Crawl-budget är det praktiska resultatet av dessa val för just din domän: de webbadresser som Google kan hämta och vill hämta under en viss tidsperiod.

Google publicerar inget tal för din crawl-budget och låter dig inte ställa in den manuellt. I stället förklarar Googles dokumentation om crawl-budget att den uppstår av två underliggande faktorer. Att förstå dem är nyckeln till att påverka hur grundligt och hur ofta dina sidor crawlas, särskilt när AI-crawlers lägger nytt tryck på serverresurserna 2026.

De två faktorerna: crawlkapacitet och crawl-efterfrågan

Gränsen för crawlkapacitet är det största antalet samtidiga anslutningar som Googlebot använder för att crawla din webbplats, plus fördröjningen mellan hämtningarna. Den styrs av din servers hälsa. Om din webbplats svarar snabbt och utan fel höjer Google gränsen och crawlar mer aggressivt. Om din server saktar ner eller returnerar 5xx-fel backar Google för att inte överbelasta den.

Crawl-efterfrågan är hur gärna Google vill crawla dina sidor från början. Den stiger med popularitet (webbadresser som lockar trafik och länkar), upplevt utbud (hur många användbara sidor Google tror att du har) och inaktualitet (sidor som Google bedömer behöver uppdateras). En stor, ofta uppdaterad och auktoritativ webbplats skapar hög crawl-efterfrågan. En liten, statisk webbplats skapar låg efterfrågan.

Din faktiska crawl-budget är skärningspunkten mellan de två. Hög kapacitet med låg efterfrågan innebär ändå lite crawlning, och hög efterfrågan som strypts av en långsam server innebär missade sidor. Båda faktorerna spelar roll, och de samverkar med din totala crawlning.

Vem som faktiskt behöver oroa sig för crawl-budget

De flesta webbplatser behöver inte tänka på crawl-budget alls. Om du har några hundra eller några tusen sidor och din server är rimligt snabb kommer Google att crawla allt viktigt utan problem. Att lägga tid på crawl-budgetoptimering för en liten webbplats är oftast bortkastad möda.

Google riktar sin vägledning särskilt till tre grupper: stora webbplatser med en miljon eller fler unika sidor som ändras minst en gång i veckan, medelstora till stora webbplatser med 10000 eller fler unika sidor som ändras dagligen, och alla webbplatser där en stor andel webbadresser visas med statusen ”Identifierad men inte indexerad” i Search Console. Om du tillhör någon av dessa grupper blir crawl-budget en verklig begränsning som direkt styr vilka sidor som indexeras och hur aktuella de håller sig.

Så ser du om crawl-budget är ett problem

Den tydligaste signalen finns i Google Search Console. Öppna rapporten Crawlstatistik för att se hur många förfrågningar Googlebot gör per dag, den genomsnittliga svarstiden och eventuella tillgänglighetsfel. Ett högt antal förfrågningar på webbadresser med lågt värde, eller stigande svarstider, pekar på ineffektivitet.

Håll ögon på rapporten Sidindexering för statusen ”Identifierad men inte indexerad”. När Google har hittat en webbadress men inte har crawlat den kan dina viktiga sidor vänta bakom en kö av skräp. Analys av serverloggar är den mest exakta metoden: den visar exakt vilka webbadresser Googlebot hämtar och hur ofta, och avslöjar var din budget faktiskt går jämfört med var du vill att den ska gå.

Vad som slösar crawl-budget

De största läckagen är förutsägbara. Facetterad navigering och URL-parametrar kan skapa nästan oändliga kombinationer av filtrerade och sorterade sidor, där varje är en unik webbadress som Googlebot kan försöka crawla. Sessions-ID i webbadresser skapar samma explosion av dubbletter. Varje sådan bortkastad hämtning är en hämtning som inte går till en riktig sida.

Andra vanliga slukar är långa omdirigeringskedjor, mjuka 404-sidor som returnerar status 200 för saknat innehåll, dubblerat innehåll över flera webbadresser, sidor med oändlig scrollning eller kalendrar som skapar oändliga länkar, och föråldrade sitemaps som pekar på döda webbadresser. Var och en av dem förbrukar crawlkapacitet som borde gå till din nyaste produkt, artikel eller målsida, och till bättre indexering av sidor du bryr dig om.

Så optimerar du crawl-budgeten

Börja med att blockera det Google inte ska crawla. Använd din robots.txt-fil för att förbjuda facetterade parametrar, interna sökresultat och andra mönster av webbadresser med lågt värde. Google påpekar att robots.txt, inte noindex, är rätt verktyg här: en sida med noindex måste ändå crawlas för att läsas, vilket förbrukar budget, medan en förbjuden sökväg hoppas över.

Städa sedan upp dina statuskoder. Returnera 404 eller 410 för sidor du permanent har tagit bort, så att Google slutar begära dem. Samla dubblerat innehåll bakom canonical-taggar och eliminera omdirigeringskedjor genom att peka länkar direkt mot den slutgiltiga webbadressen. Varje åtgärd frigör hämtningar för sidor som förtjänar dem.

Slutligen håller du din XML-sitemap korrekt med ärliga lastmod-datum och förbättrar serverhastigheten så att Google höjer din gräns för crawlkapacitet. En snabbare webbplats blir mer grundligt crawlad, allt annat lika.

Crawl-budget och AI-crawlers 2026

Googlebot är inte längre den enda crawlern som tävlar om din servers uppmärksamhet. AI-företagen använder egna robotar, bland annat GPTBot och OAI-SearchBot från OpenAI, ClaudeBot från Anthropic och PerplexityBot, för att samla in och uppdatera innehållet de citerar i svar. Dessa crawlers förbrukar verklig bandbredd och serverkapacitet.

Serverdata från 2025 visade att trafiken från AI- och sökcrawlers ökade kraftigt, där flera robotar växte med hundratals procent år över år. Den praktiska effekten är att samma arbete med webbplatsens hälsa och effektivitet som skyddar din crawl-budget hos Google också skyddar prestandan för AI-crawlers. En snabb server och en ren URL-struktur hjälper varje robot, från Googlebot till motorerna bakom AI-sökningen, att använda sin begränsade crawlning på sidor som är värda att hämta.

Crawl-budget kontra indexering: en vanlig förväxling

Crawlning och indexering är separata steg, och att blanda ihop dem leder till bortkastad möda. Crawl-budgeten styr om och hur ofta Google hämtar en webbadress. Indexering är det separata beslutet om en crawlad sida är värd att lagras och visas i resultaten. En sida kan crawlas och sedan medvetet lämnas oindexerad, eftersom Google bedömt att den har lågt värde.

Detta spelar roll vid diagnos. Om en sida är ”Identifierad men inte genomsökt” är det ett problem med crawl-budget eller upptäckt, och åtgärderna ovan gäller. Om en sida är ”Genomsökt men inte indexerad” handlar det oftast om innehållskvalitet, tunt innehåll eller dubblering, och ingen mängd crawl-optimering löser det. Identifiera vilket steg som brister innan du agerar.

Crawl-budgetoptimering per webbplatstyp: var börjar du?

Crawl-budgetoptimering börjar med vilken typ av webbplats du driver, eftersom varje typ slösar crawlningar på sitt eget sätt. Enligt Googles guide för stora webbplatser gäller ämnet främst webbplatser med mycket många sidor eller sidor som ändras väldigt ofta. För en liten webbplats betyder innehållskvalitet och interna länkar mycket mer.

Typ av webbplats	Typiskt slöseri	Första åtgärd
Stor e-handelsbutik	Filter, sorteringsordningar och parametrar som skapar oändliga kombinationer av webbadresser	Behåll bara värdefulla filtersidor indexerbara, peka resten mot huvudkategorin med en canonical-tagg och sluta länka till dem
Nyhets- eller publiceringssajt	Nya artiklar upptäcks för långsamt	En sitemap som uppdateras vid publicering med korrekta lastmod-datum, och en snabb server
Webbplats efter en flytt	Omdirigeringskedjor och gamla webbadresser som fortfarande länkas	Enkla 301-omdirigeringar, interna länkar uppdaterade till de slutgiltiga webbadresserna
JavaScript-tung webbplats	Innehåll som syns först efter rendering	Server-side-rendering eller förrendering av nyckelmallar
Webbplats med intern sökning eller användarprofiler	Tusentals tunna, nästan dubblerade sidor	Blockera interna sökresultat i robots.txt och håll tunna sidor utanför indexet

Oavsett typ följer du samma ordning: ta bort slöseriet först, gör sedan viktiga sidor lättare att nå och kontrollera effekten i rapporten Crawlstatistik några veckor senare. Att göra sidor lättare att nå handlar främst om interna länkar: en sida som länkas från flera relevanta artiklar upptäcks och crawlas om snabbare än en föräldralös sida. Sorank lägger till dessa länkar automatiskt varje gång en artikel publiceras, vilket håller nytt innehåll kopplat till resten av webbplatsen.

Slutsats

Crawl-budget är antalet webbadresser som en sökmotor kan och vill crawla på din webbplats under en given tidsperiod, satt av gränsen för crawlkapacitet (din servers hälsa) och crawl-efterfrågan (din popularitet, ditt utbud och din aktualitet). Det är ett verkligt problem för stora webbplatser med 10000 eller fler sidor och för alla webbplatser med många webbadresser som har statusen ”Identifierad men inte indexerad”. För små webbplatser är det i stort sett inget problem. För att optimera den blockerar du webbadresser med lågt värde med robots.txt, åtgärdar statuskoder och omdirigeringskedjor, eliminerar dubbletter, håller sitemapen korrekt och snabbar upp servern. 2026 håller samma renlighet också AI-crawlers effektiva. Kör en GEO SEO-granskning med Sorank för att hitta det crawl-slöseri som skadar din indexering.