Crawl-budget: Hvor ofte søgemaskiner besøger dit site

Crawl-budget beskriver, hvor meget crawl-opmærksomhed en søgemaskine giver dit website. Googlebot crawler ikke alle sider på internettet lige meget eller hele tiden; den træffer økonomiske valg om, hvor den bruger sine begrænsede ressourcer. Crawl-budget er det praktiske resultat af disse valg for dit specifikke domæne: sættet af URL'er, som Google kan hente og vil hente inden for et tidsrum.

Google offentliggør ikke et tal for dit crawl-budget, og du kan ikke selv sætte det manuelt. I stedet forklarer Googles dokumentation om crawl-budget, at det opstår ud fra to underliggende faktorer. At forstå dem er nøglen til at påvirke, hvor grundigt og hvor ofte dine sider bliver crawlet, især nu hvor AI-crawlere lægger nyt pres på serverressourcerne i 2026.

De to faktorer: crawlkapacitet og crawlefterspørgsel

Grænsen for crawlkapacitet er det maksimale antal samtidige forbindelser, Googlebot bruger til at crawle dit site, plus forsinkelsen mellem hentninger. Den styres af din servers tilstand. Hvis dit site svarer hurtigt og uden fejl, hæver Google grænsen og crawler mere aktivt. Hvis din server bliver langsom eller returnerer 5xx-fejl, trækker Google sig tilbage for ikke at overbelaste dig.

Crawlefterspørgsel er, hvor stærkt Google overhovedet ønsker at crawle dine sider. Den stiger med popularitet (URL'er, der tiltrækker trafik og links), opfattet indholdsmængde (hvor mange nyttige sider Google mener, du har) og forældelse (sider, Google mener skal opdateres). Et stort, ofte opdateret og autoritativt site skaber høj crawlefterspørgsel; et lille, statisk site skaber lav efterspørgsel.

Dit effektive crawl-budget er mødepunktet for disse to. Høj kapacitet med lav efterspørgsel betyder stadig let crawling, og høj efterspørgsel, der bremses af en langsom server, betyder overset sider. Begge faktorer betyder noget, og de spiller sammen med dit samlede crawl-aftryk.

Hvem skal egentlig bekymre sig om crawl-budget

De fleste websites behøver slet ikke tænke på crawl-budget. Hvis du har nogle hundrede eller nogle tusinde sider, og din server er rimelig hurtig, crawler Google alt vigtigt uden problemer. At bruge kræfter på optimering af crawl-budget for et lille site er typisk spildt arbejde.

Google retter eksplicit sin vejledning mod tre grupper: store sites med en million eller flere unikke sider, der ændres mindst ugentligt, mellemstore til store sites med 10.000 eller flere unikke sider, der ændres dagligt, og ethvert site, hvor en stor andel af URL'erne vises som Fundet, men i øjeblikket ikke indekseret i Search Console. Hvis du falder ind under en af disse grupper, bliver crawl-budget en reel begrænsning, der direkte styrer, hvilke sider der bliver indekseret, og hvor friske de forbliver.

Sådan ved du, om crawl-budget er et problem

Det tydeligste signal findes i Google Search Console. Åbn rapporten Crawlstatistik for at se, hvor mange forespørgsler Googlebot laver pr. dag, den gennemsnitlige svartid og eventuelle tilgængelighedsfejl. Et højt antal forespørgsler brugt på URL'er med lav værdi, eller stigende svartider, peger på ineffektivitet.

Hold øje med rapporten Sider for statussen Fundet, men i øjeblikket ikke indekseret. Når Google har fundet en URL, men ikke har crawlet den, kan dine vigtige sider vente bag en kø af skrald. Analyse af serverlogfiler er den mest præcise metode: Den viser præcis, hvilke URL'er Googlebot henter, og hvor ofte, og afslører, hvor dit budget faktisk går hen, sammenlignet med hvor du ønsker, at det skal gå hen.

Hvad spilder crawl-budget

De største spildere er forudsigelige. Facetteret navigation og URL-parametre kan skabe næsten uendelige kombinationer af filtrerede og sorterede sider, hver en unik URL, som Googlebot måske forsøger at crawle. Session-ID'er i URL'er skaber den samme eksplosion af dubletter. Hver af disse spildte hentninger er en hentning, der ikke bruges på en rigtig side.

Andre almindelige spildere er lange redirect-kæder, bløde 404-sider, der returnerer statuskode 200 for manglende indhold, duplikeret indhold på flere URL'er, sider med uendelig scroll eller kalendere, der genererer endeløse links, og forældede sitemaps, der peger på døde URL'er. Hver af disse bruger crawlkapacitet, som burde gå til din nyeste produkt-, artikel- eller landingsside og til bedre indeksering af de sider, du bekymrer dig om.

Sådan optimerer du crawl-budget

Start med at blokere det, Google ikke skal crawle. Brug din fil robots.txt til at forbyde facetterede parametre, interne søgeresultater og andre mønstre af URL'er med lav værdi. Google forstår, at robots.txt, ikke noindex, er det rigtige værktøj her: En side med noindex skal stadig crawles for at blive læst, hvilket bruger budget, mens en blokeret sti springes over.

Ryd derefter op i dine statuskoder. Returnér 404 eller 410 for sider, du permanent har fjernet, så Google holder op med at anmode om dem. Saml duplikeret indhold bag canonical-tags, og fjern redirect-kæder ved at pege links direkte på den endelige URL. Hver rettelse frigør hentninger til sider, der fortjener dem.

Til sidst skal du holde dit XML-sitemap nøjagtigt med ærlige lastmod-datoer, og forbedre serverhastigheden, så Google hæver din grænse for crawlkapacitet. Et hurtigere site er et grundigere crawlet site, alt andet lige.

Crawl-budget og AI-crawlere i 2026

Googlebot er ikke længere den eneste crawler, der konkurrerer om din servers opmærksomhed. AI-virksomhederne sender deres egne bots, herunder GPTBot og OAI-SearchBot fra OpenAI, ClaudeBot fra Anthropic og PerplexityBot, for at indsamle og opdatere det indhold, de citerer i svar. Disse crawlere bruger reel båndbredde og serverkapacitet.

Serverdata fra 2025 viste, at trafikken fra AI- og søgecrawlere steg kraftigt, og flere bots voksede med hundredvis af procent år over år. Den praktiske effekt er, at det samme arbejde med sundhed og effektivitet, der beskytter dit Google-crawl-budget, også beskytter ydeevnen for AI-crawlere. En hurtig server og en ren URL-struktur hjælper alle bots, fra Googlebot til de motorer, der driver AI-søgning, med at bruge deres begrænsede crawlkapacitet på sider, der er værd at hente.

Crawl-budget kontra indeksering: en almindelig forvirring

Crawling og indeksering er separate trin, og hvis man blander dem sammen, spildes der kræfter. Crawl-budget styrer, om og hvor ofte Google henter en URL. Indeksering er den separate beslutning om, hvorvidt en crawlet side er værd at gemme og vise i resultaterne. En side kan blive crawlet og derefter bevidst lades uindekseret, fordi Google vurderede den som værdiløs.

Det betyder noget for diagnosen. Hvis en side er Fundet, men ikke crawlet, er det et problem med crawl-budget eller opdagelse, og rettelserne ovenfor gælder. Hvis en side er Crawlet, men ikke indekseret, er problemet normalt indholdskvalitet, tyndt indhold eller dubletter, og ingen mængde crawl-optimering vil rette det. Find ud af, hvilket trin der fejler, før du handler.

Optimering af crawl-budget efter sitetype: hvor skal du starte?

Optimering af crawl-budget starter med den type site, du driver, fordi hver type spilder crawls på sin egen måde. Ifølge Googles vejledning til store sites handler emnet primært om sites med et meget stort antal sider eller sider, der ændres meget ofte. For et lille site betyder indholdskvalitet og interne links langt mere.

Sitetype	Typisk spild	Første rettelse
Stor e-handelsbutik	Filtre, sorteringer og parametre, der skaber endeløse URL-kombinationer	Lad kun værdifulde filtersider være indekserbare, peg resten til hovedkategorien med et canonical-tag, og stop med at linke til dem
Nyheds- eller udgivelsessite	Nye artikler opdages for langsomt	Et sitemap, der opdateres ved udgivelse med nøjagtige lastmod-datoer, og en hurtig server
Site efter en migrering	Redirect-kæder og gamle URL'er, der stadig linkes til	Enkelttrins 301-redirects og interne links opdateret til de endelige URL'er
JavaScript-tungt site	Indhold, der kun vises efter rendering	Server-side rendering eller forhåndsrendering af nøgleskabeloner
Site med intern søgning eller brugerprofiler	Tusindvis af tynde, næsten identiske sider	Bloker interne søgeresultater i robots.txt, og hold tynde sider ude af indekset

Uanset type skal du følge den samme rækkefølge: Fjern spildet først, gør derefter de vigtige sider lettere at nå, og kontrollér effekten i rapporten Crawlstatistik et par uger senere. At gøre sider lettere at nå handler mest om interne links: En side, der linkes fra flere relevante artikler, opdages og crawles igen hurtigere end en forældreløs side. Sorank tilføjer automatisk disse links, hver gang der udgives en artikel, så nyt indhold forbliver forbundet med resten af sitet.

Konklusion

Crawl-budget er antallet af URL'er, en søgemaskine kan og vil crawle på dit site inden for en given periode, fastsat af grænsen for crawlkapacitet (din servers tilstand) og crawlefterspørgslen (din popularitet, indholdsmængde og friskhed). Det er en reel bekymring for store sites med 10.000 eller flere sider og for ethvert site med mange URL'er, der vises som Fundet, men ikke indekseret, og stort set ikke et problem for små sites. For at optimere det skal du blokere URL'er med lav værdi i robots.txt, rette statuskoder og redirect-kæder, fjerne dubletter, holde dit sitemap nøjagtigt og fremskynde din server. I 2026 holder den samme hygiejne også AI-crawlere effektive. Kør et Sorank GEO SEO-audit for at finde det crawl-spild, der skader din indeksering.