Crawl-budsjett: hvor ofte søkemotorer besøker nettstedet ditt

Crawl-budsjett beskriver hvor mye gjennomsøkingsoppmerksomhet en søkemotor gir nettstedet ditt. Googlebot gjennomsøker ikke alle sider på internett likt eller hele tiden; den gjør økonomiske valg om hvor den bruker sine begrensede ressurser. Crawl-budsjett er det praktiske resultatet av disse valgene for ditt domene: settet med nettadresser Google kan hente og vil hente i et tidsrom.

Google publiserer ikke et tall for crawl-budsjettet ditt, og du kan ikke sette det manuelt. I stedet forklarer Googles dokumentasjon om crawl-budsjett at det oppstår fra to underliggende faktorer. Å forstå disse faktorene er nøkkelen til å påvirke hvor grundig og hvor ofte sidene dine gjennomsøkes, særlig ettersom KI-gjennomsøkere legger nytt press på serverressursene i 2026.

De to faktorene: gjennomsøkingskapasitet og gjennomsøkingsbehov

Grensen for gjennomsøkingskapasitet er det høyeste antallet samtidige forbindelser Googlebot bruker for å gjennomsøke nettstedet ditt, pluss forsinkelsen mellom hver henting. Den styres av serverens helse. Hvis nettstedet ditt svarer raskt og uten feil, øker Google grensen og gjennomsøker mer aktivt. Hvis serveren din blir treg eller returnerer 5xx-feil, trekker Google seg tilbake for å unngå å overbelaste den.

Gjennomsøkingsbehov er hvor sterkt Google ønsker å gjennomsøke sidene dine i utgangspunktet. Det øker med popularitet (nettadresser som tiltrekker trafikk og lenker), opplevd beholdning (hvor mange nyttige sider Google mener du har) og foreldelse (sider Google mener må oppdateres). Et stort, ofte oppdatert og autoritativt nettsted gir høyt gjennomsøkingsbehov. Et lite, statisk nettsted gir lavt behov.

Crawl-budsjettet ditt i praksis er møtepunktet mellom disse to. Høy kapasitet med lavt behov betyr fortsatt lite gjennomsøking, og høyt behov som hemmes av en treg server betyr at sider blir oversett. Begge faktorene betyr noe, og de påvirker hverandre sammen med det samlede gjennomsøkingsomfanget ditt.

Hvem som faktisk bør bekymre seg for crawl-budsjett

De fleste nettsteder trenger ikke å tenke på crawl-budsjett i det hele tatt. Hvis du har noen hundre eller noen tusen sider og serveren din er rimelig rask, vil Google gjennomsøke alt viktig uten problemer. Å bruke krefter på optimalisering av crawl-budsjett for et lite nettsted er vanligvis bortkastet innsats.

Google retter veiledningen sin spesielt mot tre grupper: store nettsteder med én million eller flere unike sider som endrer seg minst ukentlig, mellomstore til store nettsteder med 10000 eller flere unike sider som endrer seg daglig, og alle nettsteder der en stor andel av nettadressene vises som Oppdaget, men foreløpig ikke indeksert i Search Console. Hvis du havner i en av disse gruppene, blir crawl-budsjett en reell begrensning som direkte styrer hvilke sider som indekseres, og hvor ferske de holder seg.

Slik ser du om crawl-budsjett er et problem

Det tydeligste signalet finner du i Google Search Console. Åpne rapporten Crawl-statistikk for å se hvor mange forespørsler Googlebot gjør per dag, gjennomsnittlig svartid og eventuelle tilgjengelighetsfeil. Et høyt antall forespørsler brukt på lavverdi-nettadresser, eller stigende svartider, peker mot ineffektivitet.

Følg med på rapporten for sider for statusen Oppdaget, men foreløpig ikke indeksert. Når Google har funnet en nettadresse, men ikke har gjennomsøkt den, kan de viktige sidene dine vente bak en kø med søppel. Analyse av serverlogger er den mest presise metoden: den viser nøyaktig hvilke nettadresser Googlebot henter og hvor ofte, og avslører hvor budsjettet ditt faktisk går, sammenlignet med hvor du vil at det skal gå.

Hva som sløser med crawl-budsjett

De største lekkasjene er forutsigbare. Fasettert navigasjon og URL-parametere kan skape nesten uendelige kombinasjoner av filtrerte og sorterte sider, og hver av dem er en unik nettadresse som Googlebot kan forsøke å gjennomsøke. Økt-ID-er i nettadresser skaper den samme eksplosjonen av duplikater. Hver av disse bortkastede hentingene er en henting som ikke går til en ekte side.

Andre vanlige sløsere er lange omdirigeringskjeder, myke 404-sider som returnerer status 200 for manglende innhold, duplisert innhold på flere nettadresser, sider med uendelig rulling eller kalendere som genererer endeløse lenker, og foreldede sitemaps som peker til døde nettadresser. Hver av disse bruker gjennomsøkingskapasitet som burde gå til det nyeste produktet, artikkelen eller landingssiden din, og til bedre indeksering av sidene du bryr deg om.

Slik optimaliserer du crawl-budsjett

Start med å blokkere det Google ikke bør gjennomsøke. Bruk robots.txt-filen til å utelukke fasettparametere, interne søkeresultater og andre mønstre for nettadresser med lav verdi. Google påpeker at robots.txt, og ikke noindex, er det riktige verktøyet her: en side med noindex må fortsatt gjennomsøkes for å kunne leses, og det bruker budsjett, mens en utelukket bane hoppes over.

Rydd deretter opp i statuskodene. Returner 404 eller 410 for sider du har fjernet permanent, slik at Google slutter å be om dem. Samle duplisert innhold bak canonical-tagger, og fjern omdirigeringskjeder ved å peke lenker direkte til den endelige nettadressen. Hver rettelse frigjør hentinger til sider som fortjener dem.

Til slutt holder du XML-sitemapet ditt nøyaktig med ærlige datoer for lastmod, og du forbedrer serverhastigheten, slik at Google øker grensen for gjennomsøkingskapasitet. Et raskere nettsted blir grundigere gjennomsøkt, alt annet like.

Crawl-budsjett og KI-gjennomsøkere i 2026

Googlebot er ikke lenger den eneste gjennomsøkeren som konkurrerer om serverens oppmerksomhet. KI-selskapene bruker egne roboter, blant annet GPTBot og OAI-SearchBot fra OpenAI, ClaudeBot fra Anthropic og PerplexityBot, for å samle inn og oppdatere innholdet de siterer i svar. Disse gjennomsøkerne bruker reell båndbredde og serverkapasitet.

Serverdata fra 2025 viste at trafikken fra KI- og søkegjennomsøkere økte kraftig, og flere roboter vokste med hundrevis av prosent fra år til år. Den praktiske effekten er at det samme arbeidet med nettstedets helse og effektivitet som beskytter crawl-budsjettet ditt hos Google, også beskytter ytelsen for KI-gjennomsøkere. En rask server og en ryddig nettadressestruktur hjelper alle roboter, fra Googlebot til motorene som driver KI-søk, med å bruke sin begrensede gjennomsøking på sider som er verdt å hente.

Crawl-budsjett kontra indeksering: en vanlig forveksling

Gjennomsøking og indeksering er ulike steg, og å blande dem sammen fører til bortkastet innsats. Crawl-budsjett styrer om og hvor ofte Google henter en nettadresse. Indeksering er den separate avgjørelsen om en gjennomsøkt side er verdt å lagre og vise i resultatene. En side kan bli gjennomsøkt og deretter bevisst ikke indeksert fordi Google vurderte den som lavverdi.

Dette betyr noe for feilsøking. Hvis en side er Oppdaget, men ikke gjennomsøkt, er det et problem med crawl-budsjett eller oppdagelse, og rettelsene over gjelder. Hvis en side er Gjennomsøkt, men ikke indeksert, skyldes problemet vanligvis innholdskvalitet, tynt innhold eller duplisering, og ingen mengde gjennomsøkingsoptimalisering vil løse det. Finn ut hvilket steg som svikter før du handler.

Optimalisering av crawl-budsjett etter type nettsted: hvor bør du starte?

Optimalisering av crawl-budsjett starter med hvilken type nettsted du driver, fordi hver type sløser med gjennomsøkinger på sin egen måte. Ifølge Googles veiledning for store nettsteder gjelder temaet hovedsakelig nettsteder med svært mange sider eller sider som endrer seg veldig ofte. For et lite nettsted betyr innholdskvalitet og interne lenker langt mer.

Type nettsted	Typisk sløsing	Første tiltak
Stor nettbutikk	Filtre, sorteringer og parametere som skaper endeløse kombinasjoner av nettadresser	Behold bare filtersider med verdi som kan indekseres, pek resten til hovedkategorien med en canonical-tag, og slutt å lenke til dem
Nyhets- eller publiseringsnettsted	Nye artikler oppdages for sakte	Et sitemap som oppdateres ved publisering med nøyaktige datoer for lastmod, og en rask server
Nettsted etter en migrering	Omdirigeringskjeder og gamle nettadresser som fortsatt lenkes til	301-omdirigeringer med ett hopp, og interne lenker oppdatert til de endelige nettadressene
Nettsted med mye JavaScript	Innhold som bare er synlig etter rendering	Gjengivelse på server eller forhåndsrendering av nøkkelmaler
Nettsted med internt søk eller brukerprofiler	Tusenvis av tynne, nesten identiske sider	Blokker interne søkeresultater i robots.txt, og hold tynne sider utenfor indeksen

Uansett type, følg samme rekkefølge: fjern sløsingen først, gjør deretter viktige sider lettere å nå, og kontroller effekten i rapporten Crawl-statistikk noen uker senere. Å gjøre sider lettere å nå handler for det meste om interne lenker: en side som lenkes til fra flere relevante artikler, blir oppdaget og gjennomsøkt på nytt raskere enn en foreldreløs side. Sorank legger til disse lenkene automatisk hver gang det publiserer en artikkel, slik at nytt innhold holder seg koblet til resten av nettstedet.

Konklusjon

Crawl-budsjett er antallet nettadresser en søkemotor kan og vil gjennomsøke på nettstedet ditt i en gitt tidsramme, satt av grensen for gjennomsøkingskapasitet (serverens helse) og gjennomsøkingsbehovet (popularitet, beholdning og ferskhet). Det er en reell bekymring for store nettsteder med 10000 eller flere sider, og for alle nettsteder med mange nettadresser som er Oppdaget, men ikke indeksert. For små nettsteder er det stort sett ikke et problem. For å optimalisere det blokkerer du nettadresser med lav verdi i robots.txt, retter statuskoder og omdirigeringskjeder, fjerner duplikater, holder sitemapet nøyaktig og gjør serveren raskere. I 2026 holder den samme ryddigheten også KI-gjennomsøkere effektive. Kjør en GEO SEO-revisjon fra Sorank for å finne sløsingen med gjennomsøking som svekker indekseringen din.