Crawlbudget: hoe vaak zoekmachines je site bezoeken

Crawlbudget beschrijft hoeveel crawlaandacht een zoekmachine aan je website besteedt. Googlebot crawlt niet elke pagina op internet even vaak of continu; het maakt economische keuzes over waar de beperkte middelen naartoe gaan. Crawlbudget is het praktische resultaat van die keuzes voor jouw specifieke domein: de verzameling URL's die Google kan ophalen en wil ophalen binnen een bepaalde tijd.

Google publiceert geen getal voor jouw crawlbudget en laat je er ook geen handmatig instellen. In plaats daarvan legt de documentatie van Google over crawlbudget uit dat het voortkomt uit twee onderliggende factoren. Die factoren begrijpen is de sleutel om te beïnvloeden hoe grondig en hoe vaak je pagina's worden gecrawld, zeker nu AI-crawlers in 2026 extra druk op serverresources leggen.

De twee factoren: crawlcapaciteit en crawlvraag

De crawlcapaciteitslimiet is het maximale aantal gelijktijdige verbindingen dat Googlebot gebruikt om je site te crawlen, plus de vertraging tussen opvragen. Die wordt bepaald door de gezondheid van je server. Reageert je site snel en zonder fouten, dan verhoogt Google de limiet en crawlt het intensiever. Wordt je server trager of geeft hij 5xx-fouten, dan trekt Google zich terug om je niet te overbelasten.

De crawlvraag is hoe graag Google je pagina's in de eerste plaats wil crawlen. Die stijgt met populariteit (URL's die verkeer en links aantrekken), de waargenomen inventaris (hoeveel nuttige pagina's Google denkt dat je hebt) en veroudering (pagina's waarvan Google denkt dat ze ververst moeten worden). Een grote, vaak bijgewerkte site met autoriteit zorgt voor een hoge crawlvraag; een kleine, statische site voor een lage vraag.

Je effectieve crawlbudget is het snijpunt van deze twee. Hoge capaciteit met lage vraag betekent nog steeds weinig crawlen, en hoge vraag die wordt afgeremd door een trage server betekent gemiste pagina's. Beide hefbomen tellen mee en ze werken samen met je totale crawlen-voetafdruk.

Wie zich echt zorgen moet maken over crawlbudget

De meeste websites hoeven helemaal niet na te denken over crawlbudget. Heb je een paar honderd of een paar duizend pagina's en is je server redelijk snel, dan crawlt Google alles wat belangrijk is zonder problemen. Energie steken in crawlbudgetoptimalisatie voor een kleine site is meestal verspilde moeite.

Google richt zijn advies expliciet op drie groepen: grote sites met een miljoen of meer unieke pagina's die minstens wekelijks veranderen, middelgrote tot grote sites met 10000 of meer unieke pagina's die dagelijks veranderen, en elke site waarbij een groot deel van de URL's in Search Console de status Ontdekt, momenteel niet geïndexeerd heeft. Val je in een van deze groepen, dan wordt crawlbudget een echte beperking die direct bepaalt welke pagina's worden geïndexeerd en hoe actueel ze blijven.

Zo merk je of crawlbudget een probleem is

Het duidelijkste signaal vind je in Google Search Console. Open het rapport Crawlstatistieken om te zien hoeveel verzoeken Googlebot per dag doet, wat de gemiddelde reactietijd is en of er beschikbaarheidsfouten zijn. Een groot aantal verzoeken aan URL's met weinig waarde, of stijgende reactietijden, wijst op inefficiëntie.

Houd in het rapport Pagina's de status Ontdekt, momenteel niet geïndexeerd in de gaten. Als Google een URL heeft gevonden maar niet heeft gecrawld, wachten je belangrijke pagina's mogelijk achter een rij waardeloze URL's. Analyse van serverlogs is de meest precieze methode: die laat precies zien welke URL's Googlebot ophaalt en hoe vaak, zodat je ziet waar je budget werkelijk naartoe gaat in vergelijking met waar je het naartoe wilt hebben.

Wat crawlbudget verspilt

De grootste lekken zijn voorspelbaar. Facetnavigatie en URL-parameters kunnen vrijwel eindeloze combinaties van gefilterde en gesorteerde pagina's opleveren, elk een unieke URL die Googlebot kan proberen te crawlen. Sessie-ID's in URL's veroorzaken dezelfde explosie van duplicaten. Elke verspilde ophaalactie is een ophaalactie die niet naar een echte pagina gaat.

Andere veelvoorkomende boosdoeners zijn lange redirectketens, soft 404-pagina's die een 200-status teruggeven voor ontbrekende content, dubbele content op meerdere URL's, pagina's met oneindig scrollen of agenda's die eindeloos veel links genereren, en verouderde sitemaps die naar dode URL's verwijzen. Elk daarvan verbruikt crawlcapaciteit die naar je nieuwste product, artikel of landingspagina zou moeten gaan en naar betere indexering van de pagina's die voor jou belangrijk zijn.

Zo optimaliseer je crawlbudget

Begin met blokkeren wat Google niet hoeft te crawlen. Gebruik je robots.txt-bestand om facetparameters, interne zoekresultaten en andere URL-patronen met weinig waarde te blokkeren. Google merkt op dat robots.txt, en niet noindex, hier het juiste hulpmiddel is: een noindex-pagina moet toch gecrawld worden om gelezen te kunnen worden, wat budget kost, terwijl een geblokkeerd pad wordt overgeslagen.

Ruim vervolgens je statuscodes op. Geef een 404 of 410 terug voor pagina's die je definitief hebt verwijderd, zodat Google ze niet meer opvraagt. Bundel dubbele content met canonical tags en elimineer redirectketens door links rechtstreeks naar de uiteindelijke URL te laten wijzen. Elke oplossing geeft ophaalacties terug aan pagina's die ze verdienen.

Houd ten slotte je XML-sitemap accuraat met eerlijke lastmod-data en verbeter de serversnelheid, zodat Google je crawlcapaciteitslimiet verhoogt. Een snellere site wordt, bij gelijke omstandigheden, grondiger gecrawld.

Crawlbudget en AI-crawlers in 2026

Googlebot is niet langer de enige crawler die om de aandacht van je server strijdt. De AI's zetten hun eigen bots in, waaronder GPTBot en OAI-SearchBot van OpenAI, ClaudeBot van Anthropic en PerplexityBot, om de content te verzamelen en te verversen die ze in antwoorden citeren. Deze crawlers verbruiken echte bandbreedte en servercapaciteit.

Servergegevens uit 2025 lieten zien dat het verkeer van AI- en zoekcrawlers sterk steeg, waarbij verschillende bots jaar op jaar met honderden procenten groeiden. Het praktische gevolg is dat hetzelfde werk aan sitegezondheid en efficiëntie dat je Google-crawlbudget beschermt, ook de prestaties voor AI-crawlers beschermt. Een snelle server en een schone URL-structuur helpen elke bot, van Googlebot tot de engines achter AI-zoekmachines, om de beperkte crawlcapaciteit te besteden aan pagina's die het ophalen waard zijn.

Crawlbudget versus indexering: een veelvoorkomende verwarring

Crawlen en indexeren zijn aparte stappen, en ze door elkaar halen leidt tot verspilde moeite. Crawlbudget bepaalt of en hoe vaak Google een URL ophaalt. Indexering is de aparte beslissing of een gecrawlde pagina het waard is om opgeslagen en in resultaten getoond te worden. Een pagina kan worden gecrawld en daarna bewust niet worden geïndexeerd, omdat Google hem als weinig waardevol beoordeelde.

Dit is belangrijk voor de diagnose. Is een pagina ontdekt maar niet gecrawld, dan is dat een kwestie van crawlbudget of ontdekking, en gelden de bovenstaande oplossingen. Is een pagina gecrawld maar niet geïndexeerd, dan zit het probleem meestal in de contentkwaliteit, dunne content of duplicatie, en lost geen enkele crawloptimalisatie dat op. Bepaal welke fase misgaat voordat je actie onderneemt.

Crawlbudgetoptimalisatie per type site: waar begin je?

Crawlbudgetoptimalisatie begint bij het type site dat je beheert, want elk type verspilt crawls op zijn eigen manier. Volgens de gids van Google voor grote sites gaat het onderwerp vooral over sites met een zeer groot aantal pagina's of pagina's die heel vaak veranderen; voor een kleine site zijn contentkwaliteit en interne links veel belangrijker.

Welk type je ook hebt, volg dezelfde volgorde: haal eerst de verspilling weg, maak daarna belangrijke pagina's makkelijker bereikbaar en controleer een paar weken later het effect in het rapport Crawlstatistieken. Pagina's makkelijker bereikbaar maken betekent vooral interne links: een pagina waar vanuit meerdere relevante artikelen naar wordt gelinkt, wordt sneller ontdekt en opnieuw gecrawld dan een weespagina. Sorank voegt deze links automatisch toe telkens wanneer het een artikel publiceert, waardoor nieuwe content verbonden blijft met de rest van de site.

Conclusie

Crawlbudget is het aantal URL's dat een zoekmachine binnen een bepaalde periode op je site kan en wil crawlen, bepaald door de crawlcapaciteitslimiet (de gezondheid van je server) en de crawlvraag (je populariteit, inventaris en actualiteit). Het is een echte zorg voor grote sites met 10000 of meer pagina's en voor elke site met veel URL's die ontdekt maar niet geïndexeerd zijn, en grotendeels geen issue voor kleine sites. Om het te optimaliseren blokkeer je URL's met weinig waarde met robots.txt, repareer je statuscodes en redirectketens, elimineer je duplicaten, houd je je sitemap accuraat en maak je je server sneller. In 2026 houdt diezelfde hygiëne ook AI-crawlers efficiënt. Voer een Sorank GEO SEO-audit uit om de crawlverspilling te vinden die je indexering schaadt.