Robots.txt: bepaal hoe Googlebot je site crawlt

Robots.txt is een eenvoudig maar krachtig bestand dat bepaalt hoe zoekmachines je website crawlen. Het staat op `https://example.com/robots.txt` en bevat regels die aangeven welke pagina's en mappen Google, Bing en andere bots mogen crawlen. Met robots.txt beheer je je crawlbudget (het aantal pagina's dat Google dagelijks crawlt), voorkom je dat crawlcapaciteit verloren gaat aan onbelangrijke pagina's en houd je privécontent uit de zoekresultaten.

De meeste websites hebben een robots.txt-bestand, maar veel ervan zijn verkeerd ingesteld. Een verkeerd ingestelde robots.txt kan per ongeluk belangrijke pagina's blokkeren en zo rankingpotentieel verspillen. Een goed ingestelde robots.txt verbetert de crawlefficiëntie en beschermt de privacy van je site. Deze gids behandelt de syntaxis van robots.txt, best practices en voorbeelden uit de praktijk.

Wat is robots.txt en hoe gebruiken zoekmachines het?

Robots.txt is een gestandaardiseerd tekstbestand dat crawlinstructies doorgeeft aan bots van zoekmachines. Wanneer een bot je site voor het eerst bezoekt, vraagt hij `/robots.txt` op voordat hij iets anders crawlt. De robot leest de regels en volgt ze (als de bot zich netjes gedraagt).

De robots.txt-documentatie van Google is het gezaghebbende naslagwerk voor de standaard. Het robots.txt-formaat is in 1994 ontstaan en wordt breed gebruikt. Alle grote zoekmachines (Google, Bing, Baidu) respecteren robots.txt.

Belangrijk: robots.txt is een richtlijn, geen firewall. Bots die zich netjes gedragen (Google, Bing) respecteren de regels in robots.txt. Kwaadaardige bots en scrapers negeren robots.txt. Gebruik robots.txt om het crawlen door zoekmachines te beheren, niet om hackers of scrapers te blokkeren. Gebruik voor beveiliging tools op serverniveau.

Syntaxis en basisregels van robots.txt

Robots.txt gebruikt een eenvoudige tekstsyntaxis. Elke regel bestaat uit twee delen: een User-agent (voor welke bot de regel geldt) en Disallow-paden (welke pagina's worden geblokkeerd).

Basisvoorbeeld:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

Dit vertelt alle bots (`*` betekent alle) de mappen `/admin/` en `/staging/` niet te crawlen. De regel Sitemap vertelt bots waar je sitemap staat.

User-agent: \* betekent alle bots. Je kunt ook afzonderlijke bots opgeven:

`User-agent: Googlebot` geldt alleen voor de bot van Google. `User-agent: Bingbot` geldt alleen voor de bot van Bing. Je kunt meerdere User-agent-secties met verschillende regels hebben.

Disallow: /path/ vertelt bots dat pad niet te crawlen. Disallow: / blokkeert de hele site. Disallow: (leeg) staat alles toe. Je kunt meerdere Disallow-regels per User-agent opnemen.

Allow: /path/ staat het crawlen van een specifiek pad toe, ook als een bovenliggende map is geblokkeerd. Voorbeeld: Disallow: /temp/ maar Allow: /temp/important/ staat alleen het crawlen van de submap /important/ toe.

Veelgebruikte patronen in robots.txt

Patroon 1: beheerpagina's blokkeren

User-agent: *
Disallow: /admin/
Disallow: /user/
Disallow: /account/

Dit blokkeert het crawlen van beheer-, gebruikers- en accountpagina's. Die pagina's zijn meestal niet bedoeld voor zoekmachines.

Patroon 2: een testomgeving blokkeren

User-agent: *
Disallow: /staging/
Disallow: /test/

Voorkomt dat bots test- of staging-versies van je site crawlen.

Patroon 3: specifieke bestandstypen blokkeren

User-agent: *
Disallow: /*.pdf
Disallow: /*.zip

Voorkomt dat bots pdf- en zipbestanden crawlen. Handig als je veel pdf's hebt die niet geïndexeerd mogen worden.

Patroon 4: bots afremmen die je server overbelasten

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Crawl-delay: 10

Blokkeert de bot van Ahrefs volledig (als je niet wilt dat je site door SEO-tools wordt gecrawld). Remt de bot van Semrush af met een vertraging van 10 seconden tussen verzoeken. Crawl-delay is handig voor agressieve bots die je server overbelasten.

Patroon 5: alles toestaan (standaard)

User-agent: *
Disallow:

Dit is de standaardinstelling. Een lege Disallow betekent dat alles is toegestaan. Je kunt robots.txt ook helemaal weglaten als alle content crawlbaar moet zijn.

Robots.txt versus meta robots noindex

Robots.txt blokkeert het crawlen. Meta robots noindex blokkeert het indexeren. Ze dienen verschillende doelen.

Gebruik robots.txt wanneer: je crawlbudget wilt besparen. Je dubbele content hebt die niet gecrawld hoeft te worden. Je beheerpagina's hebt waar bots niet aan mogen komen. Je agressieve bots wilt afremmen.

Gebruik meta robots noindex wanneer: je wilt dat een pagina wel wordt gecrawld maar niet geïndexeerd (om fouten en problemen te zien). Je indexering wilt voorkomen maar interne links en crawlen wel wilt toestaan. Je een pagina uiteindelijk uit de zoekresultaten wilt halen maar live wilt houden.

Voorbeeld: gepagineerde pagina's zoals `/products?page=2` kun je in robots.txt blokkeren om crawlbudget te besparen (omdat Google paginering meestal bundelt). Maar misschien wil je dat ze wel gecrawld worden om canonical-relaties te herkennen. Gebruik in dat geval canonicals in plaats van robots.txt.

Crawlbudget beheren met robots.txt

Het crawlbudget is het aantal URL's dat Google dagelijks op je site crawlt. Grote sites met miljoenen pagina's kunnen niet elke dag volledig gecrawld worden. Google kent crawlbudget toe op basis van de autoriteit van je site en hoe vaak die verandert. Crawlbudget is eindig. Als je het verspilt aan onbelangrijke pagina's, worden belangrijke pagina's minder vaak gecrawld.

Optimaliseer je crawlbudget door pagina's te blokkeren die niet gecrawld hoeven te worden: dubbele content, gepagineerde zoekresultaten, gebruikersaccountpagina's en testpagina's. Elke pagina die je blokkeert, geeft Google meer budget om je belangrijke content te crawlen.

Veelvoorkomende boosdoeners die crawlbudget verspillen: oneindige paginering (productfilters die onbeperkt URL's aanmaken), dubbele content met verschillende parameters, sessie-ID's die aan elke URL worden toegevoegd en agenda- of evenementpagina's die eindeloos URL's genereren. Blokkeer deze patronen met robots.txt.

Google Search Console toont de crawlstatistieken van je site. Houd de crawlverzoeken dagelijks in de gaten. Als Google steeds dezelfde pagina's crawlt zonder nieuwe content te ontdekken, bekijk dan je robots.txt en je blokkeerstrategie opnieuw.

Sitemap in robots.txt

Neem de URL van je sitemap op in robots.txt. Voeg `Sitemap: https://example.com/sitemap.xml` toe aan het einde van je robots.txt-bestand. Zo weet Google waar het je XML-sitemap kan vinden. Je kunt meerdere sitemaps opgeven als je meerdere bestanden hebt.

Voorbeeld:

User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xml

Sitemaps in robots.txt opnemen is optioneel (je kunt sitemaps ook indienen via Google Search Console), maar het is een best practice.

Robots.txt testen en valideren

Google Search Console heeft een robots.txt-tester. Ga naar Instellingen > Crawlen > robots.txt testen. Voer een URL in en bekijk of robots.txt die blokkeert. Dat is van onschatbare waarde om je regels te valideren voordat je ze live zet.

Test altijd voordat je wijzigingen in robots.txt live zet. Eén enkele fout (zoals `Disallow: /`, dat je hele site blokkeert) kan je posities laten instorten. Controleer met de tester dat:

Belangrijke pagina's niet geblokkeerd zijn. Beheerpagina's wel geblokkeerd zijn. Patronen van dubbele content geblokkeerd zijn. Er per ongeluk geen kritieke paden zijn geblokkeerd.

Houd na het live zetten van robots.txt het crawlrapport van Google Search Console in de gaten op wijzigingen. Als de crawlsnelheid onverwacht daalt, heb je mogelijk per ongeluk belangrijke content geblokkeerd.

Veelgemaakte fouten met robots.txt

Fout 1: CSS en JavaScript blokkeren. Als je `/css/` of `/js/` in robots.txt blokkeert, kan Google je CSS en JavaScript niet crawlen. Zonder CSS kan Google je pagina's niet goed weergeven. Blokkeer CSS of JavaScript niet.

Fout 2: belangrijke content blokkeren. Test altijd voordat je live gaat. Een typfout zoals `Disallow: /p` in plaats van `Disallow: /staging/` kan onbedoeld `/products/` blokkeren.

Fout 3: robots.txt gebruiken voor beveiliging. Vertrouw niet op robots.txt om gevoelige gegevens te beschermen. Pagina's met gevoelige informatie horen authenticatie te vereisen, niet alleen robots.txt. Robots.txt is openbaar en makkelijk te omzeilen.

Fout 4: inconsistente robots.txt over domeinen heen. Heb je meerdere domeinen, houd het robots.txt-beleid dan consistent. Per ongeluk verschillende regels kunnen problemen met de crawlefficiëntie veroorzaken.

Fout 5: de sitemap zelf blokkeren. Blokkeer `/sitemap.xml` nooit in robots.txt. Google moet de sitemap crawlen om pagina's te ontdekken.

Geavanceerde functies van robots.txt

Crawl-delay en Request-rate: Deze richtlijnen remmen bots af. `Crawl-delay: 10` voegt 10 seconden toe tussen verzoeken. `Request-rate: 1/10` staat 1 verzoek per 10 seconden toe. Gebruik ze voor bots die je server overbelasten. Google raadt aan in plaats van deze richtlijnen de instellingen in Search Console te gebruiken.

De richtlijn Allow: Staat het crawlen van een specifiek pad toe, ook als een bovenliggend pad is geblokkeerd. Handig voor uitzonderingen. Voorbeeld: `Disallow: /temp/` maar `Allow: /temp/keep/` staat alleen de submap keep toe.

De robots.txt-specificatie van Google beschrijft alle ondersteunde richtlijnen. De meeste functies zijn zelden nodig. Hou het voor de meeste sites bij de basis: User-agent, Disallow en Sitemap.

Geavanceerde richtlijnen voor robots.txt

Regels per user-agent maken het mogelijk om verschillende crawlregels voor verschillende bots te hanteren. Je kunt regels voor Googlebot, Bingbot en andere user-agents afzonderlijk opgeven. Dat is handig als je wilt dat Google je hele site crawlt maar Bing de toegang tot bepaalde secties wilt ontzeggen. Geef de user-agent op aan het begin van elk regelblok:

`User-agent: Googlebot` past regels alleen toe op de crawler van Google. `User-agent: *` past regels toe op alle bots. Regels gelden voor de opgegeven user-agent tot de volgende user-agent-richtlijn. Je kunt meerdere regelblokken voor verschillende bots maken.

De richtlijnen Crawl-delay en Request-rate vertellen bots hoe vaak ze mogen crawlen. `Crawl-delay: 5` zegt tegen de bot dat hij 5 seconden moet wachten tussen verzoeken. Dat verlaagt de serverbelasting. `Request-rate: 1/10` zegt tegen de bot dat hij hooguit 1 verzoek per 10 seconden mag doen. De robots.txt-documentatie van Google beschrijft alle ondersteunde richtlijnen.

Richtlijnen voor de locatie van de sitemap vertellen bots waar ze je sitemap vinden. `Sitemap: https://example.com/sitemap.xml` verwijst bots naar je XML-sitemap. Je kunt meerdere sitemaps opgeven. Dat wordt aanbevolen, omdat bots zo efficiënt al je pagina's ontdekken.

De richtlijn Clean-param verwijdert URL-parameters vóór het crawlen. `Clean-param: utm_source&utm_medium https://example.com` vertelt Google de UTM-parameters op example.com te negeren. Zo behandelt Google links met tracking niet als dubbele content. Deze richtlijn wordt tegenwoordig minder gebruikt, omdat Google de meeste trackingparameters automatisch afhandelt.

Test je robots.txt-bestand in de robots.txt-tester van Google Search Console. De tool laat zien welke URL's je robots.txt voor Googlebot zou blokkeren. Zo voorkom je dat belangrijke pagina's per ongeluk worden geblokkeerd.

Conclusie

Robots.txt is een eenvoudig maar cruciaal bestand om het crawlen door zoekmachines te beheren en de privacy van je site te beschermen. Een goed ingestelde robots.txt blokkeert onbelangrijke pagina's, bespaart crawlbudget en voorkomt dat dubbele content meerdere keren wordt gecrawld. Een verkeerd ingestelde robots.txt kan per ongeluk belangrijke content blokkeren en je posities laten instorten.

Test wijzigingen in robots.txt altijd voordat je ze live zet. Valideer de regels met de tester van Google Search Console. Houd je crawlstatistieken maandelijks in de gaten. Blokkeer onbelangrijke content en beheer je crawlbudget effectief. Gebruik onze GEO SEO-audittool om je robots.txt-configuratie te controleren en mogelijke problemen met crawlbaarheid en indexering op je hele site op te sporen.