Samenvatting
De gratis robots.txt-checker leest de live robots.txt van elk domein en toont de regelgroepen, de sitemaps, de gevonden problemen en de status van 14 AI-crawlers (toegestaan, gedeeltelijk of geblokkeerd), van GPTBot en OAI-SearchBot tot ClaudeBot, PerplexityBot en Google-Extended. Gebruik hem na elke wijziging in het bestand en telkens wanneer je pagina's niet meer verschijnen in Google of in AI-antwoorden.
Wil je verder gaan? Vraag het aan
Een robots.txt-checker vangt de regel op die stilletjes een hele site blokkeert. Robots.txt is een openbare standaard (RFC 9309) die elke grote crawler leest voordat hij een site bezoekt, en AI-crawlers hebben het aantal bots dat het bestand moet afhandelen sterk vergroot. Tussen mei 2024 en mei 2025 groeide het aandeel van GPTBot in het verkeer van AI-crawlers van 5% naar 30% en bereikte Meta-ExternalAgent 19% (Cloudflare, who's crawling your site in 2025). Je bestand moet iets zinnigs zeggen tegen al die bots.
Wat toont de robots.txt-checker?
Voer een domein in en de tool haalt https://yourdomain/robots.txt op, volgt omleidingen, parseert het bestand en geeft vijf blokken terug.
| Blok | Wat het toont | Waar je op moet letten |
|---|---|---|
| Regelgroepen | Hoeveel User-agent-groepen het bestand bevat | Nul betekent dat de syntaxis niet kon worden gelezen |
| Sitemaps | Elke gevonden Sitemap-regel | Minstens één volledige URL naar je sitemap |
| Geblokkeerde AI-bots | Hoeveel van de 14 AI-crawlers volledig zijn geblokkeerd | Alleen degene die je bewust hebt geblokkeerd |
| Problemen | Gedetecteerde problemen, met een aanbeveling | Nul, of alleen bewuste keuzes |
| Ruw bestand | De robots.txt zoals aangeleverd | Dat het het bestand is waarvan je denkt dat je het hebt gepubliceerd |
Als het domein geen robots.txt heeft, of een HTML-pagina teruggeeft in plaats van platte tekst, meldt de tool dat en raadt hij aan er een toe te voegen. De gratis versie voert 3 checks per dag uit.
Hoe bepaalt de checker of een AI-bot is geblokkeerd?
Voor elk van de 14 AI-crawlers zoekt de tool een groep die de bot noemt. Als die er niet is, gebruikt hij de groep User-agent: *. Daarna past hij drie statussen toe.
| Status | Gevonden regel in de groep | Wat het betekent |
|---|---|---|
| Toegestaan | Er geldt geen groep, of de groep heeft geen Disallow-regel | De bot kan de hele site crawlen |
| Gedeeltelijk | Disallow-regels alleen voor sommige paden | De bot kan de site crawlen, behalve die paden |
| Geblokkeerd | Disallow: / zonder Allow: / | De bot wordt gevraagd uit de hele site weg te blijven |
De 14 gecontroleerde crawlers zijn GPTBot, OAI-SearchBot en ChatGPT-User (OpenAI), ClaudeBot, Claude-Web en anthropic-ai (Anthropic), PerplexityBot en Perplexity-User, Google-Extended, Applebot-Extended, CCBot (Common Crawl), Amazonbot, Bytespider (ByteDance) en Meta-ExternalAgent. De tabel toont ook de aanbieder en het doel van elke bot, zodat je in één oogopslag ziet of je training, zoeken of live browsen blokkeert.
Welke AI-crawlers moet je toestaan?
Sta de crawlers toe die je pagina's in AI-zoekantwoorden brengen. Trainingscrawlers blokkeren is een zakelijke keuze; zoekcrawlers blokkeren is meestal een vergissing.
- OAI-SearchBot: sites die zich afmelden worden niet getoond in de zoekantwoorden van ChatGPT. GPTBot gaat alleen over modeltraining en de twee instellingen zijn onafhankelijk (overzicht van de crawlers van OpenAI).
- PerplexityBot: hij toont en linkt websites in Perplexity-resultaten en wordt niet gebruikt om foundation-modellen te trainen (Perplexity-crawlers).
- Google-Extended: een token voor training en grounding van Gemini dat de opname in Google Zoeken of de rankings niet beïnvloedt (common crawlers van Google).
- Anthropic: ClaudeBot verzamelt trainingsdata, terwijl Claude-SearchBot en Claude-User zoeken en gebruikersverzoeken bedienen; die twee blokkeren kan je zichtbaarheid in Claude verminderen (crawlerbeleid van Anthropic).
De meeste sites beslissen nooit. Op 6 juni 2025 had slechts ongeveer 14% van de top 10000 domeinen met een robots.txt regels voor AI-bots, en GPTBot was zowel het vaakst geblokkeerd (312 domeinen) als het vaakst expliciet toegestaan (61 domeinen), volgens dezelfde studie van Cloudflare. Bots die niet in het bestand worden genoemd, zijn standaard toegestaan.
Wat betekenen de meest voorkomende problemen?
| Gemeld probleem | Waarom het ertoe doet | Oplossing |
|---|---|---|
| User-agent: * is geblokkeerd voor de hele site | Elke crawler zonder eigen groep, Googlebot inbegrepen, wordt gevraagd weg te blijven | Verwijder Disallow: / uit de groep *, tenzij de site een staging-kopie is |
| Geen Sitemap-directive | Crawlers aan wie je de sitemap nooit hebt aangemeld, zoals Bing of AI-crawlers, vinden hem misschien niet | Voeg Sitemap: https://yourdomain/sitemap.xml toe |
| Een genoemde AI-bot is geblokkeerd | Die aanbieder crawlt je pagina's niet | Laat het alleen zo als het blokkeren van die bot een bewuste keuze is |
| Geen User-agent-groepen geparseerd | Het bestand bevat geen geldige regel, dus het beperkt niets | Controleer de syntaxis: Field: value, één instructie per regel |
| Geen robots.txt gevonden | Op zich geen fout: Google crawlt dan alles | Voeg toch een bestand toe om je sitemap en je AI-keuzes te declareren |
Een ontbrekend of kapot bestand wordt door Google verschillend behandeld, afhankelijk van de HTTP-status. Een 4xx-antwoord (behalve 429) betekent geen beperkingen. Een 5xx-antwoord wordt behandeld als een serverfout: Google pauzeert het crawlen 12 uur en gebruikt daarna tot 30 dagen zijn laatste goede kopie (Google, how Google interprets the robots.txt specification). Een robots.txt die blijft falen met serverfouten kan dus het crawlen van een gezonde site bevriezen.
Hoe los je een robots.txt-probleem stap voor stap op?
- Lees het ruwe bestand in het rapport om te bevestigen wat er echt online staat. CDN-caches en staging-deployments leveren vaak een oude versie.
- Herschrijf het bestand met de robots.txt-generator, die nette groepen, Allow- en Disallow-regels en de Sitemap-regel bouwt.
- Upload het naar de root van elke host. Een subdomein zoals blog.example.com heeft een eigen bestand nodig.
- Voer de checker opnieuw uit en bevestig dat de statussen zijn veranderd.
- Meld het aan Google als de oplossing urgent is. Het robots.txt-rapport in Search Console toont de bestanden die Google voor je 20 belangrijkste hosts heeft gevonden en laat je een nieuwe crawl aanvragen (Search Console Help, robots.txt report). Anders vernieuwt Google zijn gecachete kopie binnen ongeveer 24 uur.
Controleer daarna de pagina's zelf. Een pagina die in robots.txt openstaat, kan toch uit de index blijven door een noindex-tag of een canonical die elders naartoe wijst: de indexeerbaarheidschecker test dit allemaal op één URL. Voor een overzicht van de hele site van wat AI-crawlers kunnen lezen voer je de AI-audit van crawlbaarheid uit.
Wat zijn de beperkingen van de robots.txt-checker?
- Statussen worden per bot samengevat, niet per URL. “Gedeeltelijk” vertelt je dat sommige paden zijn gesloten; lees de regels om te zien welke.
- Eén groep per bot. Als je de regels voor dezelfde bot over meerdere groepen verdeelt, combineert Google ze. Lees in dat geval het ruwe bestand.
- Alleen het hoofddomein. De tool leest het bestand van het domein dat je invoert, zonder www, en volgt omleidingen. Controleer elk subdomein apart.
- Een lijst van 14 bots. Nieuwere user-agents zoals Claude-SearchBot en Claude-User staan nog niet in de tabel: zoek ze in het ruwe bestand.
- Robots.txt is een verzoek. Betrouwbare crawlers volgen het, misbruikers niet, en opvragingen die door een gebruiker worden geactiveerd, zoals ChatGPT-User of Perplexity-User, passen het mogelijk niet toe, zoals OpenAI en Perplexity beide documenteren.
Voor de terminologie achter deze controles zie je onze woordenlijstartikelen over robots.txt en AI-crawlers.
Hoe zorg je dat AI-assistenten je kunnen vinden en citeren?
Een open robots.txt is de voorwaarde, niet het resultaat. Meet zodra crawlers je site kunnen lezen of AI-assistenten hem ook echt gebruiken.
- Volg je merk in AI-antwoorden met de AI-vermeldingstracking van Sorank, die elke week controleert of ChatGPT, Claude, Gemini en Perplexity je noemen en welke bronnen ze citeren.
- Volg AI-bezoeken naast je Google-klikken in het GEO / SEO-dashboard.
- Geef crawlers verse pagina's om te lezen met de contentplanner, die je kalender vult en op schema publiceert.
Eén verkeerde regel in robots.txt kan een site tegelijk verbergen voor Google en voor elke AI-assistent. Controleer de jouwe hierboven na elke wijziging en bekijk daarna de Sorank-abonnementen om je crawlbaarheid en AI-zichtbaarheid op autopilot te bewaken.
