AI-audit van websitecrawlbaarheid: kunnen AI-bots je site echt bereiken?

Een AI-audit van websitecrawlbaarheid beantwoordt een simpele vraag: kunnen de AI's die je klanten antwoord geven je site lezen? Elk bedrijf publiceert de naam die zijn crawler in robots.txt gebruikt en elke instelling werkt apart. OpenAI legt bijvoorbeeld uit dat een site OAI-SearchBot kan toestaan om in ChatGPT-zoekresultaten te verschijnen en tegelijk GPTBot kan weigeren om zijn content buiten modeltraining te houden (OpenAI, overview of OpenAI crawlers). Eén regel in robots.txt kan je dus onzichtbaar maken in een AI-antwoord zonder dat je het weet.

Welke AI-crawlers controleert de audit?

De audit test 14 user-agents. Vijf ervan, hieronder gemarkeerd, bedienen zoeken en live antwoorden: ze blokkeren haalt je uit de antwoorden die mensen vandaag lezen.

Anthropic documenteert nu drie bots: ClaudeBot voor training, Claude-User voor pagina's die worden opgehaald wanneer iemand Claude een vraag stelt en Claude-SearchBot voor de kwaliteit van zoeken (Claude Help Center, Anthropic crawlers). Als je door Claude wilt worden geciteerd, sta dan ook de laatste twee toe in je robots.txt.

Hoe voer je de audit uit?

1. Voer je domein in, zoals jouwdomein.com. De audit leest https://yourdomain.com/robots.txt en de homepage.
2. Lees de vier cijfers bovenaan: toegestane zoekbots, geblokkeerde crawlers, gecontroleerde crawlers en gedeclareerde sitemaps.
3. Bekijk de crawlertabel: elke regel toont het bedrijf, de rol, de status en de regel die de status bepaalde.
4. Los de genoemde problemen op onder “Hoe verbeter je het” en voer de audit daarna opnieuw uit.

De audit is gratis, met 3 checks per dag en zonder account.

Hoe wordt de score voor AI-crawlbaarheid berekend?

Elke crawler telt als één controle: toegestaan levert alle punten op, gedeeltelijk de helft, geblokkeerd niets. De vijf zoekcrawlers wegen twee keer zo zwaar als de trainingscrawlers en een noindex op de homepage, in de meta robots-tag of de X-Robots-Tag-header, telt dubbel als mislukking. De score is het aandeel behaalde punten.

De score beloont openheid. Als je de vijf zoekcrawlers openhoudt en de negen andere blokkeert, komt je score rond 57 uit: dat is een bewuste keuze, geen fout. Kijk in dat geval eerst naar het cijfer “Zoekbots OK”, dat 5/5 moet zijn.

Wat betekenen toegestaan, gedeeltelijk en geblokkeerd?

De audit past de regels in robots.txt toe zoals crawlers dat doen: hij neemt de groep die op naam voor de crawler is geschreven, of de groep “User-agent: *” als die er niet is.

• Toegestaan: er geldt geen groep, of de groep heeft geen Disallow-regel.
• Gedeeltelijk: sommige paden zijn geweigerd, zoals /admin/ of /cart/. Dat is meestal prima; controleer of je contentpagina's niet in de lijst staan.
• Geblokkeerd: “Disallow: /” zonder “Allow: /”, dus de crawler mag geen enkele pagina lezen.

De regels volgen het Robots Exclusion Protocol dat door de IETF is gestandaardiseerd in RFC 9309, dat sitebeheerders er ook aan herinnert dat deze regels “geen vorm van toegangsautorisatie zijn” (RFC 9309, Robots Exclusion Protocol). Robots.txt is een verzoek dat welgemanierde crawlers honoreren, geen slot.

Moet je AI-crawlers blokkeren of binnenlaten?

Scheid de twee toepassingen. Zoekcrawlers brengen bronvermeldingen en bezoeken; trainingscrawlers voeden toekomstige modellen. De meeste bedrijven die willen worden aanbevolen, openen de eerste groep en beslissen per geval over de tweede.

Twee officiële verduidelijkingen helpen bij de beslissing. Google stelt dat Google-Extended de opname van een site in Google Zoeken niet beïnvloedt en geen rankingsignaal is (Google, common crawlers). Perplexity stelt dat PerplexityBot sites toont in zijn zoekresultaten en niet wordt gebruikt om foundation-modellen voor AI te trainen (Perplexity, documentatie over crawlers). Applebot-Extended van Apple bepaalt alleen de training: Apple merkt op dat je content vindbaar blijft via Spotlight, Siri en Safari (Apple Support, about Applebot).

Hoe los je een geblokkeerde AI-crawler op?

Bewerk het bestand robots.txt in de root van je domein. Om ChatGPT-zoeken te openen en GPTBot buiten te houden, voeg je twee groepen toe:

• User-agent: OAI-SearchBot gevolgd door Allow: /
• User-agent: GPTBot gevolgd door Disallow: /

Controleer daarna drie dingen die de wijziging vaak ongedaan maken.

1. Een CDN- of firewallregel die AI-user-agents blokkeert voordat robots.txt zelfs maar is gelezen. Sommige CDN's bieden een schakelaar met één klik die AI-bots blokkeert.
2. Een noindex in een metatag of een X-Robots-Tag-header, die de audit apart meldt.
3. De vertraging: OpenAI en Perplexity zeggen allebei dat het ongeveer 24 uur kan duren voordat wijzigingen zichtbaar zijn.

De robots.txt-checker valideert de syntaxis en de robots.txt-generator schrijft een schoon bestand. Het woordenlijstartikel over AI-crawlers legt elke bot uitgebreider uit.

Waarom kijkt de audit naar de sitemap en noindex?

Omdat toegang niet genoeg is: crawlers moeten je pagina's ook kunnen vinden en mogen gebruiken. Een regel “Sitemap:” in robots.txt wijst elke crawler naar je lijst met URL's en een noindex op de homepage vertelt zoeksystemen de site weg te laten. Google bevestigt dat een pagina, om als ondersteunende link in AI Overviews of AI Mode te verschijnen, moet zijn geïndexeerd en in aanmerking moet komen voor een snippet (Google, AI features and your website). Voor een overzicht per pagina gebruik je de indexeerbaarheidschecker en de sitemapchecker.

Wat zijn de beperkingen van de audit?

• Hij leest regels, geen verkeer: hij kan niet zien of een crawler je echt heeft bezocht. Je serverlogs laten dat zien.
• Een ontbrekende robots.txt geldt als open: wanneer het bestand niet kan worden gelezen, wordt elke crawler als toegestaan getoond. Als het bestand met een serverfout antwoordt, kunnen crawlers de hele site juist als geblokkeerd behandelen, zoals RFC 9309 voorschrijft, dus controleer de statuscode.
• Firewalls zijn onzichtbaar voor de audit: een bot die op CDN-niveau is geblokkeerd, wordt nog steeds als toegestaan getoond.
• Er verschijnen vaak nieuwe crawlers: de lijst bestrijkt de belangrijkste AI-bedrijven, niet elke bot op het web.

Van open deuren naar echte bronvermeldingen

Een open robots.txt maakt bronvermeldingen mogelijk; hij creëert ze niet. Zodra de crawlers je kunnen lezen, controleer je met de ChatGPT-zichtbaarheidschecker of ChatGPT je echt citeert. De AI-vermeldingstracking van Sorank volgt je bronvermeldingen daarna elke week in ChatGPT, Perplexity, Gemini en Claude en de blogartikelgenerator publiceert de pagina's die die AI's graag citeren. Bekijk de Sorank-abonnementen om het op autopilot te laten draaien.