Robots.txt voor AI-crawlers: wat je toestaat en wat je blokkeert

Kort samengevat: om zichtbaar te blijven in AI-antwoorden sta je de zoek- en ophaalcrawlers van gebruikers toe (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User en Googlebot) en beslis je apart of je de trainingscrawlers toestaat (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot). Een trainingsbot blokkeren haalt je niet uit AI-zoeken; een zoekbot blokkeren meestal wel. Elke regel komt in je robots.txt onder de exacte naam van de user agent die de leverancier documenteert.

Je robots.txt voor AI-crawlers is een zakelijke beslissing geworden, niet alleen een technisch bestand. Hetzelfde bestand dat vroeger alleen met Googlebot praatte, bepaalt nu of ChatGPT, Claude, Perplexity en Gemini je pagina's kunnen lezen, citeren en linken. Het formaat zelf is niet veranderd: het is nog steeds het Robots Exclusion Protocol, gestandaardiseerd als RFC 9309, met user agents en regels voor Allow en Disallow. Wat is veranderd, is het aantal agents en het feit dat één leverancier meerdere bots met verschillende doelen kan inzetten.

Welke AI-crawlers bestaan er en wat doen ze?

De meeste AI-leveranciers scheiden training, zoekindexering en ophalen op verzoek van de gebruiker nu in verschillende user agents. De tabel vat de belangrijkste samen zoals elke leverancier ze documenteert.

Bronnen: de crawlerdocumentatie van OpenAI en de lijst met veelvoorkomende crawlers van Google. Namen veranderen af en toe, dus controleer de pagina van elke leverancier voordat je het bestand aanpast. Onze woordenlijstitems over AI-crawlers en OpenAI-crawlers houden de definities kort.

Moet je AI-crawlers blokkeren?

Voor de meeste bedrijven die klanten willen: nee. Blokkeer training als je dat moet, houd zoekcrawlers open. De afweging hangt af van wat je verkoopt:

• Merken, SaaS, e-commerce, lokale bedrijven: AI-antwoorden zijn een acquisitiekanaal. Zoekcrawlers blokkeren haalt je daaruit. Trainingscrawlers toestaan helpt ook toekomstige modellen je merk te kennen.
• Uitgevers die leven van paginaweergaven of abonnementen: trainingscrawlers blokkeren beschermt de waarde van de content; zoekcrawlers open houden levert nog steeds citaties en links op.
• Sites met privé- of gelicentieerde content: blokkeer breed en dwing het af op serverniveau, want robots.txt is een verzoek, geen toegangscontrole.

Hoe ziet een aanbevolen robots.txt eruit?

Expliciete groepen per user agent, met toegestane zoekbots en een duidelijke keuze voor trainingsbots. Voorbeeld voor een bedrijf dat AI-zichtbaarheid wil, maar liever geen trainingsdata levert:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

Verwijder de tweede groep als je het goed vindt dat je content voor training wordt gebruikt. Onze gratis robots.txt-generator bouwt het bestand en de robots.txt-controle laat zien welke agents een live bestand daadwerkelijk toestaat.

Welke fouten blokkeren per ongeluk de AI-zichtbaarheid?

De meest voorkomende is een algemene regel die van een forum is gekopieerd. Veelvoorkomende fouten:

• “User-agent: * / Disallow: /” die van staging is overgebleven en elke bot blokkeert, ook Googlebot.
• OAI-SearchBot blokkeren terwijl je GPTBot wilde blokkeren, waardoor je uit ChatGPT search verdwijnt in plaats van alleen uit training.
• Een botbeschermingsregel van een CDN of firewall die ongeacht robots.txt een 403 teruggeeft aan AI-user agents. Controleer je serverlogs.
• De CSS en JavaScript blokkeren die nodig zijn om de pagina te renderen, waardoor crawlers een lege schil zien.
• Belangrijke content die alleen aan de clientzijde wordt geladen; veel AI-crawlers voeren geen JavaScript uit, dus lever de hoofdtekst in de HTML.

Is robots.txt genoeg om geciteerd te worden?

Nee, het opent alleen de deur. Zodra crawlers je pagina's kunnen lezen, hangt een citatie ervan af of die pagina's vragen duidelijk beantwoorden, zijn gestructureerd voor extractie en door andere bronnen worden bevestigd. Schone gestructureerde data voor AI-zoeken, secties waarin het antwoord voorop staat en een optioneel bestand llms.txt helpen bij de volgende stap.

Conclusie

Behandel AI-crawlers als aparte beslissingen: open de zoek- en ophaalbots, kies bewust voor trainingsbots en controleer dat je server hetzelfde beleid toepast. Meet daarna of de open deur citaties oplevert. Sorank volgt je merk elke week in ChatGPT, Claude en Gemini en publiceert content die is gestructureerd om te worden geciteerd: begin met een gratis proefperiode van 3 dagen.