Gratis robots.txt-generator voor elke website

Een robots.txt-generator behoedt je voor de kleine syntaxfouten die per ongeluk een hele site blokkeren. Het bestand volgt het Robots Exclusion Protocol, in 1994 bedacht door Martijn Koster en in september 2022 door de IETF gepubliceerd als internetstandaard (RFC 9309, Robots Exclusion Protocol). Elke serieuze crawler leest het als eerste, van Googlebot tot de bots van ChatGPT, Claude en Perplexity.

Wat doet de robots.txt-generator?

Hij bouwt tijdens het typen een geldig robots.txt-bestand, met rechts een live voorvertoning, een knop Kopiëren en een knop Downloaden die een bestand met de naam robots.txt opslaat. Er wordt niets naar een server gestuurd: het bestand wordt in je browser samengesteld.

In de aangepaste modus delen alle user-agents die je opgeeft dezelfde regels, zo definieert de standaard een groep. Om verschillende bots verschillende regels te geven, genereer je één groep tegelijk en plak je ze na elkaar in hetzelfde bestand.

Hoe maak je stap voor stap een robots.txt-bestand?

1. Kies de modus. Begin met “Alles toestaan”, tenzij je een reden hebt om iets te blokkeren.
2. Geef je user-agents op in de aangepaste modus, één per regel: * voor alle crawlers, of namen zoals Googlebot, Bingbot of GPTBot.
3. Voeg de te blokkeren paden toe (Disallow) en de uitzonderingen die open blijven (Allow), één per regel, elk beginnend met een schuine streep.
4. Plak de URL van je sitemap volledig, met https en het domein.
5. Kopieer of download het bestand en upload het naar de hoofdmap van je host, zodat het antwoordt op https://example.com/robots.txt.
6. Test het in productie met de gratis robots.txt-checker, die het live bestand leest en de status van elke AI-crawler toont.

De locatie is strikt. Google leest alleen een robots.txt in de hoofdmap van een host, een site kan er maar één hebben en het bestand geldt alleen voor het protocol, de host en de poort waar het staat: een subdomein heeft een eigen bestand nodig (Google, create and submit a robots.txt file).

Welke robots.txt-regels volgt Google?

Google ondersteunt vier velden: user-agent, allow, disallow en sitemap. Andere velden zoals crawl-delay worden niet ondersteund (Google, how Google interprets the robots.txt specification). Dezelfde pagina legt de onderstaande regels vast.

Hier is een typisch bestand voor een webwinkel. Het blokkeert het winkelwagentje, de kassa en de interne zoekfunctie, houdt één openbare map open en geeft de sitemap op.

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /search
Allow: /checkout/help/

Sitemap: https://example.com/sitemap.xml

Haalt Disallow een pagina uit Google?

Nee. Robots.txt is geen mechanisme om een webpagina uit Google te houden. Een geblokkeerde URL kan nog steeds worden geïndexeerd als andere sites ernaar linken, en verschijnt dan zonder beschrijving (Google, introduction to robots.txt). Om een pagina te verbergen laat je Google haar crawlen en voeg je een noindex-metatag of HTTP-header toe. Als je de pagina tegelijk in robots.txt blokkeert, ziet Google de noindex nooit.

Controleer het resultaat pagina voor pagina met de indexeerbaarheidschecker, die robots.txt, meta robots, X-Robots-Tag en canonical samen leest. Voor de terminologie zie je onze woordenlijstitems over robots.txt en crawlen en indexeren.

Moet je AI-crawlers blokkeren in robots.txt?

Blokkeer de bots die modellen trainen als je dat wilt, maar houd de bots die AI-zoekopdrachten voeden open. De grote aanbieders scheiden die twee nu, dus je hoeft niet meer te kiezen tussen je content beschermen en geciteerd worden.

Bronnen: OpenAI crawlers overview, Anthropic crawler policy, Perplexity crawlers en Google common crawlers. Om training te weigeren en toch door ChatGPT geciteerd te kunnen worden, is een bestand met alleen deze twee regels genoeg, want elke andere bot blijft standaard toegestaan:

User-agent: GPTBot
Disallow: /

De trend is echt: in één jaar (2023 tot 2024) werd 28% of meer van de best onderhouden bronnen van de C4-trainingsdataset volledig afgesloten voor AI-crawlers (Longpre et al., Consent in Crisis, 2024). Controleer voordat je die volgt wat blokkeren je kost in AI-antwoorden: de AI-vermeldingstracking van Sorank toont elke week of ChatGPT, Claude, Gemini en Perplexity je merk noemen.

Welke robots.txt-fouten schaden SEO het meest?

• Disallow: / laten staan na een lancering. Stagingbestanden belanden vaak in productie. Eén regel blokkeert elke crawler voor de hele site.
• CSS en JavaScript blokkeren. Als ontbrekende bronnen de pagina moeilijker te begrijpen maken, raadt Google af ze te blokkeren.
• De slotstreep vergeten. Disallow: /admin blokkeert ook /administration en /admin-guide. Schrijf /admin/ om alleen de map te blokkeren.
• Voor Google op Crawl-delay vertrouwen. Google negeert het. Anthropic zegt de extensie te ondersteunen, dus bewaar het alleen voor bots die het lezen.
• Robots.txt als beveiligingsmiddel gebruiken. Het bestand is openbaar en iedereen kan het lezen. Bescherm privégedeelten met een login, niet met een Disallow-regel die er rechtstreeks naar wijst.
• De WordPress-uitzondering vergeten. Het standaardbestand van WordPress blokkeert /wp-admin/, maar staat /wp-admin/admin-ajax.php toe, dat door front-endfuncties wordt gebruikt (WordPress developer reference).

Hoe controleer je je robots.txt nadat je hem hebt gepubliceerd?

Gebruik drie controles, van de snelste tot de meest complete.

1. Open de URL https://yourdomain.com/robots.txt in een browser. Je moet platte tekst zien, geen HTML-pagina of 404.
2. Voer de robots.txt-checker uit om regelgroepen, sitemaps, problemen en de status van 14 AI-user-agents te zien.
3. Open het robots.txt-rapport in Search Console. Het toont de bestanden die Google heeft gevonden voor de top 20 hosts van je site, de laatste crawl en de waarschuwingen, en laat je na een dringende reparatie een nieuwe crawl aanvragen (Search Console Help, robots.txt report).

Rond de setup daarna af: genereer een schone sitemap met de XML-sitemapgenerator en een llms.txt-bestand met de llms.txt-generator, dat AI-assistenten een samenvatting van je belangrijkste pagina's geeft.

Wat zijn de beperkingen van een gegenereerde robots.txt?

De generator schrijft een correcte syntaxis, maar kan je site niet kennen. Hij controleert niet of een geblokkeerd pad pagina's bevat die je wilt laten scoren, en hij schrijft één groep tegelijk. Slechte bots negeren het bestand helemaal: robots.txt is een verzoek, geen muur, dus blokkeer misbruikend verkeer op serverniveau of in de firewall. Tot slot dekt het protocol alleen het crawlen. Een pagina die op verzoek van een gebruiker wordt opgehaald, zoals door ChatGPT-User of Perplexity-User, volgt mogelijk de robots.txt-regels niet, zoals beide aanbieders in hun documentatie vermelden.

Hoe maak je je site makkelijk te crawlen en te citeren?

Een nette robots.txt is de eerste stap. De volgende stappen zijn pagina's publiceren die het crawlen waard zijn en controleren of crawlers echt terugkomen.

• Volg je crawl en je verkeer in het GEO / SEO-dashboard, dat Search Console, Analytics en bezoeken vanuit ChatGPT en Perplexity samenbrengt.
• Zie welke sites AI-assistenten op jouw markt citeren met de GEO-ranglijst, en waar jij daartussen staat.
• Publiceer regelmatig met de blogartikelgenerator, zodat crawlers altijd iets nieuws vinden.

Een robots.txt van twee minuten beschermt tegelijk je crawlbudget en je AI-zichtbaarheid. Genereer de jouwe hierboven, test hem met de checker en bekijk daarna de abonnementen van Sorank om je site op autopilot crawlbaar en geciteerd te houden.