Geblokkeerd door robots.txt: wat deze Search Console-status betekent en hoe je hem oplost

De status geblokkeerd door robots.txt verschijnt in het rapport Pagina-indexering van Google Search Console, tussen de redenen waarom pagina's niet geïndexeerd zijn. De documentatie van het rapport Pagina-indexering vat hem samen in één regel: de pagina is geblokkeerd door het robots.txt-bestand van je site. Achter die regel zitten twee heel verschillende situaties, een gezonde en een onbedoelde blokkade, plus een verwarrende verwant: 'Geïndexeerd, hoewel geblokkeerd door robots.txt'. Deze gids laat zien hoe je ze uit elkaar houdt en elk ervan oplost zonder iets anders kapot te maken. Is het bestand zelf nieuw voor je, begin dan met onze definitie van robots.txt.

Wat betekent 'Geblokkeerd door robots.txt' in Search Console?

Je robots.txt-bestand staat in de root van de host (voorbeeld.nl/robots.txt) en vertelt crawlers welke paden ze mogen ophalen. Vindt Googlebot een URL, via een link of een sitemap, dan controleert hij eerst dat bestand. Past een Disallow-regel voor zijn user-agent op het pad, dan haalt hij de pagina niet op. Search Console zet de URL dan onder 'Geblokkeerd door robots.txt'.

Dat heeft twee gevolgen. Google ziet de inhoud, de titel, de interne links en de metatags van de pagina niet. En omdat Google de pagina nooit leest, ziet het ook geen noindex-tag. De status staat bij de redenen voor niet-indexering en is voor de meeste sites puur informatief: Google merkt zelf op dat URL's die door robots.txt zijn geblokkeerd, waarschijnlijk bewust zijn geblokkeerd.

Het probleem begint als de lijst pagina's bevat die je in Google wilt zien: productpagina's, artikelen, categorieën of na een migratie de hele site. Dan is de blokkade een directe oorzaak van een website die niet in Google verschijnt, en een van de technische problemen die je het snelst oplost.

'Geblokkeerd door robots.txt' of 'Geïndexeerd, hoewel geblokkeerd'?

De tweede status lijkt tegenstrijdig en baart sitebeheerders de meeste zorgen. Googles introductie tot robots.txt legt het uit: robots.txt is geen middel om een pagina uit Google te houden. Linken andere pagina's naar een geblokkeerde URL, dan kan Google de URL zelf indexeren zonder hem te crawlen. Het resultaat toont dan het adres zonder beschrijving, omdat Google de tekst nooit heeft gelezen.

Waar het om draait: bepaal eerst per URL wat je wilt, geïndexeerd of niet geïndexeerd. Robots.txt beantwoordt een andere vraag (gecrawld of niet gecrawld), en die twee door elkaar halen is de bron van de meeste fouten.

Waarom worden je pagina's geblokkeerd door robots.txt?

De meeste onbedoelde blokkades hebben een handvol oorzaken. Controleer ze in deze volgorde:

• Een stagingregel die in productie belandt. Disallow: / beschermt een testomgeving, gaat mee bij de lancering en blokkeert alles.
• Een CMS-instelling. WordPress heeft de optie 'Zoekmachines ontmoedigen deze site te indexeren'; andere platforms hebben vergelijkbare schakelaars die robots.txt aanpassen of headers toevoegen.
• Een te brede regel. Disallow: /p blokkeert /producten/ en /prijzen/ net zo goed als /p/. Robots.txt-regels gelden voor het begin van het pad.
• Jokertekens. * staat voor elke reeks tekens en $ markeert het einde van een URL. Disallow: /*? blokkeert elke URL met een parameter, ook gepagineerde of gefilterde pagina's die je geïndexeerd wilt hebben.
• Geblokkeerde bronnen. Wie /assets/ of /wp-includes/ blokkeert, verbergt de CSS en JavaScript die Google nodig heeft om de pagina te renderen, waardoor het je inhoud slechter begrijpt.
• Een migratie. Paden veranderen, de oude robots.txt blijft staan, of de nieuwe host levert een eigen standaardbestand.
• De verkeerde host. Elk subdomein en elk protocol heeft een eigen bestand: regels op www.voorbeeld.nl gelden niet voor shop.voorbeeld.nl.

Onthoud dat Google de meest specifieke regel volgt (het langste overeenkomende pad) en dat bij een even specifieke Allow- en Disallow-regel de minst beperkende wint. Een gerichte Allow: /blog/ kan dus een map onder een bredere blokkade weer openzetten.

'Geblokkeerd door robots.txt' stap voor stap oplossen

1. Exporteer de betrokken URL's

Open in Google Search Console Indexering, dan Pagina's, en klik op de rij 'Geblokkeerd door robots.txt'. Exporteer de lijst en sorteer op map. Meestal zie je binnen een minuut een patroon: één map, één parameter, één subdomein.

2. Scheid bewuste blokkades van fouten

Markeer elk patroon als 'geblokkeerd laten' of 'hoort in Google'. Winkelwagens, checkout, klantaccounts, interne zoekresultaten en beheeromgevingen horen in de eerste groep. Alles wat een zoekvraag beantwoordt, links krijgt of in je XML-sitemap staat, hoort in de tweede. Een URL die zowel in de sitemap staat als geblokkeerd is, is een tegenstrijdigheid die je moet oplossen.

3. Zoek de regel die past

Open de URL-inspectietool voor een voorbeeld-URL: die laat zien of crawlen is toegestaan. Lees daarna het live bestand, of plak de URL in onze gratis robots.txt-checker om te zien welke regel hem blokkeert en voor welke user-agent.

4. Pas het bestand aan

Verwijder of versmal de regel, of voeg een specifiekere Allow toe. Houd de wijziging minimaal en test haar op een URL die vrij moet komen én op een URL die geblokkeerd moet blijven. Is het bestand een rommeltje, bouw dan een schone versie met onze robots.txt-generator en vergelijk vóór publicatie.

5. Laat Google het nieuwe bestand lezen

Google bewaart robots.txt doorgaans tot 24 uur in de cache, volgens de robots.txt-specificatie. Wil je het versnellen, open dan Instellingen en vervolgens het robots.txt-rapport van Search Console (beschikbaar voor domeinproperty's) en vraag een nieuwe crawl van het bestand aan. Vraag daarna in de URL-inspectie indexering aan voor je belangrijkste vrijgegeven URL's.

6. Valideer en houd het in de gaten

Klik op de pagina van het probleem op 'Oplossing valideren'. Validatie kan enkele dagen tot een paar weken duren, en nieuwe URL's worden gecontroleerd zodra Google ze opnieuw crawlt. Onze gids over indexering in Google legt uit wat er na het crawlen gebeurt, als Google beslist of een pagina het bewaren waard is.

'Geïndexeerd, hoewel geblokkeerd door robots.txt' oplossen

De oplossing hangt af van wat je met de pagina wilt:

1. Je wilt de pagina in Google. Haal de blokkade weg. Google crawlt de pagina, leest de inhoud en toont een normaal resultaat met titel en beschrijving.
2. Je wilt de pagina niet in Google. Haal de blokkade ook weg en zet daarna <meta name="robots" content="noindex"> in de head, of een HTTP-header X-Robots-Tag: noindex voor pdf's en andere bestanden. Heeft Google de pagina opnieuw gecrawld en verwijderd, dan kun je haar weer blokkeren als het crawlvolume ertoe doet, wat de meeste sites nooit nodig hebben. Onze definitie van noindex legt de opties uit.
3. De pagina hoort niet openbaar te zijn. Bescherm haar met een wachtwoord of verwijder haar (404 of 410). Robots.txt en noindex zijn geen beveiligingsmaatregelen.

Bij gefacetteerde navigatie met duizenden filter-URL's kan een blokkade in robots.txt het juiste middel blijven om crawlbudget te sparen. De waarschuwing 'Geïndexeerd, hoewel geblokkeerd' op een paar van die URL's is dan acceptabel, zolang de canonieke versies van je categorieën crawlbaar en geïndexeerd zijn.

Zo controleer je of de oplossing gewerkt heeft

Drie signalen bevestigen een geslaagde oplossing. De URL-inspectie van de live URL toont 'Crawlen toegestaan: Ja'. Het aantal geblokkeerde pagina's in het rapport Pagina-indexering daalt in de weken daarna. En de vrijgegeven pagina's krijgen vertoningen in het prestatierapport. Een snelle controle met onze indexeerbaarheidschecker vangt ook de andere blokkades die vaak samen met robots.txt-fouten optreden: een vergeten noindex, een verkeerde canonical of een redirect.

Monitoring is belangrijk, want deze fouten komen terug. Een thema-update, een plug-in of een deploymentscript kan robots.txt herschrijven zonder dat iemand het merkt. Pagina's volgen waarvan de klikken en vertoningen plots dalen, is de snelste vroege waarschuwing.

Het GEO / SEO-dashboard van Sorank koppelt met Search Console en toont die stijgende en dalende pagina's in één overzicht. Een blokkade die met een deployment is binnengeslopen, zie je zo als een groep dalende URL's in plaats van als een langzaam, onverklaarbaar verlies.

Robots.txt, AI-crawlers en GEO

Robots.txt heeft inmiddels een tweede publiek: de crawlers van AI-assistenten. OpenAI, Anthropic, Perplexity en Google publiceren elk user-agents (GPTBot en OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended) die robots.txt respecteren. Een regel voor een van hen, of een algemene blokkade met User-agent: *, bepaalt of ChatGPT, Claude of Perplexity je pagina's kunnen lezen als ze het web doorzoeken om een antwoord op te bouwen.

Dezelfde redenering als bij Google geldt: bepaal per bot wat je wilt. Trainingscrawlers blokkeren en zoekcrawlers toelaten is een gangbaar compromis. Onze gids over robots.txt voor AI-crawlers zet de user-agents en de regels per bot op een rij. Het woordenlijstitem over AI-crawlers legt uit welke bot wat doet.

Wil je het effect van deze keuzes zien, volg dan de prompts die voor je bedrijf tellen. AI-vermeldingstracking in Sorank laat zien of ChatGPT, Gemini of Claude je site citeren, en welke concurrenten ze in jouw plaats noemen.

De regel om te onthouden

Robots.txt bepaalt wat crawlers mogen lezen; noindex bepaalt wat zoekresultaten mogen tonen. Gebruik blokkades alleen voor onderdelen zonder zoekwaarde, blokkeer nooit een pagina die je wilt laten indexeren of de-indexeren, en bekijk het rapport Pagina-indexering na elke migratie of deployment. De meeste problemen met 'geblokkeerd door robots.txt' zijn binnen minuten opgelost zodra je de juiste regel hebt gevonden, en het Search Console-dashboard van Sorank helpt je de volgende te spotten voordat die verkeer kost.