Excluded by 'noindex' tag: is dat normaal, en hoe los je het op?

« Excluded by 'noindex' tag » is de enige indexeringsstatus die je zelf veroorzaakt, bewust of per ongeluk. De documentatie van het rapport Paginaindexering van Google beschrijft de reden in drie zinnen: « Toen Google probeerde de pagina te indexeren, kwam het een 'noindex'-instructie tegen en heeft het de pagina daarom niet geïndexeerd. Als je niet wilt dat deze pagina wordt geïndexeerd, gefeliciteerd! Als je wel wilt dat deze pagina wordt geïndexeerd, moet je de 'noindex'-instructie verwijderen. » Deze gids helpt je bepalen aan welke kant van die zin elke URL zit, de exacte bron van een ongewenste regel vinden en die oplossen zonder iets anders te breken.

Wat betekent « Excluded by 'noindex' tag »?

Een noindex-regel vraagt zoekmachines om een pagina niet in hun resultaten te tonen. Google leest hem op twee plekken, zoals de gids van Google over indexering blokkeren met noindex uitlegt:

• Een robots-metatag in de <head> van de HTML: <meta name="robots" content="noindex"> voor alle zoekmachines, of name="googlebot" alleen voor Google.
• Een X-Robots-Tag HTTP-header die de server met het antwoord meestuurt, met de waarde noindex of none. Dit is de enige optie voor bestanden zonder HTML, zoals pdf's.

Zodra Googlebot een van beide vindt, houdt hij de URL uit de index. De status verschijnt in de Search Console, onder Indexering en dan Pagina's, in de tabel « Why pages aren't indexed ». De helppagina noemt dezelfde reden als « URL marked 'noindex' »: beide labels beschrijven één situatie.

Drie feiten veranderen hoe je het rapport leest:

• Google heeft je gehoorzaamd. Anders dan bij « Crawled - currently not indexed », waar Google zelf tegen een pagina beslist, weerspiegelt deze status een instructie die je site heeft gestuurd.
• Er is een crawl voor nodig. Google kan een noindex-regel alleen zien op een pagina die het mag ophalen. Een pagina die door het robots.txt-bestand is geblokkeerd, bereikt deze status nooit.
• De regel kan uit elke schakel van de keten komen. HTML, CMS, plugin, thema, serverconfiguratie en CDN kunnen hem elk toevoegen, en de paginabron laat geen HTTP-headers zien.

Is het normaal of een fout?

De meeste sites hebben URL's in deze status, en veel daarvan horen daar ook thuis. Het rapport van Google zegt dat pagina's die als niet-geïndexeerd staan daar « niet noodzakelijk door een fout » staan. Sorteer de lijst op URL-type voordat je iets oplost.

De laatste regel telt zwaarder dan het lijkt. Een sitemap zegt tegen Google « indexeer deze pagina's », een noindex zegt het tegenovergestelde. Beperk de sitemap tot indexeerbare, canonieke URL's (onze gids over een sitemap bij Google indienen legt uit hoe je hem opschoont).

Waar komt een ongewenste noindex vandaan?

Wanneer een belangrijke pagina een noindex draagt, ligt de oorzaak bijna altijd bij een van de bronnen hieronder. Controleer ze in deze volgorde, van de meest voorkomende naar de zeldzaamste.

Het WordPress-geval komt vaak genoeg voor om het te noemen. Volgens de WordPress-documentatie over het scherm Lezen voegt het aanvinken van « Discourage search engines from indexing this site » noindex,nofollow toe in de head van elke pagina (sinds versie 5.3). Eén vergeten vinkje na een livegang is genoeg om een hele site uit Google te halen. Livegangen en redesigns zijn de meest riskante momenten, daarom bevat een SEO-migratiechecklist altijd een controle van de crawlregels. Voor WordPress-specifieke instellingen zie onze pagina over WordPress SEO en GEO.

Hoe diagnoseer je de status, stap voor stap?

1. Open het rapport. Ga in de Search Console naar Indexering, dan Pagina's, klik op « Excluded by 'noindex' tag » en exporteer de lijst.
2. Sorteer de URL's met de tabel hierboven. Zet de URL's opzij die buiten de index moeten blijven.
3. Inspecteer een belangrijke URL. Plak hem in het hulpmiddel URL-inspectie. De regel « Indexing allowed? » laat zien of Google een noindex zag en of die uit de robots-metatag of uit de X-Robots-Tag-header komt.
4. Test de live-URL. Klik op « Test live URL »: als de live versie geen noindex meer heeft, is de regel al verwijderd en heeft Google alleen een nieuwe crawl nodig.
5. Controleer beide plekken zelf. Zoek naar noindex in de paginabron en daarna in de antwoordheaders (ontwikkelaarstools van de browser, tabblad Netwerk). Een gratis HTTP-headerchecker toont de X-Robots-Tag zonder dat je ontwikkelaarstools hoeft te openen, en de indexeerbaarheidschecker test metatag, header en robots.txt in één keer.
6. Zoek de bron met de bronnentabel, beginnend bij de CMS-instelling en de SEO-plugin.

Hoe los je het op?

De oplossing hangt af van de bron. Pas de instelling aan waar de regel wordt gegenereerd, nooit alleen wat zichtbaar is, anders komt hij bij de volgende update terug.

Vraag na de oplossing indexering aan voor de belangrijkste URL's in het hulpmiddel URL-inspectie, en dien de sitemap opnieuw in als veel pagina's zijn geraakt. Klik voor een groep gecorrigeerde URL's in het rapport op « Validate fix »: Google zegt dat de validatie « typically takes up to about two weeks, but in some cases can take much longer ». Leeg eerst de cache van de pagina of de CDN, anders haalt Google misschien de oude versie met de oude regel op. Als pagina's weken later nog steeds ontbreken, noemt onze gids over pagina's laten indexeren door Google de volgende hefbomen, en als ze naar Crawled - currently not indexed verhuizen, ligt het probleem nu bij de inhoud en niet meer bij de regel.

Noindex, robots.txt of canonical: welke gebruik je?

Deze drie hulpmiddelen worden vaak door elkaar gehaald, en ze verkeerd combineren geeft de verwarrendste rapporten.

Google zegt het duidelijk: blokkeert robots.txt een pagina, dan « the crawler will never see the noindex rule ». Wil je dat een pagina uit de index verdwijnt, laat hem dan crawlbaar met noindex tot hij verdwijnt, en beslis daarna of je hem blokkeert. Test je bestand met de robots.txt-checker en lees de specificatie van de robots-metatag voor de volledige lijst met regels: daar staat ook dat bij tegenstrijdige regels « the more restrictive rule applies ».

Waarom is dit belangrijk voor SEO en zichtbaarheid in AI?

Een pagina onder noindex krijgt geen organische klikken van Google, hoe goed hij ook is. Op een grote site kan een ongewenste regel in een template honderden product- of artikelpagina's in één keer verwijderen, en het eerste teken is vaak een daling in verkeer weken later. Als je site helemaal lijkt verdwenen, begin dan met onze checklist over een website die niet in Google verschijnt.

AI-assistenten vormen een tweede kostenpost. ChatGPT, Perplexity en Gemini antwoorden vaak door pagina's uit webzoekindexen op te halen en te citeren, dus een pagina die ontbreekt in de index heeft weinig kans om geciteerd te worden. Ons onderzoek naar de platforms die AI het meest citeert laat zien welke bronnen de voorkeur krijgen.

Sorank is ons product: een software voor SEO en GEO op autopilot. Het GEO- en SEO-dashboard toont klikken, vertoningen en posities uit de Search Console, zodat een plotselinge daling in vertoningen bij een groep pagina's snel opvalt, en de gratis Sorank-extensie voor Chrome markeert SEO-problemen op elke pagina die je opent.

Kort samengevat: laat de noindex staan op pagina's die nooit moeten scoren, verwijder hem aan de bron op pagina's die dat wel moeten, houd de sitemap vrij van noindex-URL's, en blokkeer nooit een pagina in robots.txt terwijl Google nog zijn noindex moet lezen. Om pagina's te publiceren die gemaakt zijn om geïndexeerd en geciteerd te worden, zie de abonnementen van Sorank, vanaf $49 per maand, met een gratis proefperiode van 3 dagen.