Exkluderad av 'noindex'-taggen: är det normalt, och hur åtgärdar du det?

Exkluderad av 'noindex'-taggen är den indexeringsstatus du skapar själv, med avsikt eller av misstag. Googles dokumentation om rapporten Page indexing beskriver orsaken i tre meningar: ”När Google försökte indexera sidan påträffade den ett 'noindex'-direktiv och indexerade därför inte sidan. Om du inte vill att sidan ska indexeras, grattis! Om du vill att sidan ska indexeras bör du ta bort 'noindex'-direktivet.” Den här guiden hjälper dig att avgöra på vilken sida av den meningen varje webbadress hamnar, hitta den exakta källan till en oönskad regel och åtgärda den utan att förstöra något annat.

Vad betyder ”Exkluderad av 'noindex'-taggen”?

En noindex-regel säger åt sökmotorer att inte visa en sida i deras resultat. Google läser den på två ställen, enligt dess guide om blockering av indexering med noindex:

• En robots-metatagg i HTML:ens <head>: <meta name="robots" content="noindex"> för alla sökmotorer, eller name="googlebot" för enbart Google.
• En HTTP-header, X-Robots-Tag, som servern skickar med svaret, med värdet noindex eller none. Det är det enda alternativet för filer utan HTML, som PDF-filer.

När Googlebot hittar någon av dem håller den webbadressen utanför indexet. Statusen visas i Google Search Console under Indexering, sedan Sidor, i tabellen ”Why pages aren't indexed”. Hjälpsidan anger samma orsak som ”URL marked 'noindex'”. Båda namnen beskriver en och samma situation.

Tre fakta förändrar hur du läser rapporten:

• Google lydde dig. Till skillnad från ”Crawled - currently not indexed”, där Google själv beslutar emot en sida, speglar den här statusen en instruktion som webbplatsen skickade.
• Det krävs en genomsökning. Google kan bara se en noindex-regel på en sida som den får hämta. En sida som blockeras av robots.txt når aldrig den här statusen.
• Regeln kan komma från var som helst i kedjan. HTML, CMS, tillägg, tema, serverkonfiguration och CDN kan alla lägga till den, och sidans källkod visar inte HTTP-headers.

Är det normalt eller ett fel?

De flesta webbplatser har webbadresser i den här statusen, och många av dem hör hemma där. Googles rapport anger att sidor som inte indexeras finns där ”inte nödvändigtvis på grund av ett fel”. Sortera listan efter typ av webbadress innan du åtgärdar något.

Den sista raden väger tyngre än den ser ut. En sitemap säger till Google ”indexera dessa sidor”, medan en noindex säger motsatsen. Håll sitemapen begränsad till indexerbara, kanoniska webbadresser (vår guide om hur du skickar en sitemap till Google visar hur du rensar den).

Var kommer en oönskad noindex ifrån?

När en viktig sida har noindex beror det nästan alltid på någon av källorna nedan. Kontrollera dem i den här ordningen, från vanligast till ovanligast.

WordPress-fallet är vanligt nog att nämnas. Enligt WordPress-dokumentationen för läsinställningarna lägger kryssrutan ”Discourage search engines from indexing this site” till noindex,nofollow i headern på varje sida (sedan version 5.3). En glömd kryssruta efter en lansering räcker för att ta bort en hel webbplats från Google. Lanseringar och omdesigner är de riskfyllda ögonblicken, och därför inkluderar en checklista för SEO-migrering alltid en kontroll av robots-reglerna. För WordPress-specifika inställningar, se vår sida om WordPress SEO och GEO.

Hur diagnostiserar du statusen, steg för steg?

1. Öppna rapporten. I Search Console går du till Indexering, sedan Sidor, klickar på ”Excluded by 'noindex' tag” och exporterar listan.
2. Sortera webbadresserna med tabellen ovan. Lägg åt sidan de som ska ligga utanför indexet.
3. Inspektera en viktig webbadress. Klistra in den i verktyget URL-kontroll. Raden ”Indexing allowed?” visar om Google såg noindex och om den kom från robots-metataggen eller från X-Robots-Tag-headern.
4. Testa live-webbadressen. Klicka på ”Test live URL”: om live-versionen inte längre har noindex togs regeln redan bort, och Google behöver bara söka igenom sidan igen.
5. Kontrollera båda ställena själv. Leta efter noindex i sidans källkod, och sedan i svarsheaderna (webbläsarens utvecklarverktyg, fliken Network). Ett gratis verktyg för kontroll av HTTP-headers visar X-Robots-Tag utan att du öppnar något utvecklarverktyg, och kontrollen av indexerbarhet testar metatagg, header och robots.txt i ett enda steg.
6. Spåra källan med tabellen över källor, med början i CMS-inställningen och SEO-tillägget.

Hur åtgärdar du det?

Åtgärden beror på källan. Ändra inställningen där regeln skapas, aldrig bara den synliga utdatan, annars kommer regeln tillbaka vid nästa uppdatering.

Efter åtgärden begär du indexering för de viktigaste webbadresserna i verktyget URL-kontroll, och skickar om sitemapen om många sidor påverkades. För en grupp rättade webbadresser klickar du på ”Validate fix” i rapporten. Google skriver att validering ”typically takes up to about two weeks, but in some cases can take much longer” (vanligtvis upp till ungefär två veckor, men i vissa fall mycket längre). Töm eventuell sidcache eller CDN-cache först, annars kan Google hämta den gamla versionen med den gamla regeln. Om sidor fortfarande saknas flera veckor senare listar vår guide om att få sidor indexerade av Google nästa åtgärder. Om de flyttas till Crawled - currently not indexed är problemet nu innehållet, inte regeln.

Noindex, robots.txt eller kanonisk tagg: vilken ska du använda?

De tre verktygen förväxlas ofta, och om man kombinerar dem fel uppstår de mest förvirrande rapporterna.

Google säger det tydligt: om robots.txt blockerar en sida ser genomsökaren aldrig noindex-regeln. Om du vill få bort en sida ur indexet lämnar du den genomsökbar med noindex tills den försvinner, och bestämmer sedan om du ska blockera den. Testa din fil med robots.txt-kontrollen, och läs specifikationen för robots-metataggen för den fullständiga listan över regler. Den noterar också att när regler står i konflikt gäller ”the more restrictive rule applies” (den striktaste regeln gäller).

Varför spelar det roll för SEO och för synlighet i AI?

En sida under noindex får inga organiska klick från Google, oavsett kvalitet. På en stor webbplats kan en oönskad regel i en mall ta bort hundratals produkt- eller artikelsidor på en gång, och det första tecknet är ofta en trafikminskning några veckor senare. Om din webbplats verkar ha försvunnit helt börjar du med vår checklista för en webbplats som inte syns på Google.

AI-assistenter medför en andra kostnad. ChatGPT, Perplexity och Gemini svarar ofta genom att hämta sidor från webbsökningsindex och citera dem, så en sida som saknas i indexet har liten chans att bli citerad. Vår studie av de plattformar som AI citerar mest visar vilka källor de föredrar.

Sorank är vår produkt: en autopilot-programvara för SEO och GEO. Dess instrumentpanel för GEO och SEO visar klick, visningar och positioner från Search Console, så en plötslig minskning av visningarna för en grupp sidor syns snabbt. Det gratis Sorank-tillägget för Chrome flaggar SEO-problem på varje sida du öppnar.

Kort version: låt noindex stå på sidor som aldrig ska rankas, ta bort den vid källan på sidor som ska det, håll sitemapen fri från noindex-webbadresser, och blockera aldrig en sida i robots.txt medan du väntar på att Google ska läsa dess noindex. För att publicera sidor som är byggda för att indexeras och citeras, se Sorank:s abonnemang, från $49 i månaden med en gratis provperiod på 3 dagar.