Blockerad av robots.txt: Vad statusen i Search Console betyder och hur du åtgärdar den

Statusen blocked by robots.txt visas i rapporten Sidindexering i Google Search Console, bland skälen till varför sidor inte är indexerade. Googles egen dokumentation för rapporten Sidindexering beskriver den på en rad: sidan blockerades av din webbplats robots.txt-fil. Bakom den raden finns två mycket olika situationer, en avsiktlig blockering och en oavsiktlig, plus en förvirrande släkting, ”Indexed, though blocked by robots.txt”. Den här guiden visar hur du skiljer dem åt och åtgärdar var och en utan att förstöra något annat. Om du är ny till själva filen, börja med vår definition av robots.txt.

Vad betyder ”Blocked by robots.txt” i Search Console?

Din robots.txt-fil ligger i roten av värden (example.com/robots.txt) och talar om för crawlers vilka sökvägar de får hämta. När Googlebot hittar en URL, via en länk eller en sitemap, kontrollerar den filen först. Om en Disallow-regel matchar sökvägen för dess användaragent hämtar den inte sidan. Search Console listar då URL:en under ”Blocked by robots.txt”.

Två konsekvenser följer. Google kan inte se innehållet, rubriken, de interna länkarna eller någon metatagg på sidan. Och eftersom den aldrig läser sidan kan den inte heller se en noindex-tagg. Statusen visas som ett skäl till att sidan inte indexeras, så för de flesta webbplatser är den informativ: Google själv noterar att URL:er blockerade av robots.txt sannolikt är blockerade med flit.

Problemet börjar när listan innehåller sidor du vill ha på Google: produktsidor, artiklar, kategorisidor eller en hel webbplats efter en migrering. I så fall är blockeringen en direkt orsak till att en webbplats inte syns på Google, och det är ett av de snabbaste tekniska problemen att åtgärda.

”Blocked by robots.txt” mot ”Indexed, though blocked by robots.txt”

Den andra statusen verkar motsägelsefull, och det är den som oroar webbplatsägare mest. Googles introduktion till robots.txt förklarar den: robots.txt är inte en mekanism för att hålla en sida borta från Google. Om andra sidor länkar till en otillåten URL kan Google ändå indexera själva URL:en, utan att genomsöka den. Resultatet visar då adressen utan beskrivning, eftersom Google aldrig läste texten.

Det viktiga är att först bestämma vad du vill för varje URL: indexerad eller inte indexerad. Robots.txt besvarar en annan fråga (genomsökt eller inte genomsökt), och att blanda ihop de två är källan till de flesta fel.

Varför är dina sidor blockerade av robots.txt?

De flesta oavsiktliga blockeringar beror på några få orsaker. Kontrollera dem i den här ordningen:

• En testregel som hamnat i produktion. Disallow: / skyddar en testsajt, sedan följer den med vid lanseringen och blockerar allt.
• En CMS-inställning. WordPress har alternativet ”Discourage search engines from indexing this site”; andra plattformar har motsvarande reglage som redigerar robots.txt eller lägger till headers.
• En regel som är bredare än avsett. Disallow: /p blockerar både /products/ och /pricing/ samt /p/. Regler i robots.txt matchar början av sökvägen.
• Jokertecken. * matchar valfri teckenföljd och $ markerar slutet på en URL. Disallow: /*? blockerar varje URL med en parameter, vilket kan omfatta sidnumrerade eller filtrerade sidor du vill ha indexerade.
• Blockerade resurser. Att blockera /assets/ eller /wp-includes/ döljer den CSS och JavaScript som Google behöver för att rendera sidan, vilket försämrar hur den förstår ditt innehåll.
• En migrering. Sökvägarna ändras, den gamla robots.txt finns kvar, eller så serverar den nya värden en egen standardfil.
• Fel värd. Varje subdomän och protokoll har sin egen fil: regler på www.example.com gäller inte för shop.example.com.

Kom ihåg att Google följer den mest specifika regeln (den längsta matchande sökvägen), och när en Allow och en Disallow är lika specifika vinner den minst restriktiva. En riktad Allow: /blog/ kan därför öppna en mapp igen under ett bredare block.

Så åtgärdar du ”Blocked by robots.txt” steg för steg

1. Exportera de berörda URL:erna

I Google Search Console öppnar du Indexering, sedan Sidor, och klickar på raden ”Blocked by robots.txt”. Exportera listan och sortera den efter mapp. Du ser oftast ett mönster på en minut: en katalog, en parameter, en subdomän.

2. Skilj avsiktliga blockeringar från misstag

Markera varje mönster som ”behåll blockerat” eller ”ska finnas på Google”. Varukorgar, kassasidor, kontosidor, interna sökresultat och adminytor hör till den första gruppen. Allt som besvarar en sökfråga, får länkar eller finns i din XML-sitemap hör till den andra. En URL som både finns i sitemapen och är blockerad är en motsägelse som måste lösas.

3. Hitta regeln som matchar

Öppna verktyget URL Inspection för en exempel-URL: det visar om genomsökning är tillåten. Läs sedan den aktiva filen, eller klistra in URL:en i vår kostnadsfria robots.txt-kontroll för att se vilken rad som blockerar den och för vilken användaragent.

4. Redigera filen

Ta bort eller begränsa regeln, eller lägg till en mer specifik Allow. Håll ändringen minimal och testa den mot både en URL du vill avblockera och en URL som måste förbli blockerad. Om filen är en röra bygger du en ren med vår robots.txt-generator och jämför innan du publicerar.

5. Låt Google läsa den nya filen

Enligt Googles specifikation för robots.txt cachar Google i allmänhet filen i upp till 24 timmar. För att påskynda det öppnar du Inställningar, sedan rapporten för robots.txt i Search Console (tillgänglig för egendomar på domännivå), och använder ”Begär en ny genomsökning” för filen. Begär sedan indexering för dina viktigaste avblockerade URL:er i URL Inspection.

6. Verifiera och bevaka

Klicka på ”Validate fix” på problemsidan. Verifieringen kan ta flera dagar till några veckor, och nya URL:er kontrolleras när Google genomsöker dem igen. Vår guide om indexering i Google beskriver vad som händer efter genomsökningen, när Google avgör om en sida är värd att behålla.

Så åtgärdar du ”Indexed, though blocked by robots.txt”

Åtgärden beror på vad du vill för sidan:

1. Du vill ha sidan på Google. Ta bort blockeringen. Google genomsöker sidan, läser innehållet och visar ett vanligt resultat med titel och beskrivning.
2. Du vill inte ha sidan på Google. Ta bort blockeringen också, och lägg sedan till <meta name="robots" content="noindex"> i head, eller en HTTP-header X-Robots-Tag: noindex för PDF-filer och andra filer. När Google har genomsökt sidan igen och släppt den kan du blockera den igen om genomsökningsvolymen spelar roll, men de flesta webbplatser behöver aldrig det. Vår definition av noindex förklarar alternativen.
3. Sidan borde inte finnas offentligt. Skydda den med lösenord eller ta bort den (404 eller 410). Varken robots.txt eller noindex är en säkerhetsåtgärd.

För facetterad navigering med tusentals filter-URL:er kan en blockering i robots.txt fortfarande vara rätt verktyg för att spara crawlbudget. Varningen ”Indexed, though blocked” på några av dessa URL:er är då acceptabel, så länge de kanoniska versionerna av dina kategorier kan genomsökas och indexeras.

Så kontrollerar du att åtgärden fungerade

Tre signaler bekräftar en lyckad åtgärd. URL Inspection på den aktiva URL:en visar ”Crawl allowed: Yes”. Antalet blockerade sidor i rapporten Sidindexering minskar under de följande veckorna. Och de avblockerade sidorna börjar få visningar i rapporten Prestanda. En snabb kontroll med vår indexerbarhetskontroll hittar också de andra hindren som ofta följer med fel i robots.txt: en lös noindex, en felaktig kanonisk länk eller en omdirigering.

Bevakning är viktig eftersom felen kommer tillbaka. En temauppdatering, ett tillägg eller ett driftsättningsskript kan skriva om robots.txt utan att någon märker det. Att bevaka sidor vars klick och visningar plötsligt sjunker är den snabbaste tidiga varningen.

Sorank:s GEO- och SEO-instrumentpanel kopplas till Search Console och visar de stigande och fallande sidorna i en och samma vy, så att en blockering som införs vid en driftsättning syns som en klunga av sjunkande URL:er i stället för som en långsam, oförklarlig förlust.

Robots.txt, AI-crawlers och GEO

Robots.txt har nu en andra publik: crawlers från AI-assistenter. OpenAI, Anthropic, Perplexity och Google publicerar var sin användaragent (GPTBot och OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended) som följer robots.txt. En regel avsedd för någon av dem, eller ett generellt block med User-agent: *, avgör om ChatGPT, Claude eller Perplexity kan läsa dina sidor när de söker på webben för att bygga ett svar.

Samma resonemang gäller som för Google: bestäm per bot vad du vill. Att blockera träningscrawlers men tillåta sökcrawlers är en vanlig kompromiss, och vår guide om robots.txt för AI-crawlers listar användaragenterna och reglerna för var och en. Ordlistans post om AI-crawlers förklarar vilken bot som gör vad.

För att se effekten av dessa val, följ de frågor som är viktiga för ditt företag. Bevakning av AI-omnämnanden i Sorank visar om ChatGPT, Gemini eller Claude citerar din webbplats, och vilka konkurrenter de citerar i stället.

Regeln att komma ihåg

Robots.txt avgör vad crawlers får läsa; noindex avgör vad sökresultaten får visa. Behåll blockeringar för områden utan sökvärde, blockera aldrig en sida du vill ha indexerad eller avindexerad, och kontrollera rapporten Sidindexering efter varje migrering eller driftsättning. De flesta problem med ”blocked by robots.txt” åtgärdas på några minuter när rätt regel hittats, och Sorank:s instrumentpanel för Search Console hjälper dig att fånga nästa innan det kostar trafik.