Blokeret af robots.txt: Hvad betyder statussen i Search Console, og hvordan retter du den

Statussen blokeret af robots.txt vises i rapporten Sideindeksering i Google Search Console, blandt årsagerne til, at sider ikke er indekseret. Googles egen dokumentation om rapporten Sideindeksering beskriver den med én linje: siden blev blokeret af webstedets robots.txt-fil. Bag den linje ligger to meget forskellige situationer, en sund blokering og en utilsigtet, plus en forvirrende søskende, „Indekseret, men blokeret af robots.txt“. Denne guide viser, hvordan du skelner dem, og hvordan du retter hver enkelt uden at ødelægge andet. Er du ny til selve filen, så start med vores definition af robots.txt.

Hvad betyder „Blokeret af robots.txt“ i Search Console?

Din robots.txt-fil ligger i roden af domænet (example.com/robots.txt) og fortæller crawlere, hvilke stier de må hente. Når Googlebot finder en URL, via et link eller et sitemap, tjekker den først filen. Matcher en Disallow-regel stien for dens user agent, henter den ikke siden. Search Console viser så URL'en under „Blokeret af robots.txt“.

To konsekvenser følger heraf. Google kan ikke se indholdet, titlen, de interne links eller noget meta-tag på siden. Og fordi den aldrig læser siden, kan den heller ikke se et noindex-tag. Statussen står på listen over årsager til manglende indeksering, så for de fleste websteder er den informativ: Google selv bemærker, at URL'er blokeret af robots.txt sandsynligvis er blokeret med vilje.

Problemet opstår, når listen indeholder sider, du gerne vil have med på Google: produktsider, artikler, kategorisider eller et helt websted efter en migrering. I det tilfælde er blokeringen en direkte årsag til, at et website ikke vises på Google, og det er et af de hurtigste tekniske problemer at rette.

„Blokeret af robots.txt“ vs. „Indekseret, men blokeret af robots.txt“

Den anden status virker modstridende, og det er den, der bekymrer webstedsejere mest. Googles introduktion til robots.txt forklarer den: robots.txt er ikke en mekanisme til at holde en side ude af Google. Hvis andre sider linker til en URL, der er forbudt i robots.txt, kan Google stadig indeksere selve URL'en uden at crawle den. Resultatet viser så adressen uden beskrivelse, fordi Google aldrig læste teksten.

Det vigtigste er først at beslutte, hvad du ønsker for hver URL: indekseret eller ikke indekseret. Robots.txt besvarer et andet spørgsmål (crawlet eller ikke crawlet), og at blande de to er kilden til de fleste fejl.

Hvorfor er dine sider blokeret af robots.txt?

De fleste utilsigtede blokeringer skyldes en håndfuld årsager. Tjek dem i denne rækkefølge:

• En staging-regel, der er sendt til produktion. Disallow: / beskytter en testside, og den følger med ved lanceringen og blokerer alt.
• En CMS-indstilling. WordPress har indstillingen „Bed søgemaskiner om ikke at indeksere dette websted“; andre platforme har tilsvarende kontakter, der redigerer robots.txt eller tilføjer headers.
• En regel, der er bredere end tilsigtet. Disallow: /p blokerer både /products/ og /pricing/ samt /p/. Regler i robots.txt matcher starten af stien.
• Wildcards. * matcher en vilkårlig tegnfølge, og $ markerer slutningen af en URL. Disallow: /*? blokerer enhver URL med en parameter, hvilket kan omfatte pagineringer eller filtrerede sider, du gerne vil have indekseret.
• Blokerede ressourcer. Blokering af /assets/ eller /wp-includes/ skjuler den CSS og JavaScript, Google har brug for til at vise siden, og det forringer, hvordan den forstår dit indhold.
• En migrering. Stier ændres, den gamle robots.txt bliver liggende, eller det nye domæne serverer sin egen standardfil.
• Det forkerte værtsnavn. Hvert subdomæne og hver protokol har sin egen fil: regler på www.example.com gælder ikke for shop.example.com.

Husk, at Google følger den mest specifikke regel (den længste matchende sti), og når en Allow- og en Disallow-regel er lige specifikke, vinder den mindst restriktive. En målrettet Allow: /blog/ kan derfor genåbne en mappe under en bredere blokering.

Sådan retter du „Blokeret af robots.txt“ trin for trin

1. Eksporter de berørte URL'er

I Google Search Console åbner du Indeksering, derefter Sider, og klikker på rækken „Blokeret af robots.txt“. Eksportér listen og sortér den efter mappe. Du vil typisk se et mønster i løbet af et minut: én mappe, én parameter, ét subdomæne.

2. Skil bevidste blokeringer fra fejl

Markér hvert mønster som „forbliver blokeret“ eller „skal være på Google“. Indkøbskurv og kassen, kundekonti, interne søgeresultater og adminområder hører til i den første gruppe. Alt, der besvarer en søgning, får links eller findes i dit XML-sitemap, hører til i den anden. En URL, der både står i sitemappet og er blokeret, er en modsigelse, der skal løses.

3. Find den regel, der matcher

Åbn URL-inspektionsværktøjet på en eksempel-URL: det viser, om crawling er tilladt. Læs derefter den aktuelle fil, eller indsæt URL'en i vores gratis robots.txt-tjekker for at se, hvilken linje der blokerer, og for hvilken user agent.

4. Rediger filen

Fjern eller indsnævr reglen, eller tilføj en mere specifik Allow. Hold ændringen minimal, og test den mod både en URL, du vil åbne, og en URL, der skal forblive blokeret. Er filen rodet, så byg en ren med vores robots.txt-generator og sammenlign, før du udgiver.

5. Få Google til at læse den nye fil

Google gemmer generelt robots.txt i op til 24 timer, ifølge sin specifikation for robots.txt. For at fremskynde det kan du åbne Indstillinger og derefter rapporten om robots.txt i Search Console (tilgængelig for domæneegenskaber) og bruge „Anmod om ny gennemgang“ for filen. Anmod derefter om indeksering af dine vigtigste frigivne URL'er i URL-inspektion.

6. Valider og overvåg

Klik på „Valider rettelse“ på problemsiden. Valideringen kan tage flere dage til et par uger, og nye URL'er kontrolleres, efterhånden som Google crawler dem igen. Vores guide til indeksering i Google dækker, hvad der sker efter crawlet, når Google afgør, om en side er værd at beholde.

Sådan retter du „Indekseret, men blokeret af robots.txt“

Løsningen afhænger af, hvad du ønsker for siden:

1. Du vil have siden på Google. Fjern blokeringen. Google vil crawle siden, læse indholdet og vise et normalt resultat med titel og beskrivelse.
2. Du vil ikke have siden på Google. Fjern også blokeringen, og tilføj derefter <meta name="robots" content="noindex"> i head, eller en HTTP-header X-Robots-Tag: noindex til PDF'er og andre filer. Når Google har crawlet siden igen og fjernet den, kan du blokere den igen, hvis crawlvolumen betyder noget, selvom de fleste websteder aldrig har brug for det. Vores definition af noindex forklarer mulighederne.
3. Siden bør ikke findes offentligt. Beskyt den med adgangskode eller fjern den (404 eller 410). Hverken robots.txt eller noindex er en sikkerhedsforanstaltning.

Ved facetteret navigation med tusindvis af filter-URL'er kan en blokering i robots.txt stadig være det rigtige værktøj til at spare crawlbudget. Advarslen „Indekseret, men blokeret“ på nogle få af disse URL'er er så acceptabel, så længe kanoniske versioner af dine kategorier kan crawles og er indekseret.

Sådan kontrollerer du, at rettelsen virkede

Tre signaler bekræfter en vellykket rettelse. URL-inspektion på den aktive URL viser „Crawl tilladt: Ja“. Antallet af blokerede sider i rapporten Sideindeksering falder i de efterfølgende uger. Og de frigivne sider begynder at få visninger i rapporten Performance. En hurtig gennemgang med vores indekserbarhedstjekker fanger også de andre blokeringer, der ofte følger med fejl i robots.txt: et tilfældigt noindex, en forkert kanonisk URL eller en omdirigering.

Overvågning er vigtig, fordi fejlene kommer tilbage. En temaopdatering, et plugin eller et deploy-script kan omskrive robots.txt, uden at nogen bemærker det. At holde øje med sider, hvor klik og visninger pludselig falder, er den hurtigste tidlige advarsel.

Med Sorank GEO- og SEO-dashboardet er du forbundet til Search Console, og det viser de stigende og faldende sider samlet ét sted, så en blokering indført af en udrulning viser sig som en klynge af faldende URL'er i stedet for et langsomt, uforklarligt tab.

Robots.txt, AI-crawlere og GEO

Robots.txt har nu også et andet publikum: crawlerne fra AI-assistenter. OpenAI, Anthropic, Perplexity og Google offentliggør hver deres user agents (GPTBot og OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended), som respekterer robots.txt. En regel rettet mod en af dem, eller en generel User-agent: *-blokering, afgør, om ChatGPT, Claude eller Perplexity kan læse dine sider, når de søger på nettet for at bygge et svar.

Samme ræsonnement gælder som for Google: bestem for hver bot, hvad du ønsker. At blokere trænings-crawlere, mens du tillader søge-crawlere, er et almindeligt kompromis, og vores guide til robots.txt for AI-crawlere viser user agents og reglerne for hver. Ordlisteartiklen om AI-crawlere forklarer, hvilken bot der gør hvad.

For at se effekten af disse valg skal du følge de prompts, der betyder noget for din virksomhed. AI-omtaleovervågning i Sorank viser, om ChatGPT, Gemini eller Claude citerer dit website, og hvilke konkurrenter de citerer i stedet.

Reglen at huske

Robots.txt bestemmer, hvad crawlere må læse; noindex bestemmer, hvad søgeresultaterne må vise. Behold blokeringer til områder uden søgeværdi, bloker aldrig en side, du vil have indekseret eller fjernet fra indekset, og kontroller rapporten Sideindeksering efter hver migrering eller udrulning. De fleste problemer med „blokeret af robots.txt“ er rettet på få minutter, når den matchende regel er fundet, og Sorank's Search Console-dashboard hjælper dig med at opdage den næste, før den koster trafik.