Blokkert av robots.txt: Hva statusen i Search Console betyr og hvordan du fikser den

Statusen blokkert av robots.txt vises i rapporten for sideindeksering i Google Search Console, blant årsakene til at sider ikke er indeksert. Googles egen dokumentasjon for rapporten om sideindeksering beskriver den på én linje: siden ble blokkert av nettstedets robots.txt-fil. Bak den linjen ligger to svært ulike situasjoner, en sunn blokkering og en utilsiktet, pluss en forvirrende fetter: «Indeksert, men blokkert av robots.txt». Denne guiden viser hvordan du skiller dem og fikser hver av dem uten å ødelegge noe annet. Hvis du er ny til selve filen, start med vår definisjon av robots.txt.

Hva betyr «Blokkert av robots.txt» i Search Console?

Robots.txt-filen din ligger i roten av vertsnavnet (eksempel.no/robots.txt) og forteller crawlere hvilke stier de har lov til å hente. Når Googlebot finner en nettadresse, gjennom en lenke eller et sitemap, sjekker den filen først. Hvis en Disallow-regel treffer stien for brukeragenten, henter den ikke siden. Search Console lister deretter nettadressen under «Blokkert av robots.txt».

To konsekvenser følger av dette. Google kan ikke se innholdet, tittelen, de interne lenkene eller noen metatagg på siden. Og siden den aldri leser siden, kan den heller ikke se en noindex-tagg. Statusen vises som en årsak til manglende indeksering, så for de fleste nettsteder er den informativ: Google selv påpeker at nettadresser blokkert av robots.txt sannsynligvis er blokkert med vilje.

Problemet starter når listen inneholder sider du vil ha på Google: produktsider, artikler, kategorisider, eller et helt nettsted etter en migrering. I så fall er blokkeringen en direkte årsak til at nettstedet ditt ikke vises på Google, og det er et av de raskest rettbare tekniske problemene.

«Blokkert av robots.txt» mot «Indeksert, men blokkert av robots.txt»

Den andre statusen virker selvmotsigende, og det er den som bekymrer nettstedseiere mest. Googles introduksjon til robots.txt forklarer den: robots.txt er ikke en mekanisme for å holde en side utenfor Google. Hvis andre sider lenker til en nettadresse som er sperret, kan Google likevel indeksere selve nettadressen, uten å gjennomsøke den. Resultatet viser da adressen uten beskrivelse, fordi Google aldri leste teksten.

Nøkkelen er å bestemme først hva du vil ha for hver nettadresse: indeksert eller ikke indeksert. Robots.txt svarer på et annet spørsmål (gjennomsøkt eller ikke gjennomsøkt), og å blande de to er kilden til de fleste feilene.

Hvorfor er sidene dine blokkert av robots.txt?

De fleste utilsiktede blokkeringer kommer fra en håndfull årsaker. Sjekk dem i denne rekkefølgen:

• En testregel sendt til produksjon. Disallow: / beskytter et testnettsted, og blir så med ved lansering og blokkerer alt.
• En innstilling i CMS-et. WordPress har valget «Be søkemotorer om å ikke indeksere dette nettstedet»; andre plattformer har tilsvarende brytere som redigerer robots.txt eller legger til headere.
• En regel som er bredere enn tiltenkt. Disallow: /p blokkerer både /products/ og /pricing/ i tillegg til /p/. Regler i robots.txt matcher starten av stien.
• Jokertegn. * matcher en hvilken som helst tegnsekvens, og $ markerer slutten på en nettadresse. Disallow: /*? blokkerer hver nettadresse med en parameter, også paginerte eller filtrerte sider du ønsker indeksert.
• Blokkerte ressurser. Å blokkere /assets/ eller /wp-includes/ skjuler CSS og JavaScript Google trenger for å vise siden, og det svekker forståelsen av innholdet ditt.
• En migrering. Stier endres, den gamle robots.txt-filen blir værende, eller det nye vertsnavnet serverer sin egen standardfil.
• Feil vert. Hvert underdomene og hver protokoll har sin egen fil: regler på www.eksempel.no gjelder ikke for butikk.eksempel.no.

Husk at Google følger den mest spesifikke regelen (den lengste treffende stien), og når en Allow og en Disallow er like spesifikke, vinner den minst restriktive. En målrettet Allow: /blog/ kan dermed åpne en mappe igjen under en bredere blokkering.

Slik fikser du «Blokkert av robots.txt» steg for steg

1. Eksporter de berørte nettadressene

I Google Search Console åpner du Indeksering, deretter Sider, og klikker på raden «Blokkert av robots.txt». Eksporter listen og sorter den etter mappe. Du vil vanligvis se et mønster i løpet av et minutt: én katalog, én parameter, ett underdomene.

2. Skille bevisste blokkeringer fra feil

Merk hvert mønster med «behold blokkert» eller «bør være på Google». Handlekurver, kassesider, kontosider, interne søkeresultater og adminområder hører til i den første gruppen. Alt som besvarer et søk, tjener lenker eller står i XML-sitemapet ditt, hører til i den andre. En nettadresse som både står i sitemapet og er blokkert, er en motsetning som må løses.

3. Finn regelen som treffer

Åpne URL-inspeksjonsverktøyet på én eksempelnettadresse: der står det om gjennomsøking er tillatt. Les deretter den aktive filen, eller lim inn nettadressen i vår gratis robots.txt-sjekker for å se hvilken linje som blokkerer den, og for hvilken brukeragent.

4. Rediger filen

Fjern eller snevr inn regelen, eller legg til en mer spesifikk Allow. Hold endringen minimal, og test den mot både en nettadresse du vil frigjøre og en nettadresse som må forbli blokkert. Hvis filen er et rot, bygg en ren en på nytt med vår robots.txt-generator og sammenlign før du publiserer.

5. Få Google til å lese den nye filen

Google mellomlagrer vanligvis robots.txt i inntil 24 timer, ifølge sin spesifikasjon for robots.txt. For å fremskynde det, åpne Innstillinger, deretter rapporten for robots.txt i Search Console (tilgjengelig for eiendommer på domenenivå), og bruk «Be om ny gjennomsøking» for filen. Be deretter om indeksering for de viktigste frigjorte nettadressene i URL-inspeksjon.

6. Bekreft og overvåk

Klikk på «Bekreft retting» på problemsiden. Bekreftelsen kan ta flere dager til et par uker, og nye nettadresser kontrolleres når Google gjennomsøker dem på nytt. Vår guide til indeksering i Google dekker hva som skjer etter gjennomsøkingen, når Google avgjør om en side er verdt å beholde.

Slik fikser du «Indeksert, men blokkert av robots.txt»

Løsningen avhenger av hva du vil ha for siden:

1. Du vil ha siden på Google. Fjern blokkeringen. Google vil gjennomsøke siden, lese innholdet og vise et vanlig resultat med tittel og beskrivelse.
2. Du vil ikke ha siden på Google. Fjern blokkeringen også, og legg så til <meta name="robots" content="noindex"> i head, eller en HTTP-header X-Robots-Tag: noindex for PDF-filer og andre filer. Når Google har gjennomsøkt siden på nytt og fjernet den, kan du blokkere den igjen hvis gjennomsøkingsvolumet betyr noe, selv om de fleste nettsteder aldri trenger det. Vår definisjon av noindex forklarer alternativene.
3. Siden burde ikke finnes offentlig. Beskytt den med passord eller fjern den (404 eller 410). Verken robots.txt eller noindex er et sikkerhetstiltak.

For fasettert navigasjon med tusenvis av filter-nettadresser, kan en blokkering i robots.txt fortsatt være riktig verktøy for å spare gjennomsøkingsbudsjett. Advarselen «Indeksert, men blokkert» på noen få av disse nettadressene er da akseptabel, så lenge de kanoniske versjonene av kategoriene dine kan gjennomsøkes og er indeksert.

Slik sjekker du at rettingen virket

Tre signaler bekrefter en vellykket retting. URL-inspeksjon på den aktive nettadressen viser «Gjennomsøking tillatt: Ja». Antallet blokkerte sider i rapporten for sideindeksering synker i ukene etter. Og de frigjorte sidene begynner å få visninger i ytelsesrapporten. En rask kontroll med vår sjekk for indekserbarhet fanger også opp de andre blokkeringene som ofte følger med feil i robots.txt: en løs noindex, en feil kanonisk adresse eller en omdirigering.

Overvåking er viktig fordi disse feilene kommer tilbake. En temaoppdatering, en plugin eller et distribusjonsskript kan skrive om robots.txt uten at noen merker det. Å følge med på sider der klikk og visninger plutselig faller, er det raskeste tidlige varselet.

Det Sorank-dashbordet for GEO og SEO kobler seg til Search Console og viser de stigende og fallende sidene i ett bilde, slik at en blokkering innført av en distribusjon viser seg som en klynge av synkende nettadresser i stedet for et langsomt, uforklart tap.

Robots.txt, AI-crawlere og GEO

Robots.txt har nå et annet publikum: crawlerne til AI-assistenter. OpenAI, Anthropic, Perplexity og Google publiserer hver sine brukeragenter (GPTBot og OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended) som respekterer robots.txt. En regel rettet mot en av dem, eller en generell User-agent: *-blokkering, avgjør om ChatGPT, Claude eller Perplexity kan lese sidene dine når de søker på nettet for å bygge et svar.

Det samme resonnementet gjelder som for Google: bestem per bot hva du vil. Å blokkere treningscrawlere mens du tillater søkecrawlere er et vanlig kompromiss, og vår guide til robots.txt for AI-crawlere lister brukeragentene og reglene for hver av dem. Oppslaget i ordlisten om AI-crawlere forklarer hvilken bot som gjør hva.

For å se effekten av disse valgene, følg spørsmålene som er viktige for virksomheten din. Sporing av AI-omtaler i Sorank viser om ChatGPT, Gemini eller Claude siterer nettstedet ditt, og hvilke konkurrenter de siterer i stedet.

Regelen å huske

Robots.txt bestemmer hva crawlere får lese; noindex bestemmer hva søkeresultater får vise. Behold blokkeringer for områder uten søkeverdi, blokker aldri en side du vil ha indeksert eller fjernet fra indeksen, og sjekk rapporten for sideindeksering etter hver migrering eller distribusjon. De fleste problemer med «blokkert av robots.txt» er fikset på minutter når den riktige regelen er funnet, og Soranks Search Console-dashbord hjelper deg å fange den neste før den koster trafikk.