Oppsummering
Den gratis robots.txt-sjekkeren leser den aktive robots.txt-filen til et hvilket som helst domene og viser regelgruppene, sitemapene, problemene den fant og statusen til 14 AI-crawlere (tillatt, delvis eller blokkert), fra GPTBot og OAI-SearchBot til ClaudeBot, PerplexityBot og Google-Extended. Bruk den etter hver endring i filen, og når sidene dine slutter å dukke opp i Google eller i AI-svar.
Vil du vite mer? Spør
En robots.txt-sjekker fanger opp linjen som stille blokkerer et helt nettsted. Robots.txt er en offentlig standard (RFC 9309) som alle store crawlere leser før de besøker et nettsted, og AI-crawlere har gjort at filen må håndtere flere roboter enn før. Mellom mai 2024 og mai 2025 økte GPTBots andel av AI-crawlertrafikken fra 5% til 30%, og Meta-ExternalAgent nådde 19% (Cloudflare, hvem som crawler nettstedet ditt i 2025). Filen din må si noe fornuftig til dem alle.
Hva viser robots.txt-sjekkeren?
Skriv inn et domene, så henter verktøyet https://dittdomene/robots.txt, følger eventuelle omdirigeringer, leser filen og returnerer fem blokker.
| Blokk | Hva den viser | Hva du skal se etter |
|---|---|---|
| Regelgrupper | Hvor mange User-agent-grupper filen inneholder | Null betyr at syntaksen ikke kunne leses |
| Sitemaps | Hver Sitemap-linje som ble funnet | Minst én full URL til sitemapet ditt |
| Blokkerte AI-crawlere | Hvor mange av de 14 AI-crawlerne som er helt blokkert | Bare de du valgte å blokkere |
| Problemer | Oppdagede problemer, med en anbefaling | Null, eller bare bevisste valg |
| Råfil | Robots.txt slik den vises på nettet | At det er filen du trodde du publiserte |
Hvis domenet ikke har en robots.txt, eller returnerer en HTML-side i stedet for ren tekst, sier verktøyet fra og anbefaler å legge til en fil. Gratisversjonen kjører 3 sjekker per dag.
Hvordan avgjør sjekkeren om en AI-crawler er blokkert?
For hver av de 14 AI-crawlerne ser verktøyet etter en gruppe som nevner roboten. Finnes ingen, bruker det gruppen User-agent: *. Deretter bruker det tre statuser.
| Status | Regel funnet i gruppen | Hva det betyr |
|---|---|---|
| Tillatt | Ingen gruppe gjelder, eller gruppen har ingen Disallow-regel | Roboten kan crawle hele nettstedet |
| Delvis | Disallow-regler på bare noen stier | Roboten kan crawle nettstedet unntatt disse stiene |
| Blokkert | Disallow: / uten Allow: / | Roboten blir bedt om å holde seg unna hele nettstedet |
De 14 crawlerne som sjekkes er GPTBot, OAI-SearchBot og ChatGPT-User (OpenAI), ClaudeBot, Claude-Web og anthropic-ai (Anthropic), PerplexityBot og Perplexity-User, Google-Extended, Applebot-Extended, CCBot (Common Crawl), Amazonbot, Bytespider (ByteDance) og Meta-ExternalAgent. Tabellen viser også hver robots leverandør og formål, slik at du ser med en gang om du blokkerer trening, søk eller live-surfing.
Hvilke AI-crawlere bør du tillate?
Tillat crawlerne som plasserer sidene dine i svar fra AI-søk. Å blokkere treningscrawlere er et forretningsvalg; å blokkere søkecrawlere er vanligvis en feil.
- OAI-SearchBot: nettsteder som sier nei, blir ikke vist i svar fra ChatGPT-søk. GPTBot gjelder bare modelltrening, og de to innstillingene er uavhengige (OpenAIs oversikt over crawlere).
- PerplexityBot: den viser og lenker til nettsteder i Perplexity-resultater, og brukes ikke til å trene grunnmodeller (Perplexitys crawlere).
- Google-Extended: et token for trening og forankring av Gemini som ikke påvirker innholdet i Google-søk eller rangeringen (Googles vanlige crawlere).
- Anthropic: ClaudeBot samler treningsdata, mens Claude-SearchBot og Claude-User brukes til søk og brukerforespørsler. Å blokkere de to sistnevnte kan redusere synligheten din i Claude (Anthropics retningslinjer for crawlere).
De fleste nettsteder tar aldri stilling. 6. juni 2025 hadde bare omtrent 14% av de 10 000 største domenene med en robots.txt regler rettet mot AI-crawlere, og GPTBot var både den mest blokkerte (312 domener) og den mest uttrykkelig tillatte (61 domener), ifølge den samme Cloudflare-studien. Roboter som ikke nevnes i filen, er tillatt som standard.
Hva betyr de vanligste problemene?
| Rapportert problem | Hvorfor det betyr noe | Løsning |
|---|---|---|
| User-agent: * er blokkert for hele nettstedet | Alle crawlere uten egen gruppe, Googlebot inkludert, blir bedt om å holde seg unna | Fjern Disallow: / fra *-gruppen, med mindre nettstedet er en testkopi |
| Ingen Sitemap-direktiv | Crawlere du aldri sendte sitemapet til, for eksempel Bing eller AI-crawlere, finner det kanskje ikke | Legg til Sitemap: https://dittdomene/sitemap.xml |
| En navngitt AI-crawler er blokkert | Den leverandøren vil ikke crawle sidene dine | Behold den bare hvis blokkeringen er et bevisst valg |
| Ingen User-agent-grupper tolket | Filen har ingen gyldig regel, så den begrenser ingenting | Sjekk syntaksen: Felt: verdi, én regel per linje |
| Ingen robots.txt funnet | Ikke en feil i seg selv: Google crawler da alt | Legg til en fil likevel, for å oppgi sitemapet og AI-valgene dine |
Google håndterer en manglende eller ødelagt fil ulikt, avhengig av HTTP-statuskoden. Et 4xx-svar (unntatt 429) betyr ingen begrensninger. Et 5xx-svar behandles som en serverfeil: Google pauser crawlingen i 12 timer, og bruker deretter sist gode kopi i opptil 30 dager (Google, hvordan Google tolker robots.txt-spesifikasjonen). En robots.txt som stadig gir serverfeil, kan derfor fryse crawlingen av et velfungerende nettsted.
Hvordan retter du et robots.txt-problem steg for steg?
- Les råfilen i rapporten for å bekrefte hva som faktisk ligger på nettet. CDN-cacher og testmiljøer serverer ofte en gammel versjon.
- Skriv filen på nytt med robots.txt-generatoren, som lager rene grupper, Allow- og Disallow-regler og Sitemap-linjen.
- Last den opp til roten av hver vert. Et subdomene som blog.example.com trenger sin egen fil.
- Kjør sjekkeren på nytt og bekreft at statusene har endret seg.
- Si fra til Google hvis rettelsen haster. Rapporten for robots.txt i Search Console viser filene Google har funnet for de 20 viktigste vertene dine, og lar deg be om ny crawling (Search Console-hjelp, rapporten for robots.txt). Ellers oppdaterer Google kopien sin i løpet av omtrent 24 timer.
Sjekk deretter sidene selv. En side som er åpen i robots.txt, kan likevel holdes ute av indeksen av en noindex-tag eller en canonical som peker et annet sted: sjekkeren for indekserbarhet tester alle disse på én URL. For en oversikt over hele nettstedet av hva AI-crawlere kan lese, kjør revisjonen for crawlbarhet for AI.
Hva er grensene for robots.txt-sjekkeren?
- Statusene oppsummeres per robot, ikke per URL. «Delvis» forteller at noen stier er stengt; les reglene for å se hvilke.
- Én gruppe per robot. Hvis du deler reglene for samme robot i flere grupper, slår Google dem sammen. Les råfilen i så fall.
- Bare rotdomenet. Verktøyet leser filen til domenet du skriver inn, uten www, og følger omdirigeringer. Sjekk hvert subdomene for seg.
- En liste med 14 roboter. Nyere brukeragenter, som Claude-SearchBot og Claude-User, står ikke i tabellen ennå: se etter dem i råfilen.
- Robots.txt er en forespørsel. Seriøse crawlere følger den, misbrukere gjør ikke det, og hentinger som utløses av en bruker, for eksempel ChatGPT-User eller Perplexity-User, bruker kanskje ikke den, slik både OpenAI og Perplexity dokumenterer.
For begrepene bak disse sjekkene, se ordboksoppføringene våre om robots.txt og AI-crawlere.
Hvordan sørger du for at AI-assistenter finner og siterer deg?
En åpen robots.txt er en forutsetning, ikke resultatet. Når crawlerne kan lese nettstedet ditt, mål om AI-assistentene faktisk bruker det.
- Følg merkevaren din i AI-svar med oppfølging av AI-omtaler i Sorank, som sjekker hver måned om ChatGPT, Claude og Gemini nevner deg, og hvilke kilder de siterer.
- Følg AI-besøk sammen med Google-klikkene dine i GEO- og SEO-dashbordet.
- Gi crawlerne nye sider å lese med bloggplanleggeren, som fyller kalenderen din og publiserer etter plan.
En feil linje i robots.txt kan skjule et nettsted for Google og for alle AI-assistenter samtidig. Sjekk din over etter hver endring, og se deretter prisplanene til Sorank for å følge med på crawlbarheten og synligheten din i AI med autopilot.
