Oppsummering
Den gratis generatoren for robots.txt skriver filen som forteller søkeroboter hvilke deler av nettstedet ditt de får besøke. Velg en modus (tillat alt, blokker alt eller tilpasset), skriv opp user-agentene og banene dine, legg til sitemap-URL-en, og kopier eller last ned filen og last den opp til roten av domenet ditt. Husk at robots.txt styrer gjennomsøking, ikke indeksering: for å holde en side ute av Google, bruk noindex i stedet.
Vil du vite mer? Spør
En generator for robots.txt sparer deg for de små syntaksfeilene som blokkerer et helt nettsted ved et uhell. Filen følger Robots Exclusion Protocol, laget av Martijn Koster i 1994 og publisert som internettstandard av IETF i september 2022 (RFC 9309, Robots Exclusion Protocol). Alle seriøse søkeroboter leser den først, fra Googlebot til robotene til ChatGPT, Claude og Perplexity.
Hva gjør generatoren for robots.txt?
Den bygger en gyldig robots.txt mens du skriver, med en direkte forhåndsvisning til høyre, en knapp for kopiering og en knapp for nedlasting som lagrer en fil kalt robots.txt. Ingenting sendes til en server: filen settes sammen i nettleseren din.
| Innstilling | Hva den skriver | Når den brukes |
|---|---|---|
| Tillat alt | User-agent: * og Allow: / | De fleste offentlige nettsteder uten noe å skjule for søkeroboter |
| Blokker alt | User-agent: * og Disallow: / | Test- eller forhåndsvisningssider som ikke skal gjennomsøkes |
| Tilpasset | Én User-agent-linje per robot, deretter Disallow- og Allow-banene dine | Blokkering av administrasjonsområder, internt søk eller en bestemt robot |
| Sitemap-URL | Sitemap: https://example.com/sitemap.xml | Alltid, slik at hver søkerobot finner sitemapet ditt |
| Crawl-delay | Crawl-delay: fra 1 til 120 sekunder | Bare for roboter som støtter det, og en server som sliter |
I tilpasset modus deler alle user-agentene du lister opp de samme reglene, slik standarden definerer en gruppe. For å gi ulike roboter ulike regler, lag én gruppe om gangen og lim dem inn etter hverandre i samme fil.
Hvordan lager du en robots.txt-fil steg for steg?
- Velg modusen. Start med «Tillat alt» med mindre du har en grunn til å blokkere noe.
- Skriv opp user-agentene i tilpasset modus, én per linje:
*for alle søkeroboter, eller navn som Googlebot, Bingbot eller GPTBot. - Legg til banene som skal blokkeres (Disallow) og unntakene som skal holdes åpne (Allow), én per linje, og hver starter med en skråstrek.
- Lim inn sitemap-URL-en i sin helhet, med https og domenet.
- Kopier eller last ned filen og last den opp til roten av verten din, slik at den svarer på
https://example.com/robots.txt. - Test den i produksjon med den gratis robots.txt-sjekken, som leser den live filen og viser statusen til hver AI-robot.
Plasseringen er streng. Google leser bare en robots.txt i roten av en vert, et nettsted kan bare ha én, og filen gjelder bare for protokollen, verten og porten der den er lagt ut: et subdomene trenger sin egen (Google, opprett og send inn en robots.txt-fil).
Hvilke robots.txt-regler følger Google?
Google støtter fire felt: user-agent, allow, disallow og sitemap. Andre felt, som crawl-delay, støttes ikke (Google, slik tolker Google robots.txt-spesifikasjonen). Samme side angir reglene under.
| Regel | Slik Google bruker den |
|---|---|
| Den mest spesifikke regelen vinner | Når både Allow og Disallow passer til en URL, gjelder regelen med den lengste banen |
| Likhet mellom regler | Når to passende regler er like spesifikke, bruker Google den minst restriktive |
| Jokertegn | * passer til en hvilken som helst tegnsekvens, $ markerer slutten på URL-en |
| Store og små bokstaver | Feltnavn skiller ikke mellom store og små bokstaver, men baner gjør det: /Admin/ er ikke /admin/ |
| Filstørrelse | Innhold etter de første 500 KiB ignoreres |
| Cache | Filen mellomlagres vanligvis i opptil 24 timer, så en endring skjer ikke øyeblikkelig |
| Manglende fil (4xx) | Behandles som om det ikke finnes noen begrensninger: alt kan gjennomsøkes |
| Serverfeil (5xx) | Google setter gjennomsøkingen på pause i 12 timer, og bruker deretter siste gode kopi i opptil 30 dager |
Her er en typisk fil for en nettbutikk. Den blokkerer handlekurven, kassen og internt søk, holder én offentlig mappe åpen og oppgir sitemapet.
User-agent: * Disallow: /cart/ Disallow: /checkout/ Disallow: /search Allow: /checkout/help/ Sitemap: https://example.com/sitemap.xml
Fjerner Disallow en side fra Google?
Nei. Robots.txt er ikke en mekanisme for å holde en nettside ute av Google. En blokkert URL kan fortsatt bli indeksert hvis andre nettsteder lenker til den, og den vises da uten beskrivelse (Google, introduksjon til robots.txt). For å skjule en side, la Google gjennomsøke den og legg til en noindex-metatagg eller HTTP-header. Å blokkere siden i robots.txt samtidig ville hindre Google i å noensinne se noindex-markeringen.
Kontroller resultatet side for side med indekserbarhetssjekken, som leser robots.txt, meta robots, X-Robots-Tag og kanonisk URL samtidig. For begrepene, se ordlisteoppføringene våre om robots.txt og gjennomsøking og indeksering.
Bør du blokkere AI-søkeroboter i robots.txt?
Blokker robotene som trener modeller hvis du vil, men hold robotene som driver AI-søk åpne. De store leverandørene skiller nå mellom de to, så du må ikke lenger velge mellom å beskytte innholdet ditt og å bli sitert.
| Leverandør | Treningsrobot | Søke- eller svarrobot | Hva blokkering av søkeroboten koster |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | Sidene dine vises ikke i svarene fra ChatGPT-søk |
| Anthropic | ClaudeBot | Claude-SearchBot | Mindre synlighet i Claudes søkeresultater |
| Perplexity | Ikke oppgitt | PerplexityBot | Sidene dine vises kanskje ikke, eller lenkes ikke, i Perplexity-resultater |
| Google-Extended (et token, ikke en egen robot) | Googlebot | Google-Extended påvirker ikke Google Search eller rangeringer |
Kilder: OpenAI, oversikt over søkeroboter, Anthropics retningslinjer for søkeroboter, Perplexity-robotene og Googles vanlige robotter. For å avslå trening og likevel kunne siteres av ChatGPT, er en fil med bare disse to linjene nok, siden alle andre roboter er tillatt som standard:
User-agent: GPTBot Disallow: /
Trenden er reell: på ett år (2023 til 2024) ble 28% eller mer av de mest aktivt vedlikeholdte kildene i C4-treningsdatasettet helt stengt for AI-robotene (Longpre et al., «Samtykke i krise», 2024). Før du følger den, sjekk hva blokkering koster deg i AI-svar: Sorank sporing av AI-omtaler viser hver måned om ChatGPT, Claude og Gemini nevner merkevaren din.
Hvilke feil i robots.txt skader SEO mest?
- Å la Disallow: / stå etter lansering. Testfiler havner ofte i produksjon. Én linje blokkerer hver søkerobot fra hele nettstedet.
- Å blokkere CSS og JavaScript. Hvis manglende ressurser gjør siden vanskeligere å forstå, fraråder Google å blokkere dem.
- Å glemme skråstreken på slutten.
Disallow: /adminblokkerer også/administrationog/admin-guide. Skriv/admin/for bare å blokkere mappen. - Å stole på Crawl-delay for Google. Google ignorerer den. Anthropic sier at de støtter utvidelsen, så behold den bare for roboter som leser den.
- Å bruke robots.txt som sikkerhetsverktøy. Filen er offentlig, og alle kan lese den. Beskytt private områder med innlogging, ikke med en Disallow-linje som peker rett på dem.
- Å glemme unntaket for WordPress. Standardfilen for WordPress blokkerer
/wp-admin/, men tillater/wp-admin/admin-ajax.php, som brukes av funksjoner på forsiden (WordPress-utviklerreferansen).
Hvordan kontrollerer du robots.txt etter publisering?
Bruk tre kontroller, fra den raskeste til den mest fullstendige.
- Åpne URL-en
https://yourdomain.com/robots.txti en nettleser. Du skal se ren tekst, ikke en HTML-side eller en 404. - Kjør robots.txt-sjekken for å liste opp regelgrupper, sitemaps, feil og statusen til 14 AI-user-agenter.
- Åpne robots.txt-rapporten i Search Console. Den viser filene Google har funnet for de 20 viktigste vertene på nettstedet ditt, siste gjennomsøking og advarsler, og lar deg be om ny gjennomsøking etter en hastereparasjon (Search Console-hjelp, robots.txt-rapporten).
Fullfør deretter oppsettet: lag et rent sitemap med XML-sitemap-generatoren, og en llms.txt-fil med llms.txt-generatoren, som gir AI-assistenter en oppsummering av nøkkelsidene dine.
Hva er begrensningene til en generert robots.txt?
Generatoren skriver riktig syntaks, men den kan ikke vite hvordan nettstedet ditt er bygd. Den sjekker ikke om en blokkert bane inneholder sider du vil ha rangert, og den skriver én gruppe om gangen. Dårlige roboter ignorerer filen helt: robots.txt er en forespørsel, ikke en mur, så blokker misbruk av trafikk på server- eller brannmurnivå. Til slutt dekker protokollen bare gjennomsøking. En side hentet av en brukerforespørsel, for eksempel ChatGPT-User eller Perplexity-User, følger kanskje ikke robots.txt-reglene, slik begge leverandørene skriver i dokumentasjonen sin.
Hvordan gjør du nettstedet ditt enkelt å gjennomsøke og sitere?
En ren robots.txt er første steg. De neste er å publisere sider som er verdt å gjennomsøke, og å kontrollere at søkerobotene faktisk kommer tilbake.
- Følg gjennomsøkingen og trafikken din i GEO- og SEO-dashbordet, som samler Search Console, Analytics og besøk fra ChatGPT og Perplexity.
- Se hvilke nettsteder AI-assistenter siterer i markedet ditt med GEO-rangeringen, og se hvor du plasserer deg blant dem.
- Publiser jevnlig med generatoren for bloggartikler, slik at søkerobotene alltid finner noe nytt.
En robots.txt på to minutter beskytter gjennomsøkingsbudsjettet ditt og AI-synligheten din samtidig. Lag din over, test den med sjekken, og se deretter Sorank-abonnementene for å holde nettstedet ditt gjennomsøkbart og sitert på autopilot.
