Robots.txt for KI-crawlere: Hva du bør tillate, og hva du bør blokkere

Rask quiz

Hvordan får du omtale fra ChatGPT og andre AI-assistenter?

Spørsmål 1 av 425%

Hva vil du vite eller endre?

Bare se om AI-assistenter snakker om virksomheten minFølge det over tid sammenlignet med konkurrentene mineBli omtalt oftere, fra nå av

Robots.txt for KI-crawlere er blitt en forretningsbeslutning, ikke bare en teknisk fil. Den samme filen som tidligere bare snakket med Googlebot, avgjør nå om ChatGPT, Claude, Perplexity og Gemini kan lese, sitere og lenke til sidene dine. Formatet i seg selv har ikke endret seg: det er fortsatt Robots Exclusion Protocol, standardisert som RFC 9309, med user agents og linjene Allow og Disallow. Det som har endret seg, er antallet agenter, og at én leverandør kan kjøre flere roboter med ulike formål.

Hvilke KI-crawlere finnes, og hva gjør de?

De fleste KI-leverandører skiller nå mellom trening, søkeindeksering og brukerutløst henting i ulike user agents. Tabellen oppsummerer de viktigste slik hver leverandør dokumenterer dem.

Kilder: OpenAIs dokumentasjon for crawlere og Googles liste over vanlige crawlere. Navnene endres av og til, så sjekk hver leverandørs side før du redigerer filen. Våre ordbokoppføringer om KI-crawlere og OpenAI-crawlere holder definisjonene korte.

Bør du blokkere KI-crawlere?

For de fleste virksomheter som vil ha kunder: nei. Blokker trening hvis du må, men hold søkecrawlerne åpne. Avveiningen avhenger av hva du selger:

• Merkevarer, SaaS, netthandel og lokale virksomheter: KI-svar er en kanal for kunder. Å blokkere søkecrawlerne fjerner deg fra den. Å tillate treningscrawlerne hjelper også fremtidige modeller å kjenne merkevaren din.
• Utgivere som lever av sidevisninger eller abonnementer: å blokkere treningscrawlerne beskytter verdien av innholdet; å holde søkecrawlerne åpne gir fortsatt sitater og lenker.
• Nettsteder med privat eller lisensiert innhold: blokker bredt og håndhev på serversiden, siden robots.txt er en forespørsel, ikke en tilgangskontroll.

Hvordan ser en anbefalt robots.txt ut?

Eksplisitte grupper per user agent, med søkeboter tillatt og et tydelig valg for treningsboter. Eksempel for en virksomhet som vil ha KI-synlighet, men helst ikke mate treningsdata:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

Fjern den andre gruppen hvis du er fornøyd med at innholdet ditt brukes i trening. Vår gratis generator for robots.txt lager filen, og sjekken av robots.txt viser hvilke agenter en live fil faktisk tillater.

Hvilke feil blokkerer KI-synlighet ved et uhell?

Den vanligste er en generell regel kopiert fra et forum. Hyppige feil:

• «User-agent: * / Disallow: /» igjen fra staging, som blokkerer alle boter, inkludert Googlebot.
• Blokkering av OAI-SearchBot når du mente å blokkere GPTBot, som fjerner deg fra ChatGPT-søk i stedet for bare trening.
• En regel for bot-beskyttelse i CDN eller brannmur som returnerer 403 til KI-user agents uansett robots.txt. Sjekk serverloggene dine.
• Blokkering av CSS og JavaScript som trengs for å vise siden, slik at crawlerne ser et tomt skall.
• Viktig innhold som bare lastes på klientsiden; mange KI-crawlere kjører ikke JavaScript, så legg hovedteksten i HTML.

Er robots.txt nok til å bli sitert?

Nei, den åpner bare døren. Når crawlerne kan lese sidene dine, avhenger siteringen av om sidene svarer tydelig på spørsmål, er strukturert for å hentes ut og bekreftes av andre kilder. Ren strukturert data for KI-søk, seksjoner som svarer først, og en valgfri llms.txt-fil hjelper neste steg.

Konklusjon

Behandle KI-crawlere som separate beslutninger: åpne søke- og brukerhenting-botene, velg bevisst for treningsbotene, og kontroller at serveren din bruker samme policy. Mål deretter om den åpne døren blir til sitater. Sorank følger merkevaren din i ChatGPT, Claude og Gemini hver måned, og publiserer innhold strukturert for å bli sitert: start med gratis prøveperiode i 3 dager.