KI-revisjon av nettsidens crawlbarhet: Kan KI-roboter faktisk få tilgang til nettstedet ditt?

En KI-revisjon av nettsidens crawlbarhet svarer på et enkelt spørsmål: kan KI-ene som svarer kundene dine lese nettstedet ditt? Hvert selskap publiserer navnet crawleren deres bruker i robots.txt, og hver innstilling virker for seg selv. OpenAI forklarer for eksempel at et nettsted kan tillate OAI-SearchBot å vises i søkeresultatene i ChatGPT, samtidig som GPTBot blir utestengt for å holde innholdet utenfor modelltrening (OpenAI, oversikt over OpenAIs crawlere). Én linje i robots.txt kan dermed gjøre deg usynlig i et KI-svar uten at du merker det.

Hvilke KI-crawlere sjekker revisjonen?

Revisjonen tester 14 brukeragenter. Fem av dem, merket nedenfor, betjener søk og direkte svar: blokkerer du dem, fjerner du deg fra svarene folk leser i dag.

Anthropic dokumenterer nå tre roboter: ClaudeBot til trening, Claude-User for sider hentet når noen stiller Claude et spørsmål, og Claude-SearchBot for søkekvalitet (Claude, hjelpesenter om Anthropics crawlere). Hvis du vil bli sitert av Claude, bør du også tillate de to siste i robots.txt.

Hvordan kjører du revisjonen?

1. Skriv inn domenet ditt, for eksempel dittdomene.no. Revisjonen leser https://dittdomene.no/robots.txt og forsiden.
2. Les de fire tallene øverst: søkeroboter tillatt, crawlere blokkert, crawlere sjekket og sitemap oppgitt.
3. Gå gjennom crawler-tabellen: hver linje viser selskapet, rollen, statusen og regelen som avgjorde den.
4. Rett opp problemene som står under «Slik forbedrer du», og kjør revisjonen på nytt.

Revisjonen er gratis, med 3 sjekker per dag og uten konto.

Hvordan beregnes poengsummen for KI-crawlbarhet?

Hver crawler teller som én sjekk: tillatt gir full score, delvis halv, blokkert ingen. De fem søkecrawlerne veier dobbelt så mye som treningscrawlerne, og en noindex på forsiden, i metatagget robots eller i X-Robots-Tag-headeren, teller dobbelt som feil. Poengsummen er andelen av poengene du har fått.

Poengsummen belønner åpenhet. Hvis du holder de fem søkecrawlerne åpne og blokkerer de ni andre, havner poengsummen din rundt 57: det er et bevisst valg, ikke en feil. I så fall bør du først se på tallet «Søkeroboter OK», som skal stå på 5/5.

Hva betyr tillatt, delvis og blokkert?

Revisjonen bruker reglene i robots.txt slik crawlerne gjør: den tar gruppen som er skrevet for crawleren med navn, eller gruppen «User-agent: *» hvis det ikke finnes noen.

• Tillatt: ingen gruppe gjelder, eller gruppen har ingen Disallow-regel.
• Delvis: noen baner er utestengt, for eksempel /admin/ eller /cart/. Dette er vanligvis greit; kontroller at innholdssidene dine ikke står på listen.
• Blokkert: «Disallow: /» uten «Allow: /», så crawleren kan trolig ikke lese noen side.

Reglene følger Robots Exclusion Protocol, standardisert av IETF i RFC 9309, som også minner nettstedseiere om at reglene «ikke er en form for tilgangstillatelse» (RFC 9309, Robots Exclusion Protocol). Robots.txt er en forespørsel som veloppdragne crawlere respekterer, ikke en lås.

Bør du blokkere KI-crawlere eller slippe dem inn?

Skill de to bruksområdene. Søkecrawlere gir siteringer og besøk; treningscrawlere mater fremtidige modeller. De fleste selskaper som vil bli anbefalt, åpner den første gruppen og avgjør den andre fra sak til sak.

To offisielle avklaringer hjelper med avgjørelsen. Google sier at Google-Extended ikke påvirker et nettsteds plass i Google-søk og ikke er et rangeringssignal (Google, vanlige crawlere). Perplexity sier at PerplexityBot viser nettsteder i søkeresultatene og ikke brukes til å trene grunnmodeller for KI (Perplexity, dokumentasjon om crawlere). Apples Applebot-Extended styrer bare trening: Apple påpeker at innholdet ditt fortsatt kan finnes via Spotlight, Siri og Safari (Apple Support, om Applebot).

Hvordan retter du en blokkert KI-crawler?

Rediger robots.txt-filen i roten av domenet ditt. For å åpne søk i ChatGPT og samtidig holde GPTBot ute, legg til to grupper:

• User-agent: OAI-SearchBot etterfulgt av Allow: /
• User-agent: GPTBot etterfulgt av Disallow: /

Sjekk deretter tre ting som ofte gjør endringen ugjort.

1. En regel i CDN eller brannmur som blokkerer KI-brukeragenter før robots.txt i det hele tatt leses. Noen CDN-er tilbyr en bryter med ett klikk som blokkerer KI-roboter.
2. En noindex i et metatagg eller en X-Robots-Tag-header, som revisjonen rapporterer for seg.
3. Forsinkelsen: OpenAI og Perplexity sier begge at endringer kan ta omtrent 24 timer før de slår ut.

Sjekken av robots.txt validerer syntaksen, og generatoren for robots.txt skriver en ren fil. Oppslaget i ordlisten om KI-crawlere forklarer hver robot mer utførlig.

Hvorfor ser revisjonen på sitemapet og noindex?

Fordi tilgang ikke er nok: crawlerne må også finne sidene dine og ha lov til å bruke dem. En linje «Sitemap:» i robots.txt peker hver crawler til listen over nettadresser, og en noindex på forsiden forteller søkesystemene å la nettstedet være utenfor. Google bekrefter at en side må være indeksert og kvalifisert for et utdrag for å vises som støttelenke i AI Overviews eller AI Mode (Google, KI-funksjoner og nettstedet ditt). For en oversikt side for side, bruk sjekken for indekserbarhet og sjekken for sitemap.

Hva er begrensningene ved revisjonen?

• Den leser regler, ikke trafikk: den kan ikke se om en crawler faktisk har besøkt deg. Serverloggene dine viser det.
• En manglende robots.txt regnes som åpen: når filen ikke kan leses, vises alle crawlere som tillatt. Hvis filen gir en serverfeil, kan crawlerne i stedet behandle hele nettstedet som blokkert, slik RFC 9309 beskriver, så kontroller statuskoden.
• Brannmurer er usynlige for den: en robot blokkert på CDN-nivå vises fortsatt som tillatt.
• Nye crawlere dukker opp ofte: listen dekker de store KI-selskapene, ikke alle robotene på nettet.

Fra åpne dører til ekte siteringer

En åpen robots.txt gjør siteringer mulige; den skaper dem ikke. Når crawlerne kan lese deg, sjekk om ChatGPT faktisk siterer deg med sjekken for synlighet i ChatGPT. Sorank-sporing av KI-omtaler følger deretter siteringene dine i ChatGPT, Gemini og Claude hver måned, og generatoren for blogginnlegg publiserer sidene de nye KI-ene liker å sitere. Se abonnementene til Sorank for å kjøre det på autopilot.