AI-crawlbarhedsaudit for websites: Kan AI-bots faktisk få adgang til dit site?

En AI-crawlbarhedsaudit for websites besvarer et enkelt spørgsmål: kan de AI'er, der svarer dine kunder, læse dit site? Hvert firma offentliggør navnet, dets crawler bruger i robots.txt, og hver indstilling virker for sig. OpenAI forklarer for eksempel, at et site kan tillade OAI-SearchBot, så det vises i ChatGPT-søgeresultater, mens GPTBot forbydes, så indholdet holdes ude af modeltræning (OpenAI, oversigt over OpenAI-crawlere). En enkelt linje i robots.txt kan dermed gøre dig usynlig i et AI-svar, uden at du ved det.

Hvilke AI-crawlere tjekker auditen?

Auditen tester 14 brugeragenter. Fem af dem, markeret nedenfor, leverer søgning og live-svar: blokerer du dem, fjerner du dig fra de svar, folk læser i dag.

Anthropic dokumenterer nu tre bots: ClaudeBot til træning, Claude-User til sider hentet, når nogen stiller Claude et spørgsmål, og Claude-SearchBot til søgekvalitet (Claudes hjælpecenter, Anthropic-crawlere). Vil du citeres af Claude, skal du også tillade de to sidste i din robots.txt.

Hvordan kører du auditen?

1. Indtast dit domæne, for eksempel dit-domæne.dk. Auditen læser https://dit-domæne.dk/robots.txt og forsiden.
2. Læs de fire tal øverst: søgebots tilladt, crawlere blokeret, crawlere tjekket og sitemaps angivet.
3. Gennemgå crawler-tabellen: hver linje viser firmaet, rollen, status og den regel, der afgjorde det.
4. Ret de problemer, der står under „Sådan forbedrer du“, og kør auditen igen.

Auditen er gratis, med 3 tjek pr. dag og uden konto.

Hvordan beregnes scoren for AI-crawlbarhed?

Hver crawler tæller som ét tjek: tilladt giver fulde point, delvist halvdelen og blokeret ingen. De fem søgecrawlere vejer dobbelt så meget som træningscrawlerne, og et noindex på forsiden, i meta-tagget robots eller i headeren X-Robots-Tag, tæller dobbelt som fejl. Scoren er den andel af point, du har opnået.

Scoren belønner åbenhed. Holder du de fem søgecrawlere åbne og blokerer de ni andre, ender din score omkring 57: det er et bevidst valg, ikke en fejl. Kig i så fald først på tallet „Søgebots OK“, som skal stå på 5/5.

Hvad betyder tilladt, delvist og blokeret?

Auditen anvender robots.txt-reglerne, som crawlerne gør: den tager gruppen skrevet til crawleren ved navn, eller gruppen „User-agent: *“, hvis der ingen er.

• Tilladt: ingen gruppe gælder, eller gruppen har ingen Disallow-regel.
• Delvist: nogle stier er forbudt, for eksempel /admin/ eller /cart/. Det er normalt fint; kontroller, at dine indholdssider ikke står på listen.
• Blokeret: „Disallow: /“ uden „Allow: /“, så crawleren kan ikke læse nogen side.

Reglerne følger Robots Exclusion Protocol, standardiseret af IETF i RFC 9309, som også minder webstedsejere om, at reglerne „ikke er en form for adgangstilladelse“ (RFC 9309, Robots Exclusion Protocol). Robots.txt er en anmodning, som velopdragne crawlere respekterer, ikke en lås.

Skal du blokere AI-crawlere eller lukke dem ind?

Skil de to anvendelser ad. Søgecrawlere bringer citater og besøg; træningscrawlere føder kommende modeller. De fleste virksomheder, der vil anbefales, åbner den første gruppe og vurderer den anden fra sag til sag.

To officielle præciseringer hjælper med beslutningen. Google oplyser, at Google-Extended ikke påvirker et sites medtagelse i Google-søgning, og at det ikke er et rangeringssignal (Google, almindelige crawlere). Perplexity oplyser, at PerplexityBot viser sites i deres søgeresultater og ikke bruges til at træne AI-grundmodeller (Perplexity, dokumentation om crawlere). Apples Applebot-Extended styrer kun træning: Apple oplyser, at dit indhold fortsat kan findes via Spotlight, Siri og Safari (Apple Support, om Applebot).

Hvordan retter du en blokeret AI-crawler?

Rediger robots.txt-filen i roden af dit domæne. For at åbne ChatGPT-søgning og samtidig holde GPTBot ude, tilføj to grupper:

• User-agent: OAI-SearchBot efterfulgt af Allow: /
• User-agent: GPTBot efterfulgt af Disallow: /

Tjek derefter tre ting, som ofte ophæver ændringen.

1. En CDN- eller firewallregel, der blokerer AI-brugeragenter, før robots.txt overhovedet læses. Nogle CDN'er tilbyder en kontakt med ét klik, der blokerer AI-bots.
2. Et noindex i et meta-tag eller en X-Robots-Tag-header, som auditen rapporterer særskilt.
3. Forsinkelsen: OpenAI og Perplexity siger begge, at en ændring kan tage cirka 24 timer, før den slår igennem.

robots.txt-tjekket validerer syntaksen, og robots.txt-generatoren skriver en ren fil. Ordlistens post om AI-crawlere forklarer hver bot i flere detaljer.

Hvorfor kigger auditen på sitemap og noindex?

Fordi adgang ikke er nok: crawlere skal også kunne finde dine sider og må bruge dem. En linje „Sitemap:“ i robots.txt peger alle crawlere hen til din liste over URL'er, og et noindex på forsiden fortæller søgesystemerne, at de skal lade sitet ligge. Google bekræfter, at en side, for at dukke op som understøttende link i AI Overviews eller AI-tilstand, skal være indekseret og berettiget til et uddrag (Google, AI-funktioner og dit websted). Til et side-for-side-overblik bruger du indekserbarhedstjekket og sitemap-tjekket.

Hvad er grænserne for auditen?

• Den læser regler, ikke trafik: den kan ikke se, om en crawler faktisk har besøgt dig. Dine serverlogs viser det.
• En manglende robots.txt tæller som åben: når filen ikke kan læses, vises hver crawler som tilladt. Hvis filen svarer med en serverfejl, kan crawlere i stedet behandle hele sitet som blokeret, som RFC 9309 foreskriver, så kontroller dens statuskode.
• Firewaller er usynlige for den: en bot, der er blokeret på CDN-niveau, vises stadig som tilladt.
• Nye crawlere dukker ofte op: listen dækker de store AI-firmaer, ikke hver bot på nettet.

Fra åbne døre til rigtige citater

En åben robots.txt gør citater mulige; den skaber dem ikke. Når crawlerne kan læse dig, tjekker du med ChatGPT-synlighedstjekket, om ChatGPT faktisk citerer dig. Sorank AI-omtaleopfølgning følger derefter dine citater i ChatGPT, Gemini og Claude hver måned, og blogartikelgeneratoren udgiver de sider, som AI'erne gerne citerer. Se Sorank-abonnementerne for at køre det på autopilot.