Robots.txt til AI-crawlere: Hvad du skal tillade, og hvad du skal blokere

Hurtig quiz

Hvordan får du nævnt af ChatGPT og andre AI-assistenter?

Spørgsmål 1 af 425%

Hvad vil du vide eller ændre?

Bare se, om AI-assistenter taler om min virksomhedFølge det over tid i forhold til mine konkurrenterBlive nævnt oftere, fra nu af

Din robots.txt til AI-crawlere er blevet en forretningsbeslutning, ikke bare en teknisk fil. Den samme fil, der engang kun talte med Googlebot, afgør nu, om ChatGPT, Claude, Perplexity og Gemini kan læse, citere og linke til dine sider. Formatet i sig selv er ikke ændret: det er stadig Robots Exclusion Protocol, standardiseret som RFC 9309, med user agents og linjerne Allow og Disallow. Det, der er ændret, er antallet af agenter, og at en enkelt leverandør kan køre flere bots med forskellige formål.

Hvilke AI-crawlere findes, og hvad gør de?

De fleste AI-leverandører adskiller nu træning, søgeindeksering og brugerudløst hentning i forskellige user agents. Tabellen opsummerer de vigtigste, som hver leverandør dokumenterer dem.

Kilder: OpenAIs dokumentation for crawlere og Googles liste over almindelige crawlere. Navnene ændrer sig en gang imellem, så tjek hver leverandørs side, før du redigerer filen. Vores ordbogsposter om AI-crawlere og OpenAI-crawlere holder definitionerne korte.

Bør du blokere AI-crawlere?

For de fleste virksomheder, der vil have kunder, nej: bloker træning, hvis du må, men hold søge-crawlerne åbne. Afvejningen afhænger af, hvad du sælger:

• Brands, SaaS, e-handel, lokale virksomheder: AI-svar er en kanal til nye kunder. Blokering af søge-crawlere fjerner dig fra den. Tilladelse af trænings-crawlere hjælper også fremtidige modeller med at kende dit brand.
• Udgivere, der lever af sidevisninger eller abonnementer: blokering af trænings-crawlere beskytter indholdets værdi; hvis søge-crawlerne holdes åbne, bringer det stadig citater og links.
• Sites med private eller licenserede indhold: bloker bredt og håndhæv det på serverniveau, for robots.txt er en anmodning, ikke en adgangskontrol.

Hvordan ser en anbefalet robots.txt ud?

Eksplicitte grupper pr. user agent, med søgebots tilladt og et klart valg for trænings-bots. Eksempel for en virksomhed, der vil have synlighed i AI, men helst ikke vil føde træningsdata:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

Fjern den anden gruppe, hvis du er tilfreds med, at dit indhold bruges til træning. Vores gratis generator af robots.txt bygger filen, og robots.txt-tjekkeren viser, hvilke agenter en live fil faktisk tillader.

Hvilke fejl blokerer ved en fejl for synligheden i AI?

Den mest almindelige er en generel regel kopieret fra et forum. Hyppige fejl:

• "User-agent: * / Disallow: /" efterladt fra staging, som blokerer alle bots, inklusive Googlebot.
• Blokering af OAI-SearchBot, når man mente at blokere GPTBot, hvilket fjerner dig fra ChatGPT-søgning i stedet for kun træning.
• En CDN- eller firewallregel mod bots, der returnerer 403 til AI-user agents uanset robots.txt. Tjek dine serverlogs.
• Blokering af CSS og JavaScript, der er nødvendige for at rendere siden, så crawlerne ser et tomt skal.
• Vigtigt indhold, der kun indlæses på klientsiden; mange AI-crawlere kører ikke JavaScript, så læg hovedteksten i HTML'en.

Er robots.txt nok til at blive citeret?

Nej, den åbner kun døren. Når crawlerne kan læse dine sider, afhænger citeringen af, om siderne svarer tydeligt på spørgsmål, er struktureret til udtræk og bekræftes af andre kilder. Ren strukturerede data til AI-søgning, afsnit der starter med svaret, og en valgfri llms.txt-fil hjælper med næste skridt.

Konklusion

Behandl AI-crawlere som særskilte beslutninger: åbn søge- og brugerhentnings-bots, vælg bevidst for trænings-bots, og tjek at din server anvender den samme politik. Mål derefter, om den åbne dør bliver til citater. Sorank følger dit brand i ChatGPT, Claude og Gemini hver måned og udgiver indhold, der er struktureret til at blive citeret: start med en gratis prøveperiode på 3 dage.