Robots.txt för AI-crawlers: vad du ska tillåta och vad du ska blockera

Snabbquiz

Hur ska du bli omnämnd av ChatGPT och andra AI-assistenter?

Fråga 1 av 425%

Vad vill du ta reda på eller ändra?

Bara se om AI-assistenter pratar om mitt företagFölja det över tid mot mina konkurrenterBli omnämnd oftare, redan nu

Din robots.txt för AI-crawlers har blivit ett affärsbeslut, inte bara en teknisk fil. Samma fil som en gång bara pratade med Googlebot avgör nu om ChatGPT, Claude, Perplexity och Gemini kan läsa, citera och länka till dina sidor. Formatet i sig har inte förändrats: det är fortfarande Robots Exclusion Protocol, standardiserat som RFC 9309, med användaragenter och Allow- och Disallow-rader. Det som har förändrats är antalet agenter, och att en och samma leverantör kan köra flera bottar med olika syften.

Vilka AI-crawlers finns och vad gör de?

De flesta AI-leverantörer skiljer nu på träning, sökindexering och hämtning som användaren begär, i olika användaragenter. Tabellen sammanfattar de viktigaste, så som respektive leverantör dokumenterar dem.

Källor: OpenAI:s dokumentation om crawlers och Googles lista över vanliga crawlers. Namnen ändras ibland, så kontrollera varje leverantörs sida innan du redigerar filen. Våra ordlistesidor om AI-crawlers och OpenAI-crawlers håller definitionerna korta.

Ska du blockera AI-crawlers?

För de flesta företag som vill ha kunder: nej. Blockera träning om du måste, men håll sökcrawlers öppna. Avvägningen beror på vad du säljer:

• Varumärken, SaaS, e-handel och lokala företag: AI-svar är en kanal för kundförvärv. Om du blockerar sökcrawlers försvinner du från den. Att tillåta träningscrawlers hjälper också framtida modeller att känna igen ditt varumärke.
• Publicister som lever på sidvisningar eller prenumerationer: att blockera träningscrawlers skyddar innehållets värde. Att hålla sökcrawlers öppna ger fortfarande citeringar och länkar.
• Webbplatser med privat eller licensierat innehåll: blockera brett och genomdriv det på servernivå, eftersom robots.txt är en begäran och inte en åtkomstkontroll.

Hur ser en rekommenderad robots.txt ut?

Tydliga grupper per användaragent, med sökbottar tillåtna och ett tydligt val för träningsbottar. Exempel för ett företag som vill synas i AI men helst inte mata träningsdata:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

Ta bort den andra gruppen om du är nöjd med att ditt innehåll används för träning. Vårt gratis verktyg för att skapa robots.txt bygger filen, och robots.txt-kontrollen visar vilka agenter en live-fil faktiskt släpper igenom.

Vilka misstag blockerar AI-synlighet av misstag?

Det vanligaste är en generell regel som kopierats från ett forum. Vanliga fel:

• ”User-agent: * / Disallow: /” som lämnats kvar från staging, vilket blockerar alla bottar, inklusive Googlebot.
• Att blockera OAI-SearchBot när du menade att blockera GPTBot, vilket tar bort dig från ChatGPT-sökningen i stället för bara träningen.
• En brandvägg eller bot-skydd i en CDN som svarar 403 till AI-användaragenter oavsett robots.txt. Kontrollera dina serverloggar.
• Att blockera CSS och JavaScript som behövs för att visa sidan, så att crawlers bara ser ett tomt skal.
• Viktigt innehåll som bara laddas på klientsidan. Många AI-crawlers kör inte JavaScript, så lägg huvudtexten i HTML:en.

Räcker robots.txt för att bli citerad?

Nej, den öppnar bara dörren. När crawlers kan läsa dina sidor beror citeringen på om sidorna svarar tydligt på frågor, är strukturerade så att de går att plocka ut och bekräftas av andra källor. Ren strukturerad data för AI-sökning, avsnitt som svarar först och en valfri fil llms.txt hjälper nästa steg.

Slutsats

Behandla AI-crawlers som separata beslut: öppna sök- och hämtningsbottarna, välj medvetet för träningsbottar och kontrollera att din server tillämpar samma policy. Mät sedan om den öppna dörren leder till citeringar. Sorank följer ditt varumärke i ChatGPT, Claude och Gemini varje månad och publicerar innehåll strukturerat för att bli citerat: börja med en gratis provperiod på 3 dagar.