Sammanfattning
AI-granskningen av genomsökbarhet läser din robots.txt och din startsida och berättar sedan, för 14 AI-robotar från OpenAI, Anthropic, Perplexity, Google, Apple, Amazon, Meta, ByteDance och Common Crawl, om varje robot är tillåten, delvis blockerad eller blockerad. Den kontrollerar också ett noindex-direktiv och en sitemap. Poängen av 100 räknar de robotar som matar AI-sökningens svar dubbelt. Om OAI-SearchBot eller PerplexityBot är blockerad kan ChatGPT respektive Perplexity inte citera dig.
Vill du veta mer? Fråga
En AI-granskning av genomsökbarhet svarar på en enkel fråga: kan de AI som svarar dina kunder läsa din sajt? Varje företag publicerar det namn som dess robot använder i robots.txt, och varje inställning fungerar för sig. OpenAI förklarar till exempel att en sajt kan tillåta OAI-SearchBot för att synas i ChatGPT:s sökresultat och samtidigt neka GPTBot för att hålla sitt innehåll utanför modellträningen (OpenAI, översikt över OpenAI:s robotar). En enda rad i robots.txt kan alltså göra dig osynlig i ett AI-svar utan att du märker det.
Vilka AI-robotar kontrollerar granskningen?
Granskningen testar 14 användaragenter. Fem av dem, markerade nedan, används för sökning och för svar i realtid: blockerar du dem försvinner du från de svar människor läser i dag.
| Robot | Företag | Roll | Vikt i poängen |
|---|---|---|---|
| OAI-SearchBot | OpenAI | ChatGPT:s sökresultat | Dubbel (sökning) |
| ChatGPT-User | OpenAI | Besöker en sida när en användare frågar | Dubbel (sökning) |
| GPTBot | OpenAI | Modellträning | Enkel |
| PerplexityBot | Perplexity | Perplexitys sökresultat | Dubbel (sökning) |
| Perplexity-User | Perplexity | Besöker en sida när en användare frågar | Dubbel (sökning) |
| Google-Extended | Träning och förankring för Gemini | Dubbel (sökning) | |
| ClaudeBot | Anthropic | Modellträning | Enkel |
| Claude-Web, anthropic-ai | Anthropic | Äldre Anthropic-tokens | Enkel var |
| Applebot-Extended | Apple | Träning för Apple Intelligence | Enkel |
| CCBot | Common Crawl | Öppet webbarkiv som många modeller använder | Enkel |
| Amazonbot | Amazon | Assistent och träning | Enkel |
| Bytespider | ByteDance | Modellträning | Enkel |
| Meta-ExternalAgent | Meta | Modellträning | Enkel |
Anthropic dokumenterar nu tre robotar: ClaudeBot för träning, Claude-User för sidor som hämtas när någon ställer en fråga till Claude, och Claude-SearchBot för sökkvaliteten (Claude Help Center, Anthropics robotar). Vill du bli citerad av Claude ska du även tillåta de två sista i robots.txt.
Hur kör du granskningen?
- Ange din domän, till exempel dindomän.se. Granskningen läser https://dindomän.se/robots.txt och startsidan.
- Läs de fyra siffrorna överst: sökrobotar tillåtna, robotar blockerade, robotar kontrollerade och sitemaps deklarerade.
- Gå igenom robottabellen: varje rad visar företaget, rollen, statusen och regeln som avgjorde den.
- Åtgärda problemen som står under ”Så förbättrar du”, och kör sedan granskningen igen.
Granskningen är gratis, med 3 kontroller per dag och utan konto.
Hur beräknas poängen för genomsökbarhet med AI?
Varje robot räknas som en kontroll: tillåten ger full poäng, delvis halva, blockerad ingenting. De fem sökrobotarna väger dubbelt så mycket som träningsrobotarna, och ett noindex på startsidan, i metataggen robots eller i headern X-Robots-Tag, räknas dubbelt som misslyckande. Poängen är andelen av de möjliga poängen som uppnåtts.
| Poäng | Betyg | Nivå |
|---|---|---|
| 90 till 100 | A | Stark |
| 75 till 89 | B | Stark |
| 60 till 74 | C | Bra, men utrymme för förbättring |
| 40 till 59 | D | Behöver arbete |
| Under 40 | F | Allvarliga brister |
Poängen belönar öppenhet. Håller du de fem sökrobotarna öppna och blockerar de nio övriga landar din poäng runt 57: det är ett medvetet val, inte ett fel. I så fall ska du i första hand titta på siffran ”Sökrobotar OK”, som ska visa 5/5.
Vad betyder tillåten, delvis och blockerad?
Granskningen tillämpar reglerna i robots.txt på samma sätt som robotarna gör: den tar gruppen som skrivits för robotten med namn, eller gruppen ”User-agent: *” om ingen sådan finns.
- Tillåten: ingen grupp gäller, eller gruppen saknar regeln Disallow.
- Delvis: vissa sökvägar är förbjudna, till exempel /admin/ eller /cart/. Det är oftast bra; kontrollera bara att dina innehållssidor inte finns i listan.
- Blockerad: ”Disallow: /” utan ”Allow: /”, så robotten kanske inte kan läsa någon sida.
Reglerna följer Robots Exclusion Protocol som IETF standardiserade i RFC 9309, där det också påminns om att reglerna ”inte är en form av åtkomstauktorisering” (RFC 9309, Robots Exclusion Protocol). Robots.txt är en begäran som välartade robotar respekterar, inte ett lås.
Ska du blockera AI-robotar eller släppa in dem?
Skilj mellan de två användningarna. Sökrobotar ger citeringar och besök; träningsrobotar matar framtida modeller. De flesta företag som vill bli rekommenderade släpper in den första gruppen och avgör den andra från fall till fall.
| Mål | Sökrobotar (OAI-SearchBot, PerplexityBot, ChatGPT-User, Perplexity-User) | Träningsrobotar (GPTBot, ClaudeBot, CCBot, Applebot-Extended...) |
|---|---|---|
| Bli citerad i AI-svar | Tillåt | Ditt val |
| Håll innehållet utanför modellträning | Tillåt | Neka |
| Betalt eller innehåll för medlemmar | Neka bara de skyddade sökvägarna | Neka bara de skyddade sökvägarna |
Två officiella förtydliganden hjälper beslutet. Google säger att Google-Extended inte påverkar en sajts närvaro i Google-sökningen och inte är en rankingsignal (Google, vanliga robotar). Perplexity säger att PerplexityBot visar sajter i sina sökresultat och inte används för att träna Perplexitys grundmodeller (Perplexity, dokumentation om robotar). Apples Applebot-Extended styr enbart träningen: Apple påpekar att ditt innehåll fortfarande kan hittas via Spotlight, Siri och Safari (Apple Support, om Applebot).
Hur åtgärdar du en blockerad AI-robot?
Redigera filen robots.txt i roten av din domän. För att öppna ChatGPT-sökningen och ändå hålla ute GPTBot lägger du till två grupper:
- User-agent: OAI-SearchBot följt av Allow: /
- User-agent: GPTBot följt av Disallow: /
Kontrollera sedan tre saker som ofta ogiltigförklarar ändringen.
- En CDN- eller brandväggsregel som blockerar AI-användaragenter innan robots.txt ens läses. Vissa CDN:er har en omkopplare som blockerar AI-botar med ett klick.
- Ett noindex i en metatagg eller en X-Robots-Tag-header, som granskningen redovisar separat.
- Fördröjningen: OpenAI och Perplexity säger båda att ändringar kan ta cirka 24 timmar att slå igenom.
Robots.txt-kontrollen validerar syntaxen, och robots.txt-generatorn skriver en ren fil. Ordlisteposten om AI-robotar förklarar varje bot mer utförligt.
Varför tittar granskningen på sitemapen och noindex?
För att åtkomst inte räcker: robotarna måste också hitta dina sidor och få använda dem. En rad ”Sitemap:” i robots.txt pekar varje robot till din lista över URL:er, och ett noindex på startsidan säger åt söksystemen att utelämna sajten. Google bekräftar att en sida, för att synas som stödlänk i AI-översikter eller AI-läget, måste vara indexerad och berättigad till ett utdrag (Google, AI-funktioner och din webbplats). För en sida-för-sida-bild använder du indexeringskontrollen och sitemap-kontrollen.
Vilka är granskningens begränsningar?
- Den läser regler, inte trafik: den kan inte se om en robot faktiskt har besökt dig. Det visar dina serverloggar.
- En saknad robots.txt räknas som öppen: när filen inte går att läsa visas alla robotar som tillåtna. Om filen svarar med ett serverfel kan robotarna i stället behandla hela sajten som blockerad, enligt RFC 9309, så kontrollera statuskoden.
- Brandväggar syns inte: en bot som blockeras på CDN-nivå visas ändå som tillåten.
- Nya robotar dyker upp ofta: listan täcker de största AI-företagen, inte varje bot på webben.
Från öppna dörrar till verkliga citeringar
En öppen robots.txt gör citeringar möjliga; den skapar dem inte. När robotarna kan läsa dig, kontrollera om ChatGPT faktiskt citerar dig med ChatGPT-synlighetskontrollen. Sorank-spårningen av AI-omnämnanden följer sedan dina citeringar i ChatGPT, Gemini och Claude varje månad, och bloggartikelgeneratorn publicerar de sidor som AI:erna gärna citerar. Se Sorank-abonnemangen för att köra det på autopilot.
