Sammanfattning
Det kostnadsfria verktyget för kontroll av robots.txt läser den publicerade robots.txt-filen för valfri domän och visar dess regelgrupper, sitemaps, de problem det hittat och statusen för 14 AI-sökrobotar (tillåten, delvis eller blockerad), från GPTBot och OAI-SearchBot till ClaudeBot, PerplexityBot och Google-Extended. Använd det efter varje ändring i filen, och när dina sidor slutar synas i Google eller i AI-svar.
Vill du veta mer? Fråga
En kontroll av robots.txt fångar raden som tyst blockerar en hel webbplats. Robots.txt är en offentlig standard (RFC 9309) som varje större sökrobot läser innan den besöker en webbplats, och AI-sökrobotarna har gjort att filen måste hantera fler robotar. Mellan maj 2024 och maj 2025 steg GPTBots andel av AI-robotarnas trafik från 5% till 30%, och Meta-ExternalAgent nådde 19% (Cloudflare, vem som söker av din webbplats 2025). Din fil måste säga något förnuftigt till alla.
Vad visar kontrollen av robots.txt?
Ange en domän så hämtar verktyget https://dindomän/robots.txt, följer omdirigeringar, tolkar filen och returnerar fem block.
| Block | Vad det visar | Vad du ska titta på |
|---|---|---|
| Regelgrupper | Hur många User-agent-grupper filen innehåller | Noll betyder att syntaxen inte kunde läsas |
| Sitemaps | Varje rad Sitemap som hittats | Minst en fullständig URL till din sitemap |
| Blockerade AI-robotar | Hur många av de 14 AI-sökrobotarna som är helt blockerade | Bara de du valt att blockera |
| Problem | Upptäckta problem, med en rekommendation | Noll, eller bara medvetna val |
| Råfil | Robots.txt så som den serveras | Att det är den fil du tror att du publicerat |
Om domänen saknar robots.txt, eller returnerar en HTML-sida i stället för vanlig text, säger verktyget det och rekommenderar att du lägger till en fil. Den kostnadsfria versionen kör 3 kontroller per dag.
Hur avgör kontrollen om en AI-robot är blockerad?
För var och en av de 14 AI-sökrobotarna letar verktyget efter en grupp som nämner roboten. Om ingen finns använder det gruppen User-agent: *. Sedan tillämpar det tre statusar.
| Status | Regel som hittats i gruppen | Vad det betyder |
|---|---|---|
| Tillåten | Ingen grupp gäller, eller gruppen saknar någon Disallow-regel | Roboten kan söka igenom hela webbplatsen |
| Delvis | Disallow-regler för bara vissa sökvägar | Roboten kan söka igenom webbplatsen utom de sökvägarna |
| Blockerad | Disallow: / utan Allow: / | Roboten uppmanas hålla sig borta från hela webbplatsen |
De 14 sökrobotarna som kontrolleras är GPTBot, OAI-SearchBot och ChatGPT-User (OpenAI), ClaudeBot, Claude-Web och anthropic-ai (Anthropic), PerplexityBot och Perplexity-User, Google-Extended, Applebot-Extended, CCBot (Common Crawl), Amazonbot, Bytespider (ByteDance) och Meta-ExternalAgent. Tabellen visar också varje robots leverantör och syfte, så att du direkt ser om du blockerar träning, sökning eller direkt surfning.
Vilka AI-sökrobotar bör du tillåta?
Tillåt de sökrobotar som placerar dina sidor i AI-sökresultat. Att blockera träningsrobotar är ett affärsbeslut, medan att blockera sökrobotar oftast är ett misstag.
- OAI-SearchBot: webbplatser som tackar nej visas inte i ChatGPT-sökningens svar. GPTBot gäller bara modellträning, och de två inställningarna är oberoende av varandra (OpenAI:s översikt över robotar).
- PerplexityBot: den visar och länkar webbplatser i Perplexitys resultat och används inte för att träna grundmodeller (Perplexitys sökrobotar).
- Google-Extended: en token för träning och grundning av Gemini som inte påverkar inkluderingen i Google Sök eller rankningarna (Googles vanliga sökrobotar).
- Anthropic: ClaudeBot samlar träningsdata, medan Claude-SearchBot och Claude-User används för sökning och användarförfrågningar. Om du blockerar de två sista kan din synlighet i Claude minska (Anthropics regler för sökrobotar).
De flesta webbplatser fattar aldrig något beslut. Den 6 juni 2025 hade bara cirka 14% av de 10000 största domänerna med en robots.txt regler riktade mot AI-robotar, och GPTBot var både den mest blockerade (312 domäner) och den mest uttryckligen tillåtna (61 domäner), enligt samma Cloudflare-studie. Robotar som inte nämns i filen tillåts som standard.
Vad betyder de vanligaste problemen?
| Rapporterat problem | Varför det spelar roll | Åtgärd |
|---|---|---|
| User-agent: * blockeras från hela webbplatsen | Varje sökrobot utan egen grupp, Googlebot inräknad, uppmanas hålla sig borta | Ta bort Disallow: / från *-gruppen, om inte webbplatsen är en testkopia |
| Ingen Sitemap-rad | Sökrobotar som du aldrig lämnat sitemapen till, till exempel Bing eller AI-robotar, kanske inte hittar den | Lägg till Sitemap: https://dindomän/sitemap.xml |
| En namngiven AI-robot är blockerad | Leverantören kommer inte att söka igenom dina sidor | Behåll blockeringen bara om den är ett medvetet val |
| Inga User-agent-grupper kunde tolkas | Filen har ingen giltig regel, så den begränsar ingenting | Kontrollera syntaxen: Fält: värde, en regel per rad |
| Ingen robots.txt hittades | Inget fel i sig: Google söker då igenom allt | Lägg till en fil ändå, för att ange din sitemap och dina val för AI-robotar |
Google hanterar en saknad eller trasig fil olika beroende på HTTP-statuskoden. Ett svar 4xx (utom 429) betyder inga begränsningar. Ett svar 5xx behandlas som ett serverfel: Google pausar sökningen i 12 timmar och använder sedan sin senaste fungerande kopia i upp till 30 dagar (Google, hur Google tolkar specifikationen för robots.txt). En robots.txt som fortsätter att misslyckas med serverfel kan alltså frysa sökningen av en frisk webbplats.
Hur åtgärdar du ett problem med robots.txt steg för steg?
- Läs den råa filen i rapporten för att bekräfta vad som verkligen finns online. CDN-cacher och testdeployeringar serverar ofta en gammal version.
- Skriv om filen med generatorn för robots.txt, som bygger rena grupper, Allow- och Disallow-regler och raden Sitemap.
- Ladda upp den till roten på varje värd. En subdomän som blog.example.com behöver en egen fil.
- Kör kontrollen igen och bekräfta att statusarna ändrats.
- Informera Google om rättelsen är brådskande. Rapporten om robots.txt i Search Console visar filerna Google hittat för dina 20 viktigaste värdar och låter dig begära en ny sökning (Search Console-hjälpen, rapporten om robots.txt). Annars uppdaterar Google sin cachade kopia inom cirka 24 timmar.
Kontrollera sedan sidorna själva. En sida som är öppen i robots.txt kan ändå hållas borta från indexet av en noindex-tagg eller en canonical som pekar någon annanstans: kontrollen av indexerbarhet testar alla dessa på en och samma URL. För en översikt över hela webbplatsen av vad AI-sökrobotar kan läsa, kör granskningen av sökbarhet för AI.
Vilka är gränserna för kontrollen av robots.txt?
- Statusarna sammanfattas per robot, inte per URL. "Delvis" betyder att vissa sökvägar är stängda. Läs reglerna för att se vilka.
- En grupp per robot. Om du delar upp reglerna för samma robot i flera grupper slår Google ihop dem. Läs då den råa filen.
- Bara rotdomänen. Verktyget läser filen för domänen du anger, utan www, och följer omdirigeringar. Kontrollera varje subdomän för sig.
- En lista med 14 robotar. Nyare user-agents som Claude-SearchBot och Claude-User finns inte i tabellen ännu: leta efter dem i den råa filen.
- Robots.txt är en begäran. Seriösa sökrobotar följer den och missbrukande gör det inte. Hämtningar som användaren själv utlöser, till exempel ChatGPT-User eller Perplexity-User, kanske inte tillämpar den, vilket både OpenAI och Perplexity dokumenterar.
För begreppen bakom dessa kontroller, se våra ordlisteposter om robots.txt och AI-sökrobotar.
Hur säkerställer du att AI-assistenter hittar och citerar dig?
En öppen robots.txt är ett villkor, inte ett resultat. När sökrobotarna kan läsa din webbplats, mät om AI-assistenter faktiskt använder den.
- Följ ditt varumärke i AI-svar med spårning av AI-omnämnanden, som varje månad kontrollerar om ChatGPT, Claude och Gemini nämner dig och vilka källor de citerar.
- Följ AI-besöken bredvid dina Google-klick i instrumentpanelen för GEO och SEO.
- Ge sökrobotarna nya sidor att läsa med bloggplaneraren, som fyller din kalender och publicerar enligt schema.
En felaktig rad i robots.txt kan dölja en webbplats för Google och för alla AI-assistenter samtidigt. Kontrollera din fil ovan efter varje ändring, och se sedan Sorank-abonnemangen för att följa din sökbarhet och AI-synlighet på autopilot.
