Sammanfattning
Den kostnadsfria robots.txt-generatorn skriver filen som talar om för sökrobotar vilka delar av din webbplats de får besöka. Välj ett läge (tillåt allt, blockera allt eller anpassat), skriv dina user-agents och sökvägar, lägg till din sitemap-URL och kopiera eller ladda ner filen, och ladda sedan upp den till roten av din domän. Kom ihåg att robots.txt styr genomsökning, inte indexering: vill du hålla en sida borta från Google använder du i stället noindex.
Vill du veta mer? Fråga
En robots.txt-generator sparar dig från de små syntaxfel som av misstag blockerar en hel webbplats. Filen följer Robots Exclusion Protocol, skapat av Martijn Koster 1994 och publicerat som internetstandard av IETF i september 2022 (RFC 9309, Robots Exclusion Protocol). Varje seriös sökrobot läser den först, från Googlebot till robotarna för ChatGPT, Claude och Perplexity.
Vad gör robots.txt-generatorn?
Den bygger en giltig robots.txt medan du skriver, med en levande förhandsvisning till höger, en knapp för att kopiera och en knapp för att ladda ner en fil med namnet robots.txt. Inget skickas till en server: filen sätts ihop i din webbläsare.
| Inställning | Vad den skriver | När du använder den |
|---|---|---|
| Tillåt allt | User-agent: * och Allow: / | De flesta publika webbplatser med inget att dölja för sökrobotar |
| Blockera allt | User-agent: * och Disallow: / | Test- eller förhandsgranskningssidor som inte får genomsökas |
| Anpassad | En User-agent-rad per robot, sedan dina Disallow- och Allow-sökvägar | Blockera adminområden, intern sökning eller en viss robot |
| Sitemap-URL | Sitemap: https://example.com/sitemap.xml | Alltid, så att varje sökrobot hittar din sitemap |
| Crawl-delay | Crawl-delay: från 1 till 120 sekunder | Endast för robotar som stöder det och en server som har svårt |
I anpassat läge delar alla user-agents du listar samma regler, så standarden definierar en grupp. För att ge olika robotar olika regler, generera en grupp i taget och klistra in dem efter varandra i samma fil.
Hur skapar du en robots.txt-fil steg för steg?
- Välj läget. Börja med ”Tillåt allt” om du inte har skäl att blockera något.
- Lista dina user-agents i anpassat läge, en per rad:
*för alla sökrobotar, eller namn som Googlebot, Bingbot eller GPTBot. - Lägg till sökvägarna som ska blockeras (Disallow) och undantagen som ska hållas öppna (Allow), en per rad, vardera med början på ett snedstreck.
- Klistra in din sitemap-URL i sin helhet, med https och domänen.
- Kopiera eller ladda ner filen och ladda upp den till roten av din värd, så att den svarar på
https://example.com/robots.txt. - Testa den i produktion med den kostnadsfria robots.txt-kontrollen, som läser den levande filen och visar statusen för varje AI-sökrobot.
Platsen är strikt. Google läser bara en robots.txt i roten av en värd, en webbplats kan bara ha en, och filen gäller endast för protokollet, värden och porten där den ligger: en underdomän behöver sin egen (Google, skapa och skicka en robots.txt-fil).
Vilka robots.txt-regler följer Google?
Google stöder fyra fält: user-agent, allow, disallow och sitemap. Andra fält, till exempel crawl-delay, stöds inte (Google, så tolkar Google specifikationen för robots.txt). Samma sida anger reglerna nedan.
| Regel | Så tillämpar Google den |
|---|---|
| Mest specifik regel vinner | När både Allow och Disallow matchar en URL gäller regeln med den längsta sökvägen |
| Lika regler | När två matchande regler är lika specifika använder Google den minst restriktiva |
| Jokertecken | * matchar valfri teckensekvens, $ markerar slutet på URL:en |
| Versaler och gemener | Fältnamnen skiljer inte på versaler och gemener, men sökvägarna gör det: /Admin/ är inte /admin/ |
| Filstorlek | Innehåll efter de första 500 KiB ignoreras |
| Cache | Filen cachas i allmänhet i upp till 24 timmar, så en ändring slår inte igenom direkt |
| Saknad fil (4xx) | Behandlas som om det inte fanns några begränsningar: allt kan genomsökas |
| Serverfel (5xx) | Google pausar genomsökningen i 12 timmar och använder sedan den senaste fungerande kopian i upp till 30 dagar |
Här är en typisk fil för en onlinebutik. Den blockerar varukorgen, kassan och den interna sökningen, håller en publik mapp öppen och deklarerar sitemapen.
User-agent: * Disallow: /cart/ Disallow: /checkout/ Disallow: /search Allow: /checkout/help/ Sitemap: https://example.com/sitemap.xml
Tar Disallow bort en sida från Google?
Nej. Robots.txt är inte en mekanism för att hålla en webbsida borta från Google. En blockerad URL kan ändå indexeras om andra webbplatser länkar till den, och då visas den utan beskrivning (Google, introduktion till robots.txt). För att dölja en sida, låt Google genomsöka den och lägg till en metatagg eller HTTP-header med noindex. Om du blockerar sidan i robots.txt samtidigt skulle Google aldrig få se noindex.
Kontrollera resultatet sida för sida med indexerbarhetskontrollen, som läser robots.txt, meta robots, X-Robots-Tag och canonical tillsammans. För begreppen, se våra ordlisteposter om robots.txt och genomsökning och indexering.
Bör du blockera AI-sökrobotar i robots.txt?
Blockera robotarna som tränar modeller om du vill, men håll robotarna som driver AI-sökning öppna. De största leverantörerna skiljer nu mellan de två, så du behöver inte längre välja mellan att skydda ditt innehåll och att bli citerad.
| Leverantör | Träningsrobot | Sök- eller svarsrobot | Vad det kostar att blockera sökroboten |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | Dina sidor visas inte i ChatGPT-söksvar |
| Anthropic | ClaudeBot | Claude-SearchBot | Mindre synlighet i Claudes sökresultat |
| Perplexity | Ingen listad | PerplexityBot | Dina sidor kanske inte visas eller länkas i Perplexitys resultat |
| Google-Extended (en token, inte en separat robot) | Googlebot | Google-Extended påverkar inte Google Sök eller rankingen |
Källor: OpenAI, översikt över sökrobotar, Anthropics policy för sökrobotar, Perplexity-robotar och Googles vanliga robotar. För att neka träning men ändå kunna citeras av ChatGPT räcker en fil med bara dessa två rader, eftersom alla andra robotar förblir tillåtna som standard:
User-agent: GPTBot Disallow: /
Trenden är verklig: under ett enda år (2023 till 2024) blev 28% eller fler av de mest aktivt underhållna källorna i träningsdatamängden C4 helt begränsade för AI-sökrobotar (Longpre m.fl., Consent in Crisis, 2024). Innan du följer den, kontrollera vad blockering kostar dig i AI-svar: Soranks uppföljning av AI-omnämnanden visar varje månad om ChatGPT, Claude och Gemini nämner ditt varumärke.
Vilka robots.txt-misstag skadar SEO mest?
- Att lämna Disallow: / kvar efter en lansering. Testfiler hamnar ofta i produktion. En rad blockerar varje sökrobot från hela webbplatsen.
- Att blockera CSS och JavaScript. Om saknade resurser gör sidan svårare att förstå avråder Google från att blockera dem.
- Att glömma snedstrecket efter sökvägen.
Disallow: /adminblockerar också/administrationoch/admin-guide. Skriv/admin/för att blockera bara mappen. - Att förlita sig på Crawl-delay för Google. Google ignorerar det. Anthropic säger att de stöder tillägget, så behåll det bara för robotar som läser det.
- Att använda robots.txt som säkerhetsverktyg. Filen är offentlig och vem som helst kan läsa den. Skydda privata områden med en inloggning, inte med en Disallow-rad som pekar rakt på dem.
- Att glömma undantaget för WordPress. Standardfilen för WordPress blockerar
/wp-admin/men tillåter/wp-admin/admin-ajax.php, som funktioner i gränssnittet använder (WordPress utvecklarreferens).
Hur kontrollerar du din robots.txt efter publicering?
Använd tre kontroller, från snabbast till mest fullständig.
- Öppna URL:en
https://yourdomain.com/robots.txti en webbläsare. Du bör se vanlig text, inte en HTML-sida eller ett 404. - Kör robots.txt-kontrollen för att lista regelgrupper, sitemaps, problem och statusen för 14 AI-user-agents.
- Öppna rapporten för robots.txt i Search Console. Den visar filerna Google hittat för de 20 främsta värdarna på din webbplats, den senaste genomsökningen och varningarna, och du kan begära en ny genomsökning efter en brådskande rättning (Search Console-hjälpen, rapporten för robots.txt).
Slutför sedan uppsättningen: skapa en ren sitemap med XML-sitemapgeneratorn och en llms.txt-fil med llms.txt-generatorn, som ger AI-assistenter en sammanfattning av dina viktigaste sidor.
Vilka gränser har en genererad robots.txt?
Generatorn skriver korrekt syntax, men den kan inte känna till din webbplats. Den kontrollerar inte om en blockerad sökväg innehåller sidor som du vill ha rankade, och den skriver en grupp i taget. Dåliga robotar ignorerar filen helt: robots.txt är en begäran, inte en mur, så blockera skadlig trafik på server- eller brandväggsnivå. Slutligen omfattar protokollet bara genomsökning. En sida som hämtas av en användarförfrågan, som ChatGPT-User eller Perplexity-User, följer kanske inte reglerna i robots.txt, vilket båda leverantörerna anger i sin dokumentation.
Hur gör du din webbplats lätt att genomsöka och citera?
En ren robots.txt är första steget. Nästa steg är att publicera sidor som är värda att genomsökas och att kontrollera att sökrobotarna faktiskt återkommer.
- Följ din genomsökning och din trafik i GEO- och SEO-instrumentpanelen, som samlar Search Console, Analytics och besök från ChatGPT och Perplexity.
- Se vilka webbplatser AI-assistenter citerar på din marknad med GEO-topplistan, och var du ligger bland dem.
- Publicera regelbundet med bloggartikelgeneratorn, så att sökrobotarna alltid hittar något nytt.
En robots.txt på två minuter skyddar din genomsökningsbudget och din AI-synlighet samtidigt. Generera din ovan, testa den med kontrollen och se sedan Soranks abonnemang för att hålla din webbplats genomsökbar och citerad, på autopilot.
