Resumé
Den gratis robots.txt-generator skriver filen, der fortæller crawlere, hvilke dele af dit website de må besøge. Vælg en tilstand (tillad alt, bloker alt eller tilpasset), angiv dine user-agents og stier, tilføj din sitemap-URL, og kopiér eller hent derefter filen og upload den til roden af dit domæne. Husk, at robots.txt styrer crawling, ikke indeksering: For at holde en side ude af Google skal du i stedet bruge noindex.
Vil du vide mere? Spørg
En robots.txt-generator sparer dig for de små syntaksfejl, der ved et uheld blokerer et helt website. Filen følger Robots Exclusion Protocol, skabt af Martijn Koster i 1994 og offentliggjort som internetstandard af IETF i september 2022 (RFC 9309, Robots Exclusion Protocol). Enhver seriøs crawler læser den først, fra Googlebot til bots fra ChatGPT, Claude og Perplexity.
Hvad gør robots.txt-generatoren?
Den bygger en gyldig robots.txt, mens du skriver, med en live forhåndsvisning til højre, en knap til kopiering og en knap til download, der gemmer en fil med navnet robots.txt. Intet sendes til en server: Filen samles i din browser.
| Indstilling | Hvad den skriver | Hvornår du bruger den |
|---|---|---|
| Tillad alt | User-agent: * og Allow: / | De fleste offentlige websites uden noget at skjule for crawlere |
| Bloker alt | User-agent: * og Disallow: / | Staging- eller forhåndsvisningssites, der ikke må crawles |
| Tilpasset | En User-agent-linje pr. bot, derefter dine Disallow- og Allow-stier | Blokering af adminområder, intern søgning eller en bestemt bot |
| Sitemap-URL | Sitemap: https://example.com/sitemap.xml | Altid, så alle crawlere finder dit sitemap |
| Crawl-delay | Crawl-delay: fra 1 til 120 sekunder | Kun for bots, der understøtter det, og en server der har svært ved belastningen |
I tilpasset tilstand deler alle de user-agents, du angiver, de samme regler, og det er sådan standarden definerer en gruppe. For at give forskellige bots forskellige regler skal du generere én gruppe ad gangen og indsætte dem efter hinanden i samme fil.
Hvordan opretter du en robots.txt-fil trin for trin?
- Vælg tilstanden. Start med „Tillad alt“, medmindre du har en grund til at blokere noget.
- Angiv dine user-agents i tilpasset tilstand, én pr. linje:
*for alle crawlere, eller navne som Googlebot, Bingbot eller GPTBot. - Tilføj stierne, der skal blokeres (Disallow), og undtagelserne, der skal holdes åbne (Allow), én pr. linje, hver startende med en skråstreg.
- Indsæt din sitemap-URL i sin helhed, med https og domænet.
- Kopiér eller hent filen og upload den til roden af din host, så den svarer på
https://example.com/robots.txt. - Test den i drift med den gratis robots.txt-tjekker, der læser den live fil og viser status for hver AI-crawler.
Placeringen er streng. Google læser kun en robots.txt i roden af en host, et website kan kun have én, og filen gælder kun for den protokol, host og port, hvor den ligger: Et subdomæne behøver sin egen (Google, opret og indsend en robots.txt-fil).
Hvilke robots.txt-regler følger Google?
Google understøtter fire felter: user-agent, allow, disallow og sitemap. Andre felter, fx crawl-delay, understøttes ikke (Google, sådan fortolker Google robots.txt-specifikationen). Den samme side fastsætter reglerne nedenfor.
| Regel | Sådan anvender Google den |
|---|---|
| Den mest specifikke regel vinder | Når Allow og Disallow begge matcher en URL, gælder reglen med den længste sti |
| Lighed mellem regler | Når to matchende regler er lige specifikke, bruger Google den mindst restriktive |
| Jokertegn | * matcher enhver række af tegn, $ markerer slutningen af URL'en |
| Store og små bogstaver | Feltnavne er ufølsomme over for store og små bogstaver, men stier er følsomme: /Admin/ er ikke /admin/ |
| Filstørrelse | Indhold efter de første 500 KiB ignoreres |
| Cache | Filen caches generelt i op til 24 timer, så en ændring slår ikke igennem med det samme |
| Manglende fil (4xx) | Behandles, som om der ikke var nogen begrænsninger: alt kan crawles |
| Serverfejl (5xx) | Google sætter crawling på pause i 12 timer og bruger derefter den sidste gode kopi i op til 30 dage |
Her er en typisk fil for en netbutik. Den blokerer kurven, kassen og intern søgning, holder en offentlig mappe åben og angiver sitemapet.
User-agent: * Disallow: /cart/ Disallow: /checkout/ Disallow: /search Allow: /checkout/help/ Sitemap: https://example.com/sitemap.xml
Fjerner Disallow en side fra Google?
Nej. Robots.txt er ikke en mekanisme til at holde en webside ude af Google. En blokeret URL kan stadig blive indekseret, hvis andre websites linker til den, og så vises den uden beskrivelse (Google, introduktion til robots.txt). For at skjule en side skal du lade Google crawle den og tilføje et noindex-metatag eller et HTTP-header. Hvis du samtidig blokerer siden i robots.txt, forhindrer du Google i nogensinde at se noindex.
Kontrollér resultatet side for side med indekserbarhedstjekket, der læser robots.txt, meta robots, X-Robots-Tag og canonical samlet. For begreberne se vores ordlisteposter om robots.txt og crawling og indeksering.
Bør du blokere AI-crawlere i robots.txt?
Bloker de bots, der træner modeller, hvis du vil, men hold de bots åbne, der driver AI-søgning. De store udbydere skiller nu de to ad, så du ikke længere skal vælge mellem at beskytte dit indhold og at blive citeret.
| Udbyder | Træningsbot | Søge- eller svarbot | Hvad blokering af søgebotten koster |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | Dine sider vises ikke i svar fra ChatGPT-søgning |
| Anthropic | ClaudeBot | Claude-SearchBot | Mindre synlighed i Claudes søgeresultater |
| Perplexity | Ingen angivet | PerplexityBot | Dine sider vises eventuelt ikke eller linkes ikke i Perplexity-resultater |
| Google-Extended (et token, ikke en separat bot) | Googlebot | Google-Extended påvirker ikke Google Søgning eller rangeringer |
Kilder: OpenAI, oversigt over crawlere, Anthropics politik for crawlere, Perplexity-crawlere og Googles almindelige crawlere. For at afvise træning og stadig kunne citeres af ChatGPT er en fil med kun disse to linjer nok, eftersom alle andre bots forbliver tilladt som standard:
User-agent: GPTBot Disallow: /
Tendensen er reel: På ét år (2023 til 2024) blev 28% eller flere af de mest aktivt vedligeholdte kilder i træningsdatasættet C4 fuldt lukket for AI-crawlere (Longpre et al., Consent in Crisis, 2024). Før du følger den vej, så kontrollér, hvad blokering koster dig i AI-svar: Sorank-sporing af AI-omtaler viser hver måned, om ChatGPT, Claude og Gemini nævner dit brand.
Hvilke robots.txt-fejl skader SEO mest?
- At lade Disallow: / stå efter en lancering. Staging-filer ender ofte i produktion. Én linje blokerer alle crawlere fra hele websitet.
- At blokere CSS og JavaScript. Hvis manglende ressourcer gør siden sværere at forstå, fraråder Google at blokere dem.
- At glemme skråstregen til sidst.
Disallow: /adminblokerer også/administrationog/admin-guide. Skriv/admin/for kun at blokere mappen. - At stole på Crawl-delay over for Google. Google ignorerer det. Anthropic siger, at de understøtter udvidelsen, så behold den kun for bots, der læser den.
- At bruge robots.txt som sikkerhedsværktøj. Filen er offentlig, og alle kan læse den. Beskyt private områder med et login, ikke med en Disallow-linje, der peger direkte på dem.
- At glemme WordPress-undtagelsen. Standardfilen i WordPress blokerer
/wp-admin/, men tillader/wp-admin/admin-ajax.php, som front-end-funktioner bruger (WordPress-udviklerreferencen).
Hvordan tjekker du din robots.txt, efter du har udgivet den?
Brug tre kontroller, fra den hurtigste til den mest komplette.
- Åbn URL'en
https://yourdomain.com/robots.txti en browser. Du bør se almindelig tekst, ikke en HTML-side eller en 404. - Kør robots.txt-tjekkeren for at liste regelgrupper, sitemaps, problemer og status for 14 AI-user-agents.
- Åbn robots.txt-rapporten i Search Console. Den viser de filer, Google har fundet for de 20 største hosts på dit website, den seneste crawl og advarslerne, og du kan anmode om en ny crawl efter en hastende rettelse (Search Console-hjælp, robots.txt-rapporten).
Gør derefter opsætningen færdig: Generer et rent sitemap med XML-sitemap-generatoren og en llms.txt-fil med llms.txt-generatoren, der giver AI-assistenter et resumé af dine vigtigste sider.
Hvad er grænserne for en genereret robots.txt?
Generatoren skriver korrekt syntaks, men den kan ikke kende dit website. Den kontrollerer ikke, om en blokeret sti indeholder sider, du vil have rangeret, og den skriver én gruppe ad gangen. Dårlige bots ignorerer filen helt: robots.txt er en anmodning, ikke en mur, så bloker misbrug på server- eller firewall-niveau. Endelig dækker protokollen kun crawling. En side, der hentes af en brugeranmodning, fx ChatGPT-User eller Perplexity-User, følger måske ikke robots.txt-reglerne, som begge udbydere skriver i deres dokumentation.
Hvordan gør du dit website nemt at crawle og citere?
En ren robots.txt er første skridt. De næste er at udgive sider, der er værd at crawle, og at kontrollere, at crawlere faktisk vender tilbage.
- Følg din crawling og din trafik i GEO- og SEO-dashboardet, som samler Search Console, Analytics og besøg fra ChatGPT og Perplexity.
- Se hvilke websites AI-assistenter citerer på dit marked med GEO-ranglisten, og hvor du placerer dig blandt dem.
- Udgiv regelmæssigt med generatoren til blogartikler, så crawlere altid finder noget nyt.
En robots.txt på to minutter beskytter både dit crawl-budget og din AI-synlighed samtidig. Generer din ovenfor, test den med tjekkeren, og se derefter Sorank-priserne for at holde dit website crawlbart og citeret på autopilot.
