Kort fortalt
Den gratis robots.txt-tjekker læser den live robots.txt for et hvilket som helst domæne og viser dets regelgrupper, sitemaps, de problemer den har fundet og status for 14 AI-crawlere (tilladt, delvist eller blokeret), fra GPTBot og OAI-SearchBot til ClaudeBot, PerplexityBot og Google-Extended. Brug den efter hver ændring af filen, og når dine sider holder op med at dukke op i Google eller i AI-svar.
Vil du vide mere? Spørg
En robots.txt-tjekker fanger den linje, der stille og roligt blokerer et helt websted. Robots.txt er en offentlig standard (RFC 9309), som alle større crawlere læser, før de besøger et websted, og AI-crawlere har mangedoblet antallet af bots, filen skal håndtere. Mellem maj 2024 og maj 2025 steg GPTBots andel af AI-crawlertrafikken fra 5% til 30%, og Meta-ExternalAgent nåede 19% (Cloudflare, hvem crawler dit websted i 2025). Din fil skal sige noget fornuftigt til dem alle.
Hvad viser robots.txt-tjekkeren?
Indtast et domæne, og værktøjet henter https://yourdomain/robots.txt, følger omdirigeringer, analyserer filen og returnerer fem blokke.
| Blok | Hvad den viser | Hvad du skal kigge efter |
|---|---|---|
| Regelgrupper | Hvor mange User-agent-grupper filen indeholder | Nul betyder, at syntaksen ikke kunne læses |
| Sitemaps | Alle Sitemap-linjer, der er fundet | Mindst én fuld URL til dit sitemap |
| AI-bots blokeret | Hvor mange af de 14 AI-crawlere der er fuldt blokeret | Kun dem, du selv har valgt at blokere |
| Problemer | Fundne problemer, med en anbefaling | Nul, eller kun bevidste valg |
| Rå fil | robots.txt, som den serveres | At det er den fil, du tror, du har publiceret |
Hvis domænet ikke har en robots.txt, eller returnerer en HTML-side i stedet for ren tekst, siger værktøjet det og anbefaler at tilføje en. Gratisversionen kører 3 tjek om dagen.
Hvordan afgør tjekkeren, om en AI-bot er blokeret?
For hver af de 14 AI-crawlere leder værktøjet efter en gruppe, der nævner botten. Hvis der ikke findes en, bruger det gruppen User-agent: *. Derefter anvender det tre statusser.
| Status | Regel fundet i gruppen | Hvad det betyder |
|---|---|---|
| Tilladt | Ingen gruppe gælder, eller gruppen har ingen Disallow-regel | Botten kan crawle hele webstedet |
| Delvist | Disallow-regler kun på nogle stier | Botten kan crawle webstedet undtagen disse stier |
| Blokeret | Disallow: / uden Allow: / | Botten bliver bedt om at holde sig væk fra hele webstedet |
De 14 crawlere, der tjekkes, er GPTBot, OAI-SearchBot og ChatGPT-User (OpenAI), ClaudeBot, Claude-Web og anthropic-ai (Anthropic), PerplexityBot og Perplexity-User, Google-Extended, Applebot-Extended, CCBot (Common Crawl), Amazonbot, Bytespider (ByteDance) og Meta-ExternalAgent. Tabellen viser også hver bots udbyder og formål, så du med et blik kan se, om du blokerer træning, søgning eller live-browsing.
Hvilke AI-crawlere bør du tillade?
Tillad de crawlere, der sætter dine sider med i AI-søgesvar. At blokere træningscrawlere er et forretningsvalg; at blokere søgecrawlere er som regel en fejl.
- OAI-SearchBot: websteder, der fravælger den, vises ikke i ChatGPTs søgesvar. GPTBot handler kun om modeltræning, og de to indstillinger er uafhængige (Oversigt over OpenAI-crawlere).
- PerplexityBot: den viser og linker til websteder i Perplexity-resultater og bruges ikke til at træne grundmodeller (Perplexity-crawlere).
- Google-Extended: et token til træning og forankring af Gemini, som ikke påvirker optagelsen i Google Søgning eller rangeringer (Googles almindelige crawlere).
- Anthropic: ClaudeBot indsamler træningsdata, mens Claude-SearchBot og Claude-User betjener søgning og brugeranmodninger; blokerer du de to, kan din synlighed i Claude falde (Anthropics crawlerpolitik).
De fleste websteder tager aldrig stilling. Den 6. juni 2025 havde kun omkring 14% af de 10.000 største domæner med en robots.txt regler rettet mod AI-bots, og GPTBot var både den mest blokerede (312 domæner) og den mest eksplicit tilladte (61 domæner), ifølge samme Cloudflare-undersøgelse. Bots, der ikke er nævnt i filen, er tilladt som standard.
Hvad betyder de mest almindelige problemer?
| Rapporteret problem | Hvorfor det er vigtigt | Løsning |
|---|---|---|
| User-agent: * er blokeret for hele webstedet | Alle crawlere uden egen gruppe, Googlebot inklusive, bliver bedt om at holde sig væk | Fjern Disallow: / fra *-gruppen, medmindre webstedet er en testkopi |
| Ingen Sitemap-direktiv | Crawlere, du aldrig har indsendt sitemappet til, fx Bing eller AI-crawlere, finder det måske ikke | Tilføj Sitemap: https://yourdomain/sitemap.xml |
| En navngivet AI-bot er blokeret | Den udbyder crawler ikke dine sider | Behold blokeringen, hvis det er et bevidst valg |
| Ingen User-agent-grupper kunne læses | Filen har ingen gyldig regel, så den begrænser ingenting | Tjek syntaksen: Felt: værdi, én regel pr. linje |
| Ingen robots.txt fundet | Ikke en fejl i sig selv: Google crawler så alt | Tilføj alligevel en fil, så du kan angive dit sitemap og dine valg for AI-crawlere |
Google håndterer en manglende eller defekt fil forskelligt, alt efter HTTP-statussen. Et svar i 4xx-området (undtagen 429) betyder ingen begrænsninger. Et svar i 5xx-området behandles som en serverfejl: Google sætter crawlingen på pause i 12 timer og bruger derefter sin sidste gode kopi i op til 30 dage (Google, hvordan Google fortolker robots.txt-specifikationen). En robots.txt, der bliver ved med at give serverfejl, kan derfor fryse crawlingen af et sundt websted.
Hvordan løser du et robots.txt-problem trin for trin?
- Læs den rå fil i rapporten for at bekræfte, hvad der faktisk er online. CDN-cache og testudrulninger serverer ofte en gammel version.
- Skriv filen om med robots.txt-generatoren, som bygger rene grupper, Allow- og Disallow-regler og Sitemap-linjen.
- Upload den til roden af hver vært. Et underdomæne som blog.example.com skal have sin egen fil.
- Kør tjekkeren igen og bekræft, at statusserne er ændret.
- Fortæl Google det, hvis rettelsen haster. Rapporten om robots.txt i Search Console viser de filer, Google har fundet for dine 20 vigtigste værter, og lader dig anmode om en ny crawling (Search Console-hjælp, rapport om robots.txt). Ellers opdaterer Google sin cachede kopi inden for cirka 24 timer.
Tjek derefter selve siderne. En side, der er åben i robots.txt, kan stadig holdes ude af indekset af et noindex-tag eller en canonical, der peger et andet sted hen: indekserbarhedstjekkeren tester alle disse på én URL. Til et overblik over, hvad AI-crawlere kan læse på hele webstedet, kør AI-crawlbarhedsauditet.
Hvad er grænserne for robots.txt-tjekkeren?
- Statusserne opsummeres pr. bot, ikke pr. URL. „Delvist“ fortæller dig, at nogle stier er lukket; læs reglerne for at se hvilke.
- En gruppe pr. bot. Hvis du har delt reglerne for den samme bot i flere grupper, slår Google dem sammen. Læs i så fald den rå fil.
- Kun rodområdet. Værktøjet læser filen for det domæne, du indtaster, uden www, og følger omdirigeringer. Tjek hvert underdomæne for sig.
- En liste med 14 bots. Nyere user-agents som Claude-SearchBot og Claude-User står endnu ikke i tabellen: søg efter dem i den rå fil.
- Robots.txt er en anmodning. Seriøse crawlere følger den, og misbrugende crawlere gør ikke. Hentninger, der udløses af en bruger, fx ChatGPT-User eller Perplexity-User, anvender muligvis ikke reglerne, sådan som både OpenAI og Perplexity dokumenterer.
Begreberne bag disse tjek finder du i vores ordliste under robots.txt og AI-crawlere.
Hvordan sikrer du, at AI-assistenter kan finde og citere dig?
En åben robots.txt er en forudsætning, ikke et resultat. Når crawlere kan læse dit websted, skal du måle, om AI-assistenter faktisk bruger det.
- Følg dit brand i AI-svar med Sorank AI-omtaleovervågning, som hver måned tjekker, om ChatGPT, Claude og Gemini nævner dig, og hvilke kilder de citerer.
- Følg AI-besøg ved siden af dine Google-klik i GEO- og SEO-dashboardet.
- Giv crawlere friske sider at læse med blogplanlæggeren, som fylder din kalender og udgiver efter plan.
Én forkert linje i robots.txt kan skjule et websted for Google og for alle AI-assistenter på én gang. Tjek din fil efter hver ændring med tjekkeren ovenfor, og se derefter Sorank-priserne for at overvåge din crawlbarhed og AI-synlighed på autopilot.
