llms.txt: En foreslået guidefil til AI-venlige sites

I 20 år har robots.txt været måden at kommunikere med søgemaskinernes crawlere på. Man placerer den i sitets rod for at fortælle Google og Bing, hvilke sider der skal crawles, og hvilke der skal springes over. I dag læser AI-assistenter fra OpenAI, Anthropic, Google og andre også nettet, og de har andre behov. llms.txt er et forslag til, hvordan man kommunikerer med dem.

Forslaget om llms.txt blev udgivet i 2024 af Jeremy Howard, medstifter af Answer.AI, og er designet til at hjælpe sprogmodeller med at forstå, hvad dit site handler om, og finde dets mest nyttige sider. I stedet for at tvinge et AI-system til at gætte, om dit site er en webbutik, et nyhedsmedie eller en teknisk dokumentation, fortæller llms.txt det direkte. I princippet kan denne klarhed hjælpe AI-systemer med at hente og citere dit indhold mere præcist. Det er stadig et forslag, ikke en vedtaget standard, og ingen AI-udbyder har forpligtet sig til at bruge den.

Problemet llms.txt løser

AI-systemer står over for et praktisk problem. En sprogmodel kan kun læse en begrænset mængde tekst ad gangen, og det er svært at omdanne et helt website, med menuer, scripts og annoncer, til ren og brugbar tekst. Når ChatGPT eller Gemini skal svare på et spørgsmål om dit site eller produkt, ved de ikke, hvad de skal prioritere. Skal de læse produktsiderne eller blogindlæggene? Hvilken dokumentationsside er referencen? Hvilke sider er tidløse, og hvilke er forældede? Uden vejledning kan et AI-system spilde sin begrænsede kontekst på sider med lav værdi eller overse vigtigt indhold.

robots.txt hjalp med et andet problem for søgemaskiner. Den lod dig blokere URL'er, pege crawlere hen til dit sitemap og beskytte din crawl-budget. Men robots.txt styrer kun adgangen; den forklarer ikke dit indhold. AI-systemer har andre behov. De er mindre optaget af rangeringsposition og mere af, hvad du er autoritativ på.

llms.txt forsøger at lukke dette hul. Den giver sprogmodeller et kort resumé af dit site og en udvalgt liste over dine vigtigste sider. I stedet for at et AI-system skal udlede, at dit site handler om „SaaS-faktureringsløsninger“, kan du sige det direkte. Målet er at gøre dit bedste indhold lettere at finde og bruge. Der er endnu ingen beviser for, at filen forbedrer indeksering eller sandsynligheden for at blive citeret i AI-svar.

Den grundlæggende struktur og syntaks i llms.txt

llms.txt-formatet er ren Markdown, som både mennesker og sprogmodeller kan læse. Filen ligger i dit domænes rod (www.example.com/llms.txt) og følger en fast rækkefølge: en titel, et kort resumé, valgfrie detaljer og sektioner med links til dine vigtigste sider. Her er et simpelt eksempel:

# Eksempel SaaS-selskab

> Faktureringssoftware til B2B SaaS-selskaber, der dækker prisstrategier, forbrugsmåling, betalingsbehandling og compliance.

Eksempel SaaS-selskab hjælper finansteams med at automatisere fakturering. Linkene nedenfor peger på vores mest nyttige sider.

## Dokumentation

- [Kom i gang](https://www.example.com/docs/getting-started): Opret din første faktureringsplan
- [API-reference](https://www.example.com/docs/api): Endpoints og autentificering

## Guides

- [SaaS-prisstrategier](https://www.example.com/blog/saas-pricing): Sådan vælger og tester du en prismodel

## Optional

- [Om os](https://www.example.com/about)

Syntaksen er bevidst enkel, så både mennesker og sprogmodeller kan læse den. Du fortæller, hvem du er, opsummerer, hvad dit site dækker, og peger på de sider, der betyder mest. I modsætning til robots.txt indeholder llms.txt ingen direktiver om tilladelse eller blokering: den er en guide, ikke en adgangsregel, og ingen større AI-udbyder har forpligtet sig til at følge den.

Byggeklodserne i en llms.txt-fil

H1-titlen (det eneste påkrævede element) er navnet på dit site eller dit projekt. Hold den kort og beskrivende. „Eksempel SaaS-selskab“ er bedre end „Velkommen til vores side“.

Resuméet i blockquote er din elevatortale om, hvad sitet dækker. Vær konkret om din faglige ekspertise. I stedet for „Vi skriver om teknologi“ skriv „Vi udgiver tekniske guides til Python-udviklere med fokus på asynkron programmering, test og drift i produktion“. Den præcision hjælper AI-systemer med at forstå din autoritet.

Valgfrie detaljer er afsnit eller lister uden overskrifter, der giver den kontekst, en model har brug for for at læse resten af filen, for eksempel hvem sitet er til, eller hvordan de linkede sider skal forstås.

H2-sektionerne grupperer dine links efter tema, for eksempel Dokumentation, Produkter eller Guides. Hver sektion er en Markdown-liste med links til dine vigtigste sider. Vælg de sider, du helst vil have, at en model læser først.

Linkelementer bruger formatet [Sidenavn](URL), eventuelt efterfulgt af et kolon og en kort beskrivelse af siden. Brug den kanoniske URL for hver side i den version, du foretrækker (med eller uden www).

Sektionen Optional er en særlig H2 med titlen „Optional“. Linkene under den kan springes over, når der er brug for en kortere kontekst, så det er her, sekundære sider hører hjemme.

Hvad der ikke er med i filen: llms.txt har ingen felter til Allow, Disallow, Crawl-Delay eller datoer. Den styrer ikke adgang eller crawling; de regler hører hjemme i robots.txt.

Videre: Markdown-versioner af dine sider

Ud over den grundlæggende fil foreslår forslaget også, at man tilbyder en ren Markdown-version af hver side, som er nyttig for sprogmodeller, tilgængelig på samme URL med .md tilføjet (for eksempel www.example.com/docs/getting-started.md). Linkene i din llms.txt kan så pege direkte på disse versioner:

- [Kom i gang](https://www.example.com/docs/getting-started.md): Opret din første faktureringsplan

Nogle sites udgiver også en fil llms-full.txt, der samler den fulde tekst af deres vigtigste sider i én fil, til værktøjer, der vil have alt i ét kald. Det er en konvention, som nogle dokumentationssites bruger, ikke en påkrævet del af forslaget. I begge tilfælde er målet det samme: mindre støj for en model at læse.

llms.txt vs. robots.txt: De vigtigste forskelle

robots.txt er primært begrænsende. Du fortæller crawlere, hvor de IKKE må gå. llms.txt er primært informerende. Du fortæller sprogmodeller, hvad du handler om, og hvilke sider der betyder noget. robots.txt bruger et User-agent-felt til at målrette bestemte crawlere, og de store crawlere følger den; llms.txt har intet sådant felt, og de største AI-udbydere har ikke bekræftet, at de læser den.

robots.txt påvirker direkte synligheden i søgning. Hvis du blokerer crawlere fra en side, bliver den generelt ikke crawlet. llms.txt har ingen effekt på de traditionelle rangeringer, og dens effekt på AI-synlighed er ikke bevist. Hvis du bruger den, så behold begge filer på dit site, hver med sin egen rolle.

I praksis bruger du robots.txt til at afgøre, hvilke crawlere, herunder AI-crawlere som GPTBot eller ClaudeBot, der må få adgang til hvilke dele af dit site. Brug kun llms.txt til at pege modeller hen mod dit bedste indhold; den kan ikke begrænse noget. For eksempel:

robots.txt: blokerer /checkout og /admin for de crawlere, du vælger (for eksempel GPTBot)
llms.txt: linker kun til de dokumentationssider, guides og produktsider, du vil have modellerne til at læse

Bedste praksis for implementering

Opret din llms.txt-fil og læg den på www.example.com/llms.txt. Brug ren UTF-8-tekst med Markdown-formatering. Sørg for, at din webserver sender den med en Content-Type-header på text/plain eller text/markdown. Test den ved at åbne URL'en direkte i din browser; du skal se den rå tekst. Kontrollér, at strukturen følger llms.txt-specifikationen: en H1-titel, et resumé i blockquote og H2-sektioner med links.

Skriv klare, konkrete beskrivelser. Kopier ikke bare din forsidetagline. Vær ærlig om, hvad dit site dækker. Hvis du udgiver indhold om 15 forskellige emner, så list dem op. Hvis du er snævert fokuseret, så sig det. Ærlige, konkrete beskrivelser er mere nyttige for en model end vage. Medtag søgeord, der beskriver din branche. Hvis du er en webbutik, nævn „e-handel, produkter, priser“. Hvis du er et SaaS-selskab, nævn „software, fakturering, integrationer“.

Opdater filen, hver gang du ændrer dine vigtigste sider. Formatet har intet datofelt, så det er op til dig at holde filen aktuel. Hvis dit sites faglige fokus ændrer sig væsentligt, så opdater resuméet og sektionerne. Sæt en kvartalsvis påmindelse om at gennemgå og opdatere din llms.txt, især hvis du opretter nye indholdskategorier eller skærper din positionering.

Følg udbredelsen af llms.txt. Nogle dokumentationsplatforme og udviklerværktøjer udgiver allerede llms.txt-filer, men OpenAI, Anthropic og Google DeepMind har ikke forpligtet sig til at læse den, når de crawler nettet. At tilføje en fil er et billigt eksperiment, ikke en garanti for noget.

llms.txt og bekymringer om privatliv

Nogle spørger, om llms.txt kan styre, hvordan AI-virksomheder bruger deres indhold. Det kan den ikke. AI-virksomheder og fortalere for privatlivet debatterer etikken i webcrawling og modeltræning. Standarder for søgning og crawling har udviklet sig gennem to årtier for at balancere adgang med respekt for indholdsskaberne. llms.txt er en del af denne debat, men den er designet til at hjælpe modeller med at finde dit indhold, ikke til at begrænse, hvordan de bruger det.

Hvis du vil forhindre, at dit indhold bruges til AI-træning, er llms.txt det forkerte værktøj: den har intet direktiv til det. Brug i stedet robots.txt-regler for de relevante AI-brugeragenter, for eksempel:

User-agent: GPTBot
Disallow: /

Overholdelse af robots.txt er også frivillig, men seriøse AI-udbydere offentliggør navnene på deres crawlere og siger, at de respekterer den. Hvis du vil have stærkere beskyttelse, så bloker bots i din server- eller firewallkonfiguration. Indtil videre er ingen af filerne et juridisk middel. Efterhånden som regulering udvikler sig, og branchestandarderne bliver fastere, kan mere robuste mekanismer opstå.

Sådan måler du effekten af llms.txt

Det er svært at måle afkastet af llms.txt, da ingen AI-udbyder har sagt, at de bruger filen. Men du kan følge nogle indikatorer. Overvåg dine AI-omtaler og citater i ChatGPT, Gemini, Claude og Perplexity, før og efter du tilføjer filen. Hvis du ser vækst i citater, er det en sammenhæng, ikke et bevis for, at filen var årsagen, da mange andre faktorer påvirker citater. Sammenlign din vækst i citater med konkurrenter, der ikke har implementeret llms.txt.

Brug værktøjer til overvågning af AI-omtaler til at kvantificere din synlighed i AI-søgning. Følg, hvor mange gange dit indhold bliver citeret af de største AI-assistenter. Så kan du selv vurdere, om en llms.txt ændrer noget for dit site.

Fremtiden for llms.txt

robots.txt blev først formaliseret som internetstandard (RFC 9309) i 2022, efter årtiers brug. llms.txt er stadig på forslagsstadiet, og den kan eller kan ikke følge samme vej. Sites uden den bliver ikke straffet i dag, og ingen større AI-søgeplatform har sagt, at de tjekker for filen.

Fordi det tager få minutter og ikke koster noget at oprette filen, er det et rimeligt eksperiment med lav risiko, især for dokumentationstunge sites. Men hold forventningerne realistiske: det er et forslag, dets fordele er ikke bevist, og din tid er normalt bedre brugt på indholdskvalitet, struktur og de signaler, AI-systemer faktisk bygger på.

Sådan tilføjer du en llms.txt-fil på WordPress, Shopify, Webflow og andre CMS

Filen llms.txt skal svare på roden af dit domæne, på yourdomain.com/llms.txt, som ren tekst. Hvordan du får den derhen, afhænger af, hvor meget kontrol dit CMS giver dig over filer i roden:

• Selvhostede sites og WordPress: upload filen til rodmappen via din hostings filhåndtering eller FTP. Nogle WordPress-SEO-plugins kan også generere og levere den for dig.
• Hostede platforme, der blokerer uploads i roden (mange sitebuildere og e-handelsplatforme): brug platformens egen llms.txt-indstilling eller app, hvis den tilbyder en; ellers host filen et andet sted og tilføj en redirect fra /llms.txt, og kontrollér derefter, at den endelige URL stadig returnerer ren tekst.
• Statiske og headless sites: læg llms.txt i public-mappen, så den følger med hver udrulning, og generer den igen, når vigtige sider ændrer sig.

Skriv indholdet med den gratis llms.txt-generator, og bekræft derefter URL, indholdstype og Markdown-struktur med llms.txt-validatoren. Vores trin-for-trin installationsguide gennemgår hvert tilfælde.

Konklusion

llms.txt er en foreslået, billig guidefil til sites, der vil hjælpe sprogmodeller med at finde deres bedste indhold. Ved at placere denne enkle Markdown-fil i dit domænes rod beskriver du, hvad dit site dækker, og linker til dine vigtigste sider. Formatet er ligetil, og implementeringen tager minutter, men ingen AI-udbyder har forpligtet sig til at bruge den, så behandl den som et eksperiment og ikke et krav. Hvis du er seriøs om at blive citeret af ChatGPT, Claude, Gemini og Perplexity, så fokuser først på klart, velstruktureret indhold og stærke signaler på nettet. Brug Soranks værktøjer til søgeordsresearch og emneopdagelse til at finde ud af, hvilke emner du skal fremhæve i din llms.txt-fil.