llms.txt: en föreslagen guidefil för AI-vänliga webbplatser

I 20 år har robots.txt varit sättet att kommunicera med sökmotorernas sökrobotar. Man placerar filen i webbplatsens rot för att tala om för Google och Bing vilka sidor som ska crawlas och vilka som ska hoppas över. Nu läser även AI-assistenter från OpenAI, Anthropic, Google och andra webben, och de har andra behov. llms.txt är ett förslag för att kommunicera med dem.

llms.txt-förslaget, publicerat 2024 av Jeremy Howard, medgrundare av Answer.AI, är utformat för att hjälpa språkmodeller att förstå vad din webbplats handlar om och hitta dess mest användbara sidor. I stället för att låta ett AI-system gissa om din webbplats är en e-handelsbutik, en nyhetssajt eller en teknisk dokumentationssida, säger llms.txt det uttryckligen. I teorin kan den tydligheten hjälpa AI-system att hämta och citera ditt innehåll mer korrekt. Det är fortfarande ett förslag, inte en antagen standard, och ingen AI-leverantör har förbundit sig att använda den.

Problemet llms.txt löser

AI-system står inför ett praktiskt problem. En språkmodell kan bara läsa en begränsad mängd text åt gången, och det är svårt att göra om en hel webbplats, med menyer, skript och annonser, till ren och användbar text. När ChatGPT eller Gemini behöver svara på en fråga om din webbplats eller produkt vet de inte vad de ska prioritera. Ska de läsa produktsidor eller blogginlägg? Vilken dokumentationssida är referensen? Vilka sidor är tidlösa och vilka är föråldrade? Utan vägledning kan ett AI-system slösa sin begränsade kapacitet på sidor med lågt värde eller missa viktigt innehåll.

robots.txt löste ett annat problem för sökmotorer. Där kunde man blockera adresser, peka sökrobotar mot sin sitemap och skydda sin crawlbudget. Men robots.txt styr bara åtkomst, den förklarar inte innehållet. AI-system har andra behov. De bryr sig mindre om rankningsposition och mer om vad du är trovärdig inom.

llms.txt ska överbrygga det gapet. Den ger språkmodeller en kort sammanfattning av din webbplats och en utvald lista över dina viktigaste sidor. I stället för att ett AI-system ska behöva gissa att din webbplats handlar om ”SaaS-faktureringslösningar” kan du säga det direkt. Målet är att göra ditt bästa innehåll lättare att hitta och använda. Det finns ännu inga belägg för att den förbättrar indexeringen eller chansen att bli citerad i AI-svar.

Grundläggande struktur och syntax i llms.txt

Formatet llms.txt är vanlig Markdown, som både människor och språkmodeller kan läsa. Filen ligger i domänens rot (www.example.com/llms.txt) och följer en fast ordning: en rubrik, en kort sammanfattning, valfria detaljer och avsnitt med länkar till de viktigaste sidorna. Här är ett enkelt exempel:

# Exempel SaaS-företag

> Faktureringsautomation för B2B-SaaS-företag, med prissättningsstrategier, betalningshantering och efterlevnad.

Exempel SaaS-företag hjälper ekonomiteam att automatisera fakturering. Länkarna nedan pekar på våra mest användbara sidor.

## Dokumentation

- [Komma igång](https://www.example.com/docs/getting-started): Sätt upp din första faktureringsplan
- [API-referens](https://www.example.com/docs/api): Slutpunkter och autentisering

## Guider

- [Prissättningsstrategier för SaaS](https://www.example.com/blog/saas-pricing): Så väljer och testar du en prismodell

## Optional

- [Om oss](https://www.example.com/about)

Syntaxen är avsiktligt enkel så att både människor och språkmodeller kan läsa den. Du anger vem du är, sammanfattar vad webbplatsen täcker och pekar ut de sidor som betyder mest. Till skillnad från robots.txt innehåller llms.txt inga direktiv för att tillåta eller blockera: den är en guide, inte en åtkomstregel, och ingen större AI-leverantör har förbundit sig att följa den.

Byggstenarna i en llms.txt-fil

H1-rubriken (det enda obligatoriska elementet) är namnet på din webbplats eller ditt projekt. Håll den kort och beskrivande. ”Exempel SaaS-företag” är bättre än ”Välkommen till vår webbplats”.

Sammanfattningen i blockcitat är din presentation i en mening av vad webbplatsen täcker. Var konkret om din ämnesexpertis. I stället för ”Vi skriver om teknik” skriver du ”Vi publicerar tekniska guider för Python-utvecklare, med fokus på asynkron programmering, testning och driftsättning”. Den konkretheten hjälper AI-system att förstå din trovärdighet.

Valfria detaljer är stycken eller listor utan rubriker som ger den kontext en modell behöver för att läsa resten av filen, till exempel vem webbplatsen är till för eller hur de länkade sidorna ska tolkas.

H2-avsnitt grupperar dina länkar efter tema, till exempel Dokumentation, Produkter eller Guider. Varje avsnitt är en Markdown-lista med länkar till dina viktigaste sidor. Välj de sidor du helst vill att en modell läser först.

Länkposter använder formatet [Sidnamn](URL), eventuellt följt av ett kolon och en kort beskrivning av sidan. Använd sidans kanoniska adress i den version du föredrar (med eller utan www).

Avsnittet Optional är en särskild H2-rubrik som heter ”Optional”. Länkarna under den kan hoppas över när en kortare kontext behövs, så det är här sekundära sidor hör hemma.

Vad som inte finns i filen: llms.txt har inga fält för Allow, Disallow, Crawl-Delay eller datum. Den styr inte åtkomst eller crawling, de reglerna finns kvar i robots.txt.

Ett steg längre: Markdown-versioner av dina sidor

Utöver den grundläggande filen föreslår förslaget också att man erbjuder en ren Markdown-version av varje sida som är användbar för språkmodeller, tillgänglig på samma adress med .md tillagt (till exempel www.example.com/docs/getting-started.md). Länkarna i llms.txt kan då peka direkt på dessa versioner:

- [Komma igång](https://www.example.com/docs/getting-started.md): Sätt upp din första faktureringsplan

Vissa webbplatser publicerar dessutom en llms-full.txt som samlar hela texten från de viktigaste sidorna i en enda fil, för verktyg som vill hämta allt i ett enda anrop. Det är en konvention som vissa dokumentationssidor använder, inte en obligatorisk del av förslaget. I båda fallen är målet detsamma: mindre brus för en modell att läsa igenom.

llms.txt jämfört med robots.txt: viktiga skillnader

robots.txt är i första hand restriktiv. Man talar om för sökrobotar var de INTE får gå. llms.txt är i första hand informativ. Man berättar för språkmodeller vad webbplatsen handlar om och vilka sidor som är viktiga. robots.txt använder ett fält som heter User-agent för att rikta sig till specifika sökrobotar, och de större sökrobotarna följer det. llms.txt har inget sådant fält, och stora AI-leverantörer har inte bekräftat att de läser den.

robots.txt påverkar söksynligheten direkt. Om man förbjuder sökrobotar att besöka en sida crawlas den i regel inte. llms.txt påverkar inte de traditionella rankningarna, och dess effekt på AI-synlighet är inte bevisad. Om du använder den, behåll båda filerna på webbplatsen, var och en med sin egen roll.

I praktiken använder du robots.txt för att bestämma vilka sökrobotar, inklusive AI-sökrobotar som GPTBot eller ClaudeBot, som får komma åt vilka delar av webbplatsen. Använd llms.txt bara för att peka modeller mot ditt bästa innehåll. Den kan inte begränsa något. Till exempel:

robots.txt: blockerar /checkout och /admin för de sökrobotar du väljer (till exempel GPTBot)
llms.txt: länkar bara till de dokumentationssidor, guider och produktsidor du vill att modeller ska läsa

Bästa praxis för införandet

Skapa din llms.txt-fil och placera den på www.example.com/llms.txt. Använd vanlig UTF-8-text med Markdown-formatering. Se till att webbservern skickar den med innehållstypen text/plain eller text/markdown. Testa genom att öppna adressen direkt i webbläsaren, där ska du se den råa texten. Kontrollera att strukturen följer llms.txt-specifikationen: en H1-rubrik, en sammanfattning i blockcitat och H2-avsnitt med länkar.

Skriv tydliga, konkreta beskrivningar. Kopiera inte bara startsidans slogan. Var ärlig om vad webbplatsen täcker. Publicerar du innehåll om 15 olika ämnen, lista dem. Är du tydligt specialiserad, säg det. Ärliga och konkreta beskrivningar är mer användbara för en modell än vaga. Ta med sökord som beskriver din bransch. Är du en e-handelssajt kan du nämna ”e-handel, produkter, priser”. Är du ett SaaS-företag kan du nämna ”programvara, fakturering, integrationer”.

Uppdatera filen varje gång du ändrar dina viktigaste sidor. Formatet har inget datumfält, så det är upp till dig att hålla filen aktuell. Om webbplatsens ämnesfokus ändras märkbart, uppdatera sammanfattningen och avsnitten. Sätt en påminnelse varje kvartal för att granska och uppdatera llms.txt, särskilt om du skapar nya innehållskategorier eller förfinar din positionering.

Följ hur llms.txt används. Vissa dokumentationsplattformar och utvecklarverktyg publicerar redan llms.txt-filer, men OpenAI, Anthropic och Google DeepMind har inte förbundit sig att läsa den när de crawlar webben. Att lägga till en fil är ett billigt experiment, inte en garanti för något.

llms.txt och integritetsfrågor

Vissa undrar om llms.txt kan styra hur AI-företag använder deras innehåll. Det kan den inte. AI-företag och integritetsförespråkare debatterar etiken kring webbcrawling och träning av modeller. AI-företag och integritetsförespråkare debatterar etiken kring webbcrawling och träning av modeller. Sökstandarder för crawling har utvecklats under två decennier för att balansera tillgång med respekt för innehållsskapare. llms.txt är en del av den diskussionen, men den är utformad för att hjälpa modeller att hitta ditt innehåll, inte för att begränsa hur de använder det.

Vill du hindra att ditt innehåll används för att träna AI-modeller är llms.txt fel verktyg, eftersom den inte har något direktiv för det. Använd i stället robots.txt-regler för relevanta AI-användaragenter, till exempel:

User-agent: GPTBot
Disallow: /

Att följa robots.txt är också frivilligt, men seriösa AI-leverantörer publicerar namnen på sina sökrobotar och säger att de respekterar den. Vill du ha starkare skydd kan du blockera robotar i serverns eller brandväggens konfiguration. Än så länge är ingen av filerna en juridisk mekanism. I takt med att regelverken utvecklas och branschstandarderna blir fastare kan mer robusta mekanismer komma.

Mäta effekten av llms.txt

Det är svårt att mäta avkastningen av llms.txt, eftersom ingen AI-leverantör har sagt att de använder filen. Men du kan följa indikatorer. Övervaka dina omnämnanden och citeringar i ChatGPT, Gemini, Claude och Perplexity före och efter att du lagt till filen. Ser du en ökning i citeringar är det ett samband, inte ett bevis för att filen orsakade den, eftersom många andra faktorer påverkar citeringar. Jämför din tillväxt i citeringar med konkurrenter som inte har infört llms.txt.

Använd verktyg för uppföljning av AI-omnämnanden för att mäta din synlighet i AI-sök. Följ hur ofta ditt innehåll citeras av större AI-assistenter. Då kan du själv bedöma om llms.txt förändrar något för din webbplats.

Framtiden för llms.txt

robots.txt formaliserades först som internetstandard (RFC 9309) 2022, efter decennier av användning. llms.txt är fortfarande på förslagsstadiet, och den kanske följer samma väg eller inte. Webbplatser utan den straffas inte idag, och ingen större AI-sökplattform har sagt att den kontrollerar att filen finns.

Eftersom filen tar några minuter att skapa och inte kostar något är den ett rimligt experiment med låg risk, särskilt för dokumentationstunga webbplatser. Ha bara realistiska förväntningar: det är ett förslag, nyttan är inte bevisad, och din tid är oftast bättre investerad i innehållskvalitet, struktur och de signaler som AI-system faktiskt använder.

Så lägger du till en llms.txt-fil i WordPress, Shopify, Webflow och andra CMS

Filen llms.txt måste svara i domänens rot, på yourdomain.com/llms.txt, som ren text. Hur du får dit den beror på hur stor kontroll ditt CMS ger dig över filer i roten:

• Egenhostade webbplatser och WordPress: ladda upp filen till rotmappen via webbhotellets filhanterare eller FTP. Vissa SEO-tillägg för WordPress kan också skapa och servera den åt dig.
• Hostade plattformar som blockerar uppladdning i roten (många webbyggare och e-handelsplattformar): använd plattformens egna inställning eller app för llms.txt om den finns. Annars lägger du filen någon annanstans och skapar en omdirigering från /llms.txt. Kontrollera sedan att den slutliga adressen fortfarande visar ren text.
• Statiska webbplatser och headless-lösningar: lägg llms.txt i den publika mappen så att den följer med varje publicering, och skapa om den när viktiga sidor ändras.

Skriv innehållet med den kostnadsfria llms.txt-generatorn och kontrollera sedan adressen, innehållstypen och Markdown-strukturen med llms.txt-validatorn. Vår steg-för-steg-guide för installation beskriver varje fall.

Slutsats

llms.txt är en föreslagen och billig guidefil för webbplatser som vill hjälpa språkmodeller att hitta sitt bästa innehåll. Genom att lägga denna enkla Markdown-fil i domänens rot beskriver du vad webbplatsen täcker och länkar till de viktigaste sidorna. Formatet är enkelt och införandet tar några minuter, men ingen AI-leverantör har förbundit sig att använda det, så behandla det som ett experiment snarare än ett krav. Vill du på allvar bli citerad av ChatGPT, Claude, Gemini och Perplexity bör du först satsa på tydligt, välstrukturerat innehåll och starka signaler över hela webben. Använd Soranks verktyg för sökordsanalys och ämnesupptäckt för att hitta vilka ämnen du ska lyfta fram i din llms.txt-fil.