llms.txt: een voorgesteld gidsbestand voor AI-vriendelijke sites

Twintig jaar lang was robots.txt de manier om met crawlers van zoekmachines te communiceren. Je plaatste het in de root van je site om Google en Bing te vertellen welke pagina's ze moesten crawlen en welke ze moesten overslaan. Nu lezen ook AI-assistenten van OpenAI, Anthropic, Google en anderen het web, en zij hebben andere behoeften. llms.txt is een voorstel om met hen te communiceren.

Het llms.txt-voorstel, in 2024 gepubliceerd door Jeremy Howard, medeoprichter van Answer.AI, is bedoeld om taalmodellen te helpen begrijpen waar je site over gaat en de nuttigste pagina's te vinden. In plaats van een AI-systeem te laten raden of je site een webshop, een nieuwspublicatie of een technische documentatiesite is, vertelt llms.txt het expliciet. In principe zou die duidelijkheid AI-systemen kunnen helpen je content nauwkeuriger op te halen en te citeren. Het blijft een voorstel, geen aanvaarde standaard, en geen enkele AI-aanbieder heeft toegezegd het te gebruiken.

Het probleem dat llms.txt oplost

AI-systemen hebben een praktisch probleem. Een taalmodel kan maar een beperkte hoeveelheid tekst tegelijk lezen, en een volledige website met menu's, scripts en advertenties omzetten in schone, bruikbare tekst is lastig. Als ChatGPT of Gemini een vraag over je site of product moet beantwoorden, weet het niet wat voorrang krijgt. Moet het productpagina's of blogposts lezen? Welke documentatiepagina is het referentiepunt? Welke pagina's zijn tijdloos en welke verouderd? Zonder richtlijnen kan een AI-systeem zijn beperkte context verspillen aan pagina's met weinig waarde of belangrijke content missen.

robots.txt loste voor zoekmachines een ander probleem op. Je kon er URL's mee blokkeren, crawlers naar je sitemap wijzen en je crawlbudget beschermen. Maar robots.txt regelt alleen de toegang, het legt je content niet uit. AI-systemen hebben andere behoeften. Ze geven minder om de rankingpositie en meer om begrijpen waarin jij gezaghebbend bent.

llms.txt probeert deze kloof te overbruggen. Het geeft taalmodellen een korte samenvatting van je site en een samengestelde lijst van je belangrijkste pagina's. In plaats van dat een AI-systeem moet afleiden dat je site over "SaaS-factureringsoplossingen" gaat, kun je het direct vertellen. Het doel is je beste content makkelijker te vinden en te gebruiken te maken. Er is nog geen bewijs dat het de indexering verbetert of de kans vergroot om in AI-antwoorden te worden geciteerd.

Kernstructuur en syntaxis van llms.txt

Het llms.txt-formaat is gewone Markdown, leesbaar voor zowel mensen als taalmodellen. Het bestand staat in de root van je domein (www.example.com/llms.txt) en volgt een vaste volgorde: een titel, een korte samenvatting, optionele details en secties met links naar je belangrijkste pagina's. Hier is een basisvoorbeeld:

# Example SaaS Company

> Facturatiesoftware voor B2B-SaaS-bedrijven, met prijsstrategieën, verbruiksmeting, betalingsverwerking en compliance.

Example SaaS Company helpt financiële teams hun facturatie te automatiseren. De onderstaande links verwijzen naar onze nuttigste pagina's.

## Docs

- [Getting started](https://www.example.com/docs/getting-started): Stel je eerste factureringsplan in
- [API reference](https://www.example.com/docs/api): Endpoints en authenticatie

## Guides

- [SaaS pricing strategies](https://www.example.com/blog/saas-pricing): Hoe je een prijsmodel kiest en test

## Optional

- [About us](https://www.example.com/about)

De syntaxis is bewust eenvoudig, zodat zowel mensen als taalmodellen hem kunnen lezen. Je zegt wie je bent, vat samen waar je site over gaat en wijst naar de pagina's die het belangrijkst zijn. Anders dan robots.txt bevat llms.txt geen richtlijnen om toe te staan of te blokkeren: het is een gids, geen toegangsregel, en geen enkele grote AI-aanbieder heeft toegezegd het te volgen.

De bouwstenen van een llms.txt-bestand

H1-titel (het enige verplichte element) is de naam van je site of project. Houd hem beknopt en beschrijvend. "Example SaaS Company" is beter dan "Welkom op onze site".

Samenvatting in een blockquote is je elevator pitch over waar de site over gaat. Wees specifiek over je inhoudelijke expertise. Schrijf in plaats van "Wij schrijven over tech" liever "Wij publiceren technische gidsen voor Python-ontwikkelaars, met nadruk op async programmeren, testen en uitrol in productie." Deze specificiteit helpt AI-systemen je autoriteit te begrijpen.

Optionele details zijn alinea's of lijsten, zonder kopjes, die de context toevoegen die een model nodig heeft om de rest van het bestand te lezen, zoals voor wie de site bedoeld is of hoe je de gelinkte pagina's moet interpreteren.

H2-secties groeperen je links per thema, zoals Docs, Products of Guides. Elke sectie is een Markdown-lijst met links naar je belangrijkste pagina's. Kies de pagina's die een model volgens jou als eerste moet lezen.

Linkitems gebruiken het formaat [Paginanaam](URL), eventueel gevolgd door een dubbele punt en een korte beschrijving van de pagina. Gebruik de canonieke URL van elke pagina, in de versie die je verkiest (met of zonder www).

De sectie Optional is een speciale H2 met de titel "Optional". De links eronder kunnen worden overgeslagen als een kortere context nodig is, dus hier horen secundaire pagina's thuis.

Wat niet in het bestand staat: llms.txt heeft geen velden voor Allow, Disallow, Crawl-Delay of datum. Het regelt geen toegang of crawling; die regels blijven in robots.txt.

Verder gaan: Markdown-versies van je pagina's

Naast het basisbestand stelt het voorstel ook voor om van elke pagina die nuttig is voor taalmodellen een schone Markdown-versie aan te bieden, beschikbaar op dezelfde URL met .md erachter (bijvoorbeeld www.example.com/docs/getting-started.md). De links in je llms.txt kunnen dan rechtstreeks naar deze versies verwijzen:

- [Getting started](https://www.example.com/docs/getting-started.md): Stel je eerste factureringsplan in

Sommige sites publiceren ook een llms-full.txt-bestand dat de volledige tekst van hun belangrijkste pagina's in één bestand bundelt, voor tools die alles in één verzoek willen. Dit is een gewoonte van sommige documentatiesites, geen verplicht onderdeel van het voorstel. In beide gevallen is het doel hetzelfde: minder ruis voor een model om te lezen.

llms.txt versus robots.txt: de belangrijkste verschillen

robots.txt is vooral beperkend. Je vertelt crawlers waar ze NIET mogen komen. llms.txt is vooral informatief. Je vertelt taalmodellen waar je over gaat en welke pagina's ertoe doen. robots.txt gebruikt een User-agent-veld om specifieke crawlers aan te spreken, en grote crawlers volgen het; llms.txt heeft zo'n veld niet, en grote AI-aanbieders hebben niet bevestigd dat ze het lezen.

robots.txt beïnvloedt de zoekzichtbaarheid direct. Als je crawlers een pagina weigert, wordt die in het algemeen niet gecrawld. llms.txt heeft geen effect op traditionele rankings en het effect op AI-zichtbaarheid is niet bewezen. Als je het gebruikt, houd dan beide bestanden op je site, elk met een eigen rol.

Gebruik in de praktijk robots.txt om te bepalen welke crawlers, ook AI-crawlers zoals GPTBot of ClaudeBot, bij welke delen van je site mogen. Gebruik llms.txt alleen om modellen naar je beste content te wijzen; het kan niets beperken. Bijvoorbeeld:

robots.txt: blokkeert /checkout en /admin voor de crawlers die je kiest (bijvoorbeeld GPTBot)
llms.txt: linkt alleen naar de docs, gidsen en productpagina's die modellen volgens jou moeten lezen

Best practices voor de implementatie

Maak je llms.txt-bestand en plaats het op www.example.com/llms.txt. Gebruik gewone UTF-8-tekst met Markdown-opmaak. Zorg dat je webserver het uitlevert met een Content-Type-header van text/plain of text/markdown. Test het door de URL direct in je browser te bezoeken; je moet de ruwe tekst zien. Controleer of de structuur de llms.txt-specificatie volgt: een H1-titel, een samenvatting in een blockquote en H2-secties met links.

Schrijf duidelijke, specifieke beschrijvingen. Kopieer niet zomaar de slogan van je homepage. Wees eerlijk over waar je site over gaat. Als je content publiceert over 15 verschillende onderwerpen, noem ze dan. Als je je op een smal onderwerp richt, zeg dat dan. Eerlijke, specifieke beschrijvingen zijn nuttiger voor een model dan vage. Neem zoekwoorden op die je branche of sector beschrijven. Ben je een webshop, noem dan "e-commerce, producten, prijzen". Ben je een SaaS-bedrijf, noem dan "software, facturatie, integraties".

Werk het bestand bij wanneer je je belangrijkste pagina's wijzigt. Het formaat heeft geen datumveld, dus het actueel houden van het bestand is aan jou. Als de inhoudelijke focus van je site aanzienlijk verandert, werk dan de samenvatting en de secties bij. Zet elk kwartaal een herinnering om je llms.txt te controleren en te vernieuwen, zeker als je nieuwe contentcategorieën maakt of je positionering aanscherpt.

Volg de adoptie van llms.txt. Sommige documentatieplatforms en ontwikkelaarstools publiceren al llms.txt-bestanden, maar OpenAI, Anthropic en Google DeepMind hebben niet toegezegd het te lezen wanneer ze het web crawlen. Er een toevoegen is een goedkoop experiment, geen garantie voor wat dan ook.

llms.txt en zorgen over privacy

Sommige mensen vragen zich af of llms.txt kan bepalen hoe AI-bedrijven hun content gebruiken. Dat kan niet. AI-bedrijven en pleitbezorgers van privacy debatteren over de ethiek van webcrawling en het trainen van modellen. Standaarden voor zoeken en crawlen zijn in twee decennia geëvolueerd om toegang in balans te brengen met respect voor makers van content. llms.txt maakt deel uit van dit gesprek, maar is ontworpen om modellen te helpen je content te vinden, niet om te beperken hoe ze die gebruiken.

Als je wilt voorkomen dat je content voor AI-training wordt gebruikt, is llms.txt het verkeerde gereedschap: er is geen richtlijn voor. Gebruik in plaats daarvan robots.txt-regels voor de betreffende AI-user-agents, bijvoorbeeld:

User-agent: GPTBot
Disallow: /

Ook naleving van robots.txt is vrijwillig, maar gerenommeerde AI-aanbieders publiceren de namen van hun crawlers en zeggen dat ze het respecteren. Wil je sterkere bescherming, blokkeer dan bots in de configuratie van je server of firewall. Voorlopig is geen van beide bestanden een juridisch middel. Naarmate regelgeving zich ontwikkelt en sectorstandaarden vaste vorm krijgen, kunnen robuustere mechanismen ontstaan.

De impact van llms.txt meten

Het rendement van llms.txt is moeilijk te meten, omdat geen enkele AI-aanbieder heeft gezegd het bestand te gebruiken. Maar je kunt wel indicatoren volgen. Volg je AI-vermeldingen en citaten in ChatGPT, Gemini, Claude en Perplexity voor en na het toevoegen van het bestand. Als je groei in citaten ziet, is dat een correlatie en geen bewijs dat het bestand de oorzaak is, want veel andere factoren beïnvloeden citaten. Vergelijk je groei in citaten met die van concurrenten die geen llms.txt hebben geïmplementeerd.

Gebruik tools voor het volgen van AI-vermeldingen om je zichtbaarheid in AI-zoekmachines te kwantificeren. Volg hoe vaak je content wordt geciteerd door grote AI-assistenten. Zo kun je zelf beoordelen of het toevoegen van llms.txt iets verandert voor je site.

De toekomst van llms.txt

robots.txt werd pas in 2022 als internetstandaard (RFC 9309) vastgelegd, na tientallen jaren gebruik. llms.txt is nog in het stadium van voorstel en volgt misschien hetzelfde pad, misschien ook niet. Sites zonder het bestand worden vandaag niet afgestraft, en geen enkel groot AI-zoekplatform heeft gezegd dat het controleert op het bestand.

Omdat het aanmaken van het bestand minuten kost en niets kost, is het toevoegen van een llms.txt een redelijk experiment met weinig risico, vooral voor sites met veel documentatie. Houd je verwachtingen wel realistisch: het is een voorstel, de voordelen zijn onbewezen en je tijd is meestal beter besteed aan de kwaliteit en structuur van je content en aan de signalen waarop AI-systemen echt vertrouwen.

Een llms.txt-bestand toevoegen in WordPress, Shopify, Webflow en andere CMS'en

Het llms.txt-bestand moet bereikbaar zijn in de root van je domein, op jouwdomein.com/llms.txt, als gewone tekst. Hoe je het daar krijgt, hangt af van hoeveel controle je CMS je geeft over bestanden in de root:

• Zelf gehoste sites en WordPress: upload het bestand naar de rootmap via de bestandsbeheerder of FTP van je hosting. Sommige SEO-plugins voor WordPress kunnen het ook voor je genereren en uitleveren.
• Gehoste platforms die uploads naar de root blokkeren (veel sitebuilders en e-commerceplatforms): gebruik de eigen llms.txt-instelling of app van het platform als die er is; host het bestand anders elders en voeg een redirect toe vanaf /llms.txt, en controleer daarna of de uiteindelijke URL nog steeds gewone tekst teruggeeft.
• Statische en headless sites: plaats llms.txt in de publieke map, zodat het met elke uitrol meegaat, en genereer het opnieuw als belangrijke pagina's veranderen.

Schrijf de inhoud met de gratis llms.txt-generator en controleer daarna de URL, het contenttype en de Markdown-structuur met de llms.txt-validator. In onze stapsgewijze installatiegids staat elk geval uitgebreid beschreven.

Conclusie

llms.txt is een voorgesteld, goedkoop gidsbestand voor sites die taalmodellen willen helpen hun beste content te vinden. Door dit eenvoudige Markdown-bestand in de root van je domein te plaatsen, beschrijf je waar je site over gaat en link je naar je belangrijkste pagina's. Het formaat is eenvoudig en de implementatie kost minuten, maar geen enkele AI-aanbieder heeft toegezegd het te gebruiken, dus zie het als een experiment en niet als een vereiste. Als je serieus wilt worden geciteerd door ChatGPT, Claude, Gemini en Perplexity, richt je dan eerst op duidelijke, goed gestructureerde content en sterke signalen op het hele web. Gebruik de tools van Sorank voor zoekwoordonderzoek en ontdekking om te bepalen welke onderwerpen je in je llms.txt-bestand uitlicht.