llms.txt: Eine vorgeschlagene Leitfaden-Datei für KI-freundliche Websites

20 Jahre lang war robots.txt der Weg, um mit den Crawlern der Suchmaschinen zu kommunizieren. Sie legten die Datei im Stammverzeichnis Ihrer Website ab, um Google und Bing mitzuteilen, welche Seiten sie crawlen und welche sie überspringen sollen. Heute lesen auch KI-Assistenten von OpenAI, Anthropic, Google und anderen das Web, und sie haben andere Anforderungen. llms.txt ist ein Vorschlag, um mit ihnen zu kommunizieren.

Der llms.txt-Vorschlag, 2024 von Jeremy Howard, Mitgründer von Answer.AI, veröffentlicht, soll Sprachmodellen helfen zu verstehen, worum es auf Ihrer Website geht, und ihre nützlichsten Seiten zu finden. Statt ein KI-System raten zu lassen, ob Ihre Website ein Onlineshop, ein Nachrichtenportal oder eine technische Dokumentation ist, sagt llms.txt es ihm ausdrücklich. Im Prinzip könnte diese Klarheit KI-Systemen helfen, Ihre Inhalte genauer abzurufen und zu zitieren. Es bleibt ein Vorschlag, kein etablierter Standard, und kein KI-Anbieter hat zugesagt, ihn zu nutzen.

Das Problem, das llms.txt löst

KI-Systeme haben ein praktisches Problem. Ein Sprachmodell kann nur eine begrenzte Textmenge auf einmal lesen, und eine ganze Website mit Menüs, Skripten und Werbung in saubere, nutzbare Texte zu verwandeln, ist schwierig. Wenn ChatGPT oder Gemini eine Frage zu Ihrer Website oder Ihrem Produkt beantworten soll, weiß es nicht, was Vorrang hat. Soll es Produktseiten oder Blogartikel lesen? Welche Dokumentationsseite ist die maßgebliche? Welche Seiten sind zeitlos und welche veraltet? Ohne Orientierung kann ein KI-System seinen begrenzten Kontext auf wenig wertvolle Seiten verschwenden oder wichtige Inhalte übersehen.

robots.txt hat für Suchmaschinen ein anderes Problem gelöst. Damit konnten Sie URLs sperren, Crawler auf Ihre Sitemap hinweisen und Ihr Crawl-Budget schützen. Aber robots.txt steuert nur den Zugriff; es erklärt Ihre Inhalte nicht. KI-Systeme haben andere Anforderungen. Ihnen ist die Ranking-Position weniger wichtig, sie wollen vor allem verstehen, in welchen Themen Sie Autorität haben.

llms.txt will diese Lücke schließen. Es gibt Sprachmodellen eine kurze Zusammenfassung Ihrer Website und eine kuratierte Liste Ihrer wichtigsten Seiten. Statt dass ein KI-System selbst ableiten muss, dass es auf Ihrer Website um "SaaS-Abrechnungslösungen" geht, können Sie es ihm direkt sagen. Das Ziel ist, Ihre besten Inhalte leichter auffindbar und nutzbar zu machen. Bisher gibt es keinen Beleg dafür, dass es die Indexierung oder die Wahrscheinlichkeit verbessert, in KI-Antworten zitiert zu werden.

Core llms.txt Struktur und Syntax

Das llms.txt-Format ist schlichtes Markdown und für Menschen wie für Sprachmodelle lesbar. Die Datei liegt im Stammverzeichnis Ihrer Domain (www.example.com/llms.txt) und folgt einer festen Reihenfolge: ein Titel, eine kurze Zusammenfassung, optionale Details und Abschnitte mit Links zu Ihren wichtigsten Seiten. Hier ein einfaches Beispiel:

# Example SaaS Company

> Billing automation software for B2B SaaS companies, covering pricing strategies, metering, payment processing, and compliance.

Example SaaS Company helps finance teams automate invoicing. The links below point to our most useful pages.

## Docs

- [Getting started](https://www.example.com/docs/getting-started): Set up your first billing plan
- [API reference](https://www.example.com/docs/api): Endpoints and authentication

## Guides

- [SaaS pricing strategies](https://www.example.com/blog/saas-pricing): How to choose and test a pricing model

## Optional

- [About us](https://www.example.com/about)

Die Syntax ist bewusst einfach gehalten, damit Menschen und Sprachmodelle sie lesen können. Sie sagen, wer Sie sind, fassen zusammen, was Ihre Website abdeckt, und verweisen auf die wichtigsten Seiten. Anders als robots.txt enthält llms.txt keine Erlauben- oder Sperren-Anweisungen: Es ist ein Leitfaden, keine Zugriffsregel, und kein großer KI-Anbieter hat zugesagt, ihm zu folgen.

Die Bausteine einer llms.txt-Datei

Der H1-Titel (das einzige Pflichtelement) ist der Name Ihrer Website oder Ihres Projekts. Halten Sie ihn kurz und aussagekräftig. "Example SaaS Company" ist besser als "Willkommen auf unserer Website."

Die Zusammenfassung als Zitatblock ist Ihr Elevator Pitch dafür, was die Website abdeckt. Seien Sie bei Ihrer thematischen Expertise konkret. Schreiben Sie statt "Wir schreiben über Technik" lieber "Wir veröffentlichen technische Leitfäden für Python-Entwickler mit Schwerpunkt auf asynchroner Programmierung, Tests und Produktions-Deployment." Diese Konkretheit hilft KI-Systemen, Ihre Autorität zu verstehen.

Die optionalen Details sind Absätze oder Listen ohne Überschriften, die den Kontext liefern, den ein Modell braucht, um den Rest der Datei zu lesen, etwa für wen die Website gedacht ist oder wie die verlinkten Seiten zu verstehen sind.

Die H2-Abschnitte gruppieren Ihre Links nach Themen, zum Beispiel Docs, Produkte oder Leitfäden. Jeder Abschnitt ist eine Markdown-Liste mit Links zu Ihren wichtigsten Seiten. Wählen Sie die Seiten, die ein Modell zuerst lesen soll.

Die Link-Einträge haben das Format [Seitenname](URL), optional gefolgt von einem Doppelpunkt und einer kurzen Beschreibung der Seite. Verwenden Sie die kanonische URL jeder Seite, in der von Ihnen bevorzugten Variante (mit oder ohne www).

Der Abschnitt Optional ist eine besondere H2-Überschrift mit dem Titel "Optional". Die Links darunter können übersprungen werden, wenn ein kürzerer Kontext nötig ist; hier gehören untergeordnete Seiten hin.

Was nicht in der Datei steht: llms.txt kennt keine Felder wie Allow, Disallow oder Crawl-Delay und auch keine Datumsfelder. Die Datei steuert weder Zugriff noch Crawling; diese Regeln bleiben in robots.txt.

Einen Schritt weiter: Markdown-Versionen Ihrer Seiten

Über die Basisdatei hinaus schlägt der Vorschlag vor, für Sprachmodelle nützliche Seiten zusätzlich als saubere Markdown-Version anzubieten, erreichbar unter derselben URL mit angehängtem .md (zum Beispiel www.example.com/docs/getting-started.md). Die Links in Ihrer llms.txt können dann direkt auf diese Versionen zeigen:

- [Getting started](https://www.example.com/docs/getting-started.md): Set up your first billing plan

Manche Websites veröffentlichen außerdem eine Datei llms-full.txt, die den vollständigen Text ihrer wichtigsten Seiten in einer einzigen Datei bündelt, für Tools, die alles in einer Anfrage wollen. Das ist eine Konvention einiger Dokumentationsseiten, kein verpflichtender Teil des Vorschlags. In beiden Fällen ist das Ziel dasselbe: weniger Rauschen für ein Modell.

llms.txt vs. robots.txt: Key-Unterschiede

robots.txt ist in erster Linie einschränkend: Sie sagen Crawlern, wohin sie NICHT dürfen. llms.txt ist in erster Linie informativ: Sie sagen Sprachmodellen, worum es bei Ihnen geht und welche Seiten wichtig sind. robots.txt nutzt ein User-agent-Feld, um bestimmte Crawler anzusprechen, und die großen Crawler befolgen es; llms.txt hat kein solches Feld, und große KI-Anbieter haben nicht bestätigt, die Datei zu lesen.

robots.txt wirkt sich direkt auf die Sichtbarkeit in der Suche aus. Wenn Sie Crawlern eine Seite verbieten, wird sie in der Regel nicht gecrawlt. llms.txt hat keinen Einfluss auf klassische Rankings, und seine Wirkung auf die KI-Sichtbarkeit ist nicht belegt. Wenn Sie es nutzen, behalten Sie beide Dateien auf Ihrer Website, jede mit ihrer eigenen Aufgabe.

In der Praxis legen Sie mit robots.txt fest, welche Crawler, auch KI-Crawler wie GPTBot oder ClaudeBot, auf welche Bereiche Ihrer Website zugreifen dürfen. llms.txt dient nur dazu, Modelle auf Ihre besten Inhalte zu lenken; es kann nichts einschränken. Zum Beispiel:

robots.txt: sperrt /checkout und /admin für die Crawler Ihrer Wahl (zum Beispiel GPTBot)
llms.txt: verlinkt nur die Dokumentations-, Leitfaden- und Produktseiten, die Modelle lesen sollen

Implementation Best Practices

Erstellen Sie Ihre llms.txt-Datei und legen Sie sie unter www.example.com/llms.txt ab. Verwenden Sie reinen UTF-8-Text mit Markdown-Formatierung. Stellen Sie sicher, dass Ihr Webserver sie mit dem Content-Type-Header text/plain oder text/markdown ausliefert. Testen Sie sie, indem Sie die URL direkt im Browser aufrufen; Sie sollten den reinen Text sehen. Prüfen Sie, ob die Struktur der llms.txt-Spezifikation entspricht: ein H1-Titel, eine Zusammenfassung als Zitatblock und H2-Abschnitte mit Links.

Schreiben Sie klare, konkrete Beschreibungen. Kopieren Sie nicht einfach den Slogan Ihrer Startseite. Seien Sie ehrlich darüber, was Ihre Website abdeckt. Wenn Sie zu 15 verschiedenen Themen veröffentlichen, nennen Sie sie. Wenn Sie eng fokussiert sind, sagen Sie das. Ehrliche, konkrete Beschreibungen sind für ein Modell nützlicher als vage. Nehmen Sie Keywords auf, die Ihre Branche beschreiben. Wenn Sie ein E-Commerce-Shop sind, nennen Sie "E-Commerce, Produkte, Preise". Wenn Sie ein SaaS-Unternehmen sind, nennen Sie "Software, Abrechnung, Integrationen."

Aktualisieren Sie die Datei, sobald sich Ihre wichtigsten Seiten ändern. Das Format hat kein Datumsfeld, die Pflege liegt also bei Ihnen. Wenn sich der thematische Schwerpunkt Ihrer Website deutlich ändert, passen Sie Zusammenfassung und Abschnitte an. Legen Sie sich eine vierteljährliche Erinnerung an, um Ihre llms.txt zu prüfen und aufzufrischen, besonders wenn Sie neue Inhaltskategorien aufbauen oder Ihre Positionierung schärfen.

Beobachten Sie die Verbreitung von llms.txt. Einige Dokumentationsplattformen und Entwickler-Tools veröffentlichen bereits llms.txt-Dateien, aber OpenAI, Anthropic und Google DeepMind haben nicht zugesagt, sie beim Crawlen des Webs zu lesen. Eine solche Datei anzulegen ist ein günstiges Experiment, keine Garantie.

llms.txt und Privacy-Concerns

Manche fragen sich, ob llms.txt steuern kann, wie KI-Unternehmen ihre Inhalte verwenden. Das kann es nicht. KI-Unternehmen und Datenschützer diskutieren die Ethik des Web-Crawlings und des Modelltrainings. Die Standards für Suche und Crawling entwickeln sich seit zwei Jahrzehnten weiter, um Zugriff und Respekt gegenüber Urhebern auszubalancieren. llms.txt ist Teil dieser Debatte, wurde aber entworfen, um Modellen zu helfen, Ihre Inhalte zu finden, nicht um deren Nutzung einzuschränken.

Wenn Sie verhindern möchten, dass Ihre Inhalte für das Training von KI verwendet werden, ist llms.txt das falsche Werkzeug: Es kennt keine Anweisung dafür. Nutzen Sie stattdessen robots.txt-Regeln für die betreffenden KI-User-Agents, zum Beispiel:

User-agent: GPTBot
Disallow: /

Auch die Einhaltung von robots.txt ist freiwillig, aber seriöse KI-Anbieter veröffentlichen die Namen ihrer Crawler und geben an, die Datei zu respektieren. Für stärkeren Schutz sperren Sie Bots in Ihrer Server- oder Firewall-Konfiguration. Derzeit ist keine der beiden Dateien ein rechtliches Mittel. Mit der Entwicklung von Regulierung und der Verfestigung von Branchenstandards könnten robustere Mechanismen entstehen.

llms.txt Impact messen

Den ROI von llms.txt zu messen ist schwierig, da kein KI-Anbieter gesagt hat, dass er die Datei nutzt. Sie können aber Indikatoren verfolgen. Beobachten Sie Ihre KI-Erwähnungen und Zitate in ChatGPT, Gemini, Claude und Perplexity vor und nach dem Hinzufügen der Datei. Wenn die Zitate zunehmen, ist das eine Korrelation, kein Beweis dafür, dass die Datei die Ursache ist, denn viele andere Faktoren beeinflussen Zitate. Vergleichen Sie Ihr Zitat-Wachstum mit Wettbewerbern, die llms.txt noch nicht umgesetzt haben.

Nutzen Sie Tools zum Tracking von KI-Erwähnungen, um Ihre Sichtbarkeit in der KI-Suche zu quantifizieren. Verfolgen Sie, wie oft Ihre Inhalte von den großen KI-Assistenten zitiert werden. So können Sie selbst beurteilen, ob das Hinzufügen von llms.txt für Ihre Website etwas verändert.

Die Zukunft von llms.txt

robots.txt wurde erst 2022 als Internetstandard (RFC 9309) formalisiert, nach Jahrzehnten der Nutzung. llms.txt befindet sich noch im Vorschlagsstadium und könnte denselben Weg gehen, muss es aber nicht. Websites ohne die Datei werden heute nicht abgestraft, und keine große KI-Suchplattform hat gesagt, dass sie nach der Datei sucht.

Weil das Erstellen der Datei nur Minuten dauert und nichts kostet, ist eine llms.txt ein vernünftiges, risikoarmes Experiment, besonders für dokumentationslastige Websites. Haben Sie aber realistische Erwartungen: Es ist ein Vorschlag, der Nutzen ist nicht belegt, und Ihre Zeit ist meist besser in Inhaltsqualität, Struktur und die Signale investiert, auf die sich KI-Systeme tatsächlich stützen.

So fügen Sie eine llms.txt in WordPress, Shopify, Webflow und anderen CMS hinzu

Die llms.txt muss im Stammverzeichnis Ihrer Domain erreichbar sein, unter ihredomain.com/llms.txt, als reiner Text. Der Weg dorthin hängt davon ab, wie viel Kontrolle Ihr CMS über Root-Dateien erlaubt:

• Selbst gehostete Websites und WordPress: Laden Sie die Datei per Dateimanager des Hosters oder FTP in das Stammverzeichnis. Einige SEO-Plugins für WordPress können sie auch erzeugen und ausliefern.
• Gehostete Plattformen ohne Root-Upload (viele Website-Baukästen und E-Commerce-Plattformen): Nutzen Sie die llms.txt-Einstellung oder App der Plattform, falls vorhanden; andernfalls hosten Sie die Datei woanders und richten eine Weiterleitung von /llms.txt ein. Prüfen Sie danach, dass die Ziel-URL weiterhin reinen Text liefert.
• Statische und Headless-Websites: Legen Sie llms.txt in den Public-Ordner, damit sie mit jedem Deployment ausgeliefert wird, und erzeugen Sie sie neu, wenn sich wichtige Seiten ändern.

Schreiben Sie den Inhalt mit dem kostenlosen llms.txt-Generator und prüfen Sie URL, Content-Type und Markdown-Struktur mit dem llms.txt-Validator. Unsere Schritt-für-Schritt-Installationsanleitung beschreibt jeden Fall.

Fazit

llms.txt ist eine vorgeschlagene, kostengünstige Leitfaden-Datei für Websites, die Sprachmodellen helfen wollen, ihre besten Inhalte zu finden. Wenn Sie diese einfache Markdown-Datei im Stammverzeichnis Ihrer Domain ablegen, beschreiben Sie, was Ihre Website abdeckt, und verlinken Ihre wichtigsten Seiten. Das Format ist unkompliziert und die Umsetzung dauert Minuten, aber kein KI-Anbieter hat zugesagt, sie zu nutzen; betrachten Sie sie also als Experiment, nicht als Pflicht. Wenn es Ihnen ernst damit ist, von ChatGPT, Claude, Gemini und Perplexity zitiert zu werden, konzentrieren Sie sich zuerst auf klare, gut strukturierte Inhalte und starke Signale im gesamten Web. Nutzen Sie die Keyword-Recherche- und Discovery-Tools von Sorank, um zu erkennen, welche Themen Sie in Ihrer llms.txt-Datei hervorheben sollten.