llms.txt: navrhovaný souborový průvodce pro weby přátelské k AI

Dvacet let byl robots.txt způsobem, jak komunikovat s prohledávacími roboty vyhledávačů. Umísťoval se do kořene webu a říkal Google a Bingu, které stránky mají procházet a které přeskočit. Dnes ale web čtou také AI asistenti od OpenAI, Anthropic, Google a dalších a mají jiné potřeby. llms.txt je návrh, jak s nimi komunikovat.

Návrh llms.txt z roku 2024, jehož autorem je Jeremy Howard, spoluzakladatel Answer.AI, má jazykovým modelům pomoci pochopit, o čem váš web je, a najít jeho nejužitečnější stránky. Místo aby AI systém hádal, zda je váš web e-shop, zpravodajský server nebo dokumentace technického produktu, llms.txt mu to řekne přímo. V zásadě by tato jasnost mohla AI systémům pomoci přesněji vyhledávat a citovat váš obsah. Zůstává návrhem, nikoli přijatým standardem, a žádný poskytovatel AI se k jeho používání zatím nezavázal.

Problém, který llms.txt řeší

AI systémy čelí praktickému problému. Jazykový model dokáže najednou přečíst jen omezené množství textu a proměnit celý web i s menu, skripty a reklamami v čistý použitelný text je obtížné. Když ChatGPT nebo Gemini potřebuje odpovědět na otázku o vašem webu nebo produktu, neví, čemu dát přednost. Má číst stránky produktů, nebo články na blogu? Která stránka dokumentace je referenční? Které stránky jsou dlouhodobě platné a které už zastaraly? Bez návodu může AI systém vyčerpat svůj omezený prostor na stránky s malou hodnotou, nebo přehlédne důležitý obsah.

robots.txt pomáhal s jiným problémem vyhledávačů. Umožňoval blokovat URL adresy, ukázat prohledávacím robotům na mapu stránek a chránit váš rozpočet procházení (crawl budget). Robots.txt ale řídí jen přístup, váš obsah nevysvětluje. AI systémy mají jiné potřeby. Méně je zajímá pozice ve výsledcích a více to, v čem je váš web autoritativní.

llms.txt se snaží tuto mezeru zaplnit. Dává jazykovým modelům stručné shrnutí vašeho webu a vybraný seznam klíčových stránek. Místo aby AI systém odvozoval, že váš web se týká „řešení pro fakturaci SaaS“, můžete mu to napsat přímo. Cílem je, aby se vaše nejlepší stránky snáze našly a použily. Zatím neexistuje žádný důkaz, že by llms.txt zlepšoval indexaci nebo pravděpodobnost citace v odpovědích AI.

Základní struktura a syntaxe llms.txt

Formát llms.txt je prostý Markdown, čitelný pro lidi i pro jazykové modely. Soubor se nachází v kořeni domény (www.example.com/llms.txt) a dodržuje pevné pořadí: nadpis, krátké shrnutí, volitelné podrobnosti a oddíly s odkazy na klíčové stránky. Zde je jednoduchý příklad:

# Ukázková SaaS firma

> Software pro automatizaci fakturace pro firmy B2B SaaS, který pokrývá cenové strategie, měření spotřeby, zpracování plateb a dodržování předpisů.

Ukázková SaaS firma pomáhá finančním týmům automatizovat fakturaci. Odkazy níže vedou na naše nejužitečnější stránky.

## Dokumentace

- [Začínáme](https://www.example.com/docs/getting-started): Nastavte si první fakturační plán
- [Reference API](https://www.example.com/docs/api): Koncové body a autentizace

## Průvodci

- [Cenové strategie SaaS](https://www.example.com/blog/saas-pricing): Jak zvolit a otestovat cenový model

## Optional

- [O nás](https://www.example.com/about)

Syntaxe je záměrně jednoduchá, aby ji mohli číst lidé i jazykové modely. Řeknete, kdo jste, shrnete, co web pokrývá, a ukážete na stránky, které jsou nejdůležitější. Na rozdíl od robots.txt llms.txt neobsahuje direktivy pro povolení nebo blokování: je to průvodce, ne pravidlo přístupu, a žádný hlavní poskytovatel AI se nezavázal, že se jím bude řídit.

Stavební prvky souboru llms.txt

Nadpis H1 (jediný povinný prvek) je název vašeho webu nebo projektu. Držte ho stručný a výstižný. Lepší je „Ukázková SaaS firma“ než „Vítejte na našem webu“.

Shrnutí v citaci je váš výtah z toho, co web pokrývá. Buďte konkrétní v tom, v čem jste odborníci. Místo „Píšeme o technologiích“ napište „Publikujeme technické průvodce pro vývojáře v Pythonu se zaměřením na asynchronní programování, testování a nasazení do provozu“. Tato konkrétnost pomáhá AI systémům pochopit vaši autoritu.

Volitelné podrobnosti jsou odstavce nebo seznamy bez nadpisů, které doplňují kontext potřebný ke čtení zbytku souboru, například pro koho je web určen nebo jak číst odkazované stránky.

Oddíly H2 seskupují odkazy podle tématu, například Dokumentace, Produkty nebo Průvodci. Každý oddíl je seznam odkazů v Markdownu na vaše klíčové stránky. Vyberte stránky, které by model měl číst jako první.

Položky odkazů mají tvar [Název stránky](URL), případně následovaný dvojtečkou a krátkým popisem stránky. Používejte kanonickou URL každé stránky ve verzi, kterou preferujete (s www nebo bez něj).

Oddíl Optional je zvláštní nadpis H2 s názvem „Optional“. Odkazy pod ním lze přeskočit, když je potřeba kratší kontext, proto sem patří druhotné stránky.

Co v souboru není: llms.txt nemá pravidla Allow, Disallow, Crawl-Delay ani pole pro datum. Neřídí přístup ani procházení, tato pravidla zůstávají v robots.txt.

Jdeme dál: verze stránek v Markdownu

Kromě základního souboru návrh také doporučuje nabídnout čistou verzi každé stránky v Markdownu, užitečnou pro jazykové modely, na stejné URL s přidanou příponou .md (například www.example.com/docs/getting-started.md). Odkazy v llms.txt pak mohou vést přímo na tyto verze:

- [Začínáme](https://www.example.com/docs/getting-started.md): Nastavte si první fakturační plán

Některé weby publikují také soubor llms-full.txt, který shromažďuje plný text klíčových stránek v jediném souboru pro nástroje, které chtějí všechno v jednom požadavku. Jde o konvenci, kterou používají některé weby s dokumentací, nikoli o povinnou součást návrhu. V obou případech je cíl stejný: méně šumu, který musí model číst.

llms.txt vs. robots.txt: hlavní rozdíly

robots.txt je hlavně omezující. Říká se v něm, kam roboti NESMĚJÍ. llms.txt je hlavně informativní. Říká jazykovým modelům, čím se zabýváte a které stránky jsou důležité. robots.txt používá pole User-agent, kterým cílí na konkrétní roboty, a hlavní roboti se jím řídí; llms.txt žádné takové pole nemá a hlavní poskytovatelé AI nepotvrdili, že ho čtou.

robots.txt přímo ovlivňuje viditelnost ve vyhledávání. Pokud robotům zakážete stránku, obvykle nebude procházena. llms.txt nemá vliv na klasické pozice ve výsledcích a jeho vliv na viditelnost v AI není prokázán. Pokud ho používáte, mějte na webu oba soubory, každý s jinou rolí.

V praxi použijte robots.txt k rozhodnutí, které roboty, včetně AI robotů jako GPTBot nebo ClaudeBot, mohou přistupovat ke kterým částem webu. llms.txt používejte jen k nasměrování modelů na váš nejlepší obsah, nemůže nic omezit. Například:

robots.txt: blokuje /checkout a /admin pro roboty, které zvolíte (například GPTBot)
llms.txt: odkazuje jen na dokumentaci, průvodce a produktové stránky, které chcete, aby modely četly

Osvědčené postupy pro implementaci

Vytvořte soubor llms.txt a umístěte ho na www.example.com/llms.txt. Používejte prostý text v kódování UTF-8 s formátováním Markdown. Ujistěte se, že webový server soubor posílá s hlavičkou Content-Type text/plain nebo text/markdown. Otestujte ho tak, že URL přímo otevřete v prohlížeči; měli byste vidět surový text. Zkontrolujte, zda struktura odpovídá specifikaci llms.txt: nadpis H1, shrnutí v citaci a oddíly H2 s odkazy.

Píšte jasné a konkrétní popisy. Nekopírujte jen slogan z domovské stránky. Buďte upřímní v tom, co web pokrývá. Pokud publikujete obsah na patnácti různých tématech, vyjmenujte je. Pokud se zaměřujete úzce, řekněte to. Upřímné a konkrétní popisy jsou pro model užitečnější než vágní. Uveďte klíčová slova popisující váš obor. Jste-li e-shop, zmiňte „e-shop, produkty, ceny“. Jste-li firma SaaS, zmiňte „software, fakturace, integrace“.

Aktualizujte soubor pokaždé, když změníte klíčové stránky. Formát nemá pole pro datum, takže aktuálnost souboru je na vás. Pokud se tematické zaměření webu výrazně změní, upravte shrnutí a oddíly. Nastavte si čtvrtletní připomínku, abyste llms.txt zkontrolovali a osvěžili, zvlášť pokud vytváříte nové kategorie obsahu nebo zpřesňujete své postavení.

Sledujte, jak se llms.txt přijímá. Některé platformy s dokumentací a vývojářské nástroje už soubory llms.txt publikují, ale OpenAI, Anthropic a Google DeepMind se nezavázaly, že ho budou číst při procházení webu. Přidání je levný experiment, ne záruka čehokoli.

llms.txt a otázky soukromí

Někteří lidé se ptají, zda llms.txt může řídit, jak AI firmy používají jejich obsah. Nemůže. Firmy z oblasti AI a obhájci soukromí diskutují o etice procházení webu a trénování modelů. Standardy vyhledávání a procházení se vyvíjely přes dvě desetiletí, aby vyvážily přístup a respekt k tvůrcům obsahu. llms.txt je součástí této debaty, ale byl navržen tak, aby modelům pomáhal najít váš obsah, ne aby omezoval, jak ho používají.

Pokud chcete zabránit použití vašeho obsahu k trénování AI, llms.txt je špatný nástroj: nemá na to žádnou direktivu. Použijte místo toho pravidla v robots.txt pro příslušné uživatelské agenty AI, například:

User-agent: GPTBot
Disallow: /

Dodržování robots.txt je také dobrovolné, ale renomovaní poskytovatelé AI zveřejňují názvy svých robotů a říkají, že pravidla respektují. Pokud chcete silnější ochranu, blokujte roboty na úrovni serveru nebo firewallu. Zatím není ani jeden soubor právním nástrojem. Jak se regulace vyvíjí a průmyslové standardy sílí, mohou se objevit robustnější mechanismy.

Měření dopadu llms.txt

Návratnost investice z llms.txt je těžké změřit, protože žádný poskytovatel AI neřekl, že soubor používá. Můžete ale sledovat ukazatele. Před přidáním souboru a po něm sledujte zmínky a citace ve ChatGPT, Gemini, Claude a Perplexity. Pokud uvidíte růst citací, jde o korelaci, ne o důkaz, že soubor to způsobil, protože citace ovlivňuje mnoho dalších faktorů. Porovnejte růst citací s konkurenty, kteří llms.txt nezavedli.

K měření své viditelnosti ve vyhledávání AI použijte nástroje pro sledování zmínek v AI. Sledujte, kolikrát jsou vaše stránky citovány hlavními asistenty AI. Díky tomu si sami ověříte, zda přidání llms.txt na vašem webu něco mění.

Budoucnost llms.txt

robots.txt se jako internetový standard formálně ustanovil až v roce 2022 (RFC 9309), po desetiletích používání. llms.txt je stále ve fázi návrhu a může, ale nemusí jít stejnou cestou. Weby bez něj dnes nejsou penalizovány a žádná hlavní platforma AI pro vyhledávání neřekla, že soubor kontroluje.

Protože vytvoření souboru zabere pár minut a nic nestojí, je přidání llms.txt rozumný experiment s nízkým rizikem, zvlášť pro weby s velkým množstvím dokumentace. Mějte ale realistická očekávání: jde o návrh, jeho přínosy nejsou prokázané a váš čas je obvykle lépe využit na kvalitu obsahu, strukturu a signály, na které se AI systémy skutečně opírají.

Jak přidat soubor llms.txt na WordPress, Shopify, Webflow a další CMS

Soubor llms.txt musí být dostupný v kořeni vaší domény, na adrese yourdomain.com/llms.txt, jako prostý text. Jak se tam dostane, závisí na tom, kolik kontroly vám CMS dává nad soubory v kořenovém adresáři:

• Vlastní hosting a WordPress: nahrajte soubor do kořenové složky přes správce souborů u hostingu nebo přes FTP. Některé pluginy pro SEO na WordPressu ho také dokážou vygenerovat a zpřístupnit.
• Hostované platformy, které nahrávání do kořene blokují (mnoho tvůrčích nástrojů pro weby a e-shopových platforem): použijte vlastní nastavení llms.txt nebo aplikaci platformy, pokud ji nabízí; jinak soubor hostujte jinde a nastavte přesměrování z /llms.txt, pak ověřte, že konečná URL stále vrací prostý text.
• Statické a headless weby: umístěte llms.txt do veřejné složky, aby se nasadil spolu s každým nasazením, a při změně klíčových stránek ho znovu vygenerujte.

Obsah napište pomocí bezplatného generátoru llms.txt a poté URL, typ obsahu i strukturu Markdownu ověřte validátorem llms.txt. Náš podrobný návod k instalaci popisuje každý případ.

Závěr

llms.txt je navrhovaný levný průvodce pro weby, které chtějí jazykovým modelům pomoci najít jejich nejlepší obsah. Umístěním tohoto jednoduchého souboru v Markdownu do kořene domény popíšete, čím se váš web zabývá, a odkážete na klíčové stránky. Formát je přímočarý a implementace zabere pár minut, ale žádný poskytovatel AI se k jeho používání zatím nezavázal, takže ho berte spíš jako experiment než jako požadavek. Pokud se vážně chcete dostat do citací ChatGPT, Claude, Gemini a Perplexity, soustřeďte se nejdřív na jasný a dobře strukturovaný obsah a silné signály napříč webem. Nástroje Sorank pro výzkum klíčových slov a objevování témat použijte k tomu, abyste zjistili, která témata zvýraznit ve svém souboru llms.txt.