llms.txt: egy javasolt útmutatófájl AI-barát oldalakhoz

Húsz éven át a robots.txt volt az eszköz, amellyel a keresőmotorok feltérképező robotjaival lehetett kommunikálni. Ezt a weboldalad gyökerébe helyezted el, hogy megmondd a Google-nek és a Bingnek, mely oldalakat térképezzék fel, és melyeket hagyják ki. Ma már az OpenAI, az Anthropic, a Google és mások AI-asszisztensei is olvassák a webet, és eltérő igényeik vannak. A llms.txt egy javaslat arra, hogyan lehet velük kommunikálni.

Az llms.txt javaslatot 2024-ben tette közzé Jeremy Howard, az Answer.AI társalapítója. Célja, hogy a nyelvi modellek megértsék, miről szól a weboldalad, és megtalálják a leghasznosabb oldalait. Ahelyett, hogy egy AI-rendszernek kellene kitalálnia, hogy a weboldalad webáruház, hírportál vagy műszaki dokumentációs oldal, az llms.txt ezt egyértelműen közli vele. Elvben ez a tisztaság segíthet abban, hogy az AI-rendszerek pontosabban találják meg és idézzék a tartalmadat. Ez továbbra is javaslat, nem elfogadott szabvány, és egyetlen AI-szolgáltató sem vállalta, hogy használja.

A probléma, amelyet az llms.txt megold

Az AI-rendszerek gyakorlati problémával néznek szembe. Egy nyelvi modell egyszerre csak korlátozott mennyiségű szöveget tud feldolgozni, és egy teljes weboldalt, a menüivel, szkriptjeivel és hirdetéseivel együtt, tiszta, használható szöveggé alakítani nehéz feladat. Amikor a ChatGPT vagy a Gemini egy kérdésre akar választ adni a weboldaladról vagy a termékedről, nem tudja, mit érdemes előre venni. Termékoldalakat olvasson vagy blogbejegyzéseket? Melyik dokumentációs oldal a mérvadó? Melyek az örökzöld oldalak, és melyek elavultak? Útmutatás nélkül egy AI-rendszer a korlátozott kapacitását értéktelen oldalakra pazarolhatja, vagy lemaradhat a fontos tartalmakról.

A robots.txt más problémára nyújtott megoldást a keresőmotoroknak. Lehetővé tette URL-ek letiltását, a feltérképező robotok átirányítását a webhelytérképhez, és védte a crawl budgetedet. A robots.txt azonban csak a hozzáférést szabályozza, a tartalmat nem magyarázza el. Az AI-rendszerek más igényekkel rendelkeznek. Kevésbé a rangsorpozíció érdekli őket, inkább az, hogy miben vagy hiteles.

Az llms.txt ezt a szakadékot igyekszik áthidalni. Rövid összefoglalót ad a nyelvi modelleknek a weboldaladról, és egy válogatott listát a fontos oldalaidról. Ahelyett, hogy egy AI-rendszernek ki kellene következtetnie, hogy a weboldalad a „SaaS-számlázási megoldásokról” szól, ezt egyenesen megmondhatod neki. A cél, hogy a legjobb tartalmaid könnyebben megtalálhatók és felhasználhatók legyenek. Még nincs bizonyíték arra, hogy javítaná az indexelést vagy azt, hogy az AI-válaszokban idézik-e a tartalmadat.

Az llms.txt alapvető szerkezete és szintaxisa

Az llms.txt formátum sima Markdown, amelyet az emberek és a nyelvi modellek egyaránt olvashatnak. A fájl a domain gyökerében található (www.example.com/llms.txt), és rögzített sorrendet követ: cím, rövid összefoglaló, opcionális részletek, valamint a fontos oldalaidra mutató linkekből álló szakaszok. Íme egy egyszerű példa:

# Példa SaaS Cég

> Számlázási automatizálási szoftver B2B SaaS cégeknek, amely az árazási stratégiákat, a mérést, a fizetésfeldolgozást és a megfelelőséget fedi le.

A Példa SaaS Cég segít a pénzügyi csapatoknak automatizálni a számlázást. Az alábbi linkek a legfontosabb oldalainkra mutatnak.

## Dokumentáció

- [Első lépések](https://www.example.com/docs/getting-started): Az első számlázási csomag beállítása
- [API-referencia](https://www.example.com/docs/api): Végpontok és hitelesítés

## Útmutatók

- [SaaS-árazási stratégiák](https://www.example.com/blog/saas-pricing): Hogyan válassz és teszteljj árazási modellt

## Opcionális

- [Rólunk](https://www.example.com/about)

A szintaxis szándékosan egyszerű, hogy az emberek és a nyelvi modellek is könnyen olvashassák. Megmondod, ki vagy, összefoglalod, miről szól a weboldalad, és rámutatsz a legfontosabb oldalakra. A robots.txt-vel ellentétben az llms.txt nem tartalmaz engedélyező vagy tiltó utasításokat: ez útmutató, nem hozzáférési szabály, és egyetlen nagy AI-szolgáltató sem vállalta, hogy követi.

Az llms.txt fájl építőelemei

H1 cím (az egyetlen kötelező elem) a weboldalad vagy projekted neve. Legyen tömör és beszédes. A „Példa SaaS Cég” jobb, mint a „Üdvözöljük a weboldalunkon”.

Idézetblokkos összefoglaló a lényegi bemutatkozásod arról, mit fed le a weboldal. Légy konkrét a szakmai tudásodat illetően. Ahelyett, hogy „technológiai témákról írunk”, írd azt: „Szakmai útmutatókat publikálunk Python-fejlesztőknek, az aszinkron programozásra, a tesztelésre és az éles környezetbe telepítésre fókuszálva.” Ez a konkrétság segít az AI-rendszereknek megérteni a hitelességedet.

Opcionális részletek olyan bekezdések vagy listák címsorok nélkül, amelyek azt a kontextust adják, amelyre a modellnek szüksége van a fájl többi részének értelmezéséhez, például hogy kinek szól a weboldal, vagy hogyan kell értelmezni a linkelt oldalakat.

H2 szakaszok témák szerint csoportosítják a linkeket, például Dokumentáció, Termékek vagy Útmutatók. Minden szakasz a fontos oldalaidra mutató linkek Markdown-listája. Válaszd ki azokat az oldalakat, amelyeket először szeretnéd, hogy a modell elolvasson.

Link-elemek a [Oldal neve](URL) formátumot használják, amelyet opcionálisan kettőspont és az oldal rövid leírása követhet. Mindegyik oldalhoz a kanonikus URL-t add meg, abban a változatban, amelyet előnyben részesítesz (www-vel vagy anélkül).

Az Opcionális szakasz egy speciális H2 cím, „Opcionális” felirattal. Az alatta lévő linkek kihagyhatók, ha rövidebb kontextusra van szükség, ezért ide tartoznak a másodlagos oldalak.

Ami nincs a fájlban: az llms.txt nem tartalmaz Allow, Disallow, Crawl-Delay vagy dátummezőket. Nem szabályozza a hozzáférést vagy a feltérképezést, ezek a szabályok a robots.txt-ben maradnak.

Tovább: az oldalaid Markdown-változatai

Az alapfájlon túl a javaslat azt is ajánlja, hogy minden oldalhoz legyen egy tiszta, a nyelvi modellek számára hasznos Markdown-változat, amely ugyanazon az URL-en érhető el, a végén .md-vel (például www.example.com/docs/getting-started.md). Az llms.txt linkjei ezután közvetlenül ezekre a változatokra mutathatnak:

- [Első lépések](https://www.example.com/docs/getting-started.md): Az első számlázási csomag beállítása

Néhány weboldal közzétesz egy llms-full.txt fájlt is, amely a fontos oldalai teljes szövegét egyetlen fájlba gyűjti, azoknak az eszközöknek, amelyek mindent egyetlen kéréssel szeretnének megkapni. Ez néhány dokumentációs oldal által használt konvenció, nem a javaslat kötelező része. Mindkét esetben a cél ugyanaz: kevesebb zaj, amelyet a modellnek fel kell dolgoznia.

llms.txt vs. robots.txt: a főbb különbségek

A robots.txt elsősorban korlátozó. Megmondod a feltérképező robotoknak, hol NEM léphetnek be. Az llms.txt elsősorban tájékoztató. Megmondod a nyelvi modelleknek, miről szól a weboldalad és mely oldalak fontosak. A robots.txt User-agent mezővel célozza meg a konkrét robotokat, és a főbb robotok követik; az llms.txt-nek nincs ilyen mezője, és a nagy AI-szolgáltatók nem erősítették meg, hogy olvassák.

A robots.txt közvetlenül befolyásolja a keresési láthatóságot. Ha letiltod a robotok elől egy oldalt, az általában nem kerül feltérképezésre. Az llms.txt nincs hatással a hagyományos rangsorolásra, és az AI-láthatóságra gyakorolt hatása nem bizonyított. Ha használod, tartsd meg mindkét fájlt a weboldaladon, mindkettő a saját szerepével.

A gyakorlatban a robots.txt-t arra használd, hogy eldöntsd, mely robotok, köztük az AI-robotok, mint a GPTBot vagy a ClaudeBot, mely részeihez férhetnek hozzá a weboldalnak. Az llms.txt-t csak arra használd, hogy a modelleket a legjobb tartalmaid felé irányítsd; semmit nem tud korlátozni. Például:

robots.txt: letiltja a /checkout és /admin oldalakat a kiválasztott robotok elől (például a GPTBot elől)
llms.txt: csak azokra a dokumentációs, útmutató és termékoldalakra mutat, amelyeket szeretnéd, hogy a modellek elolvassanak

Megvalósítási legjobb gyakorlatok

Hozd létre az llms.txt fájlt, és helyezd el a www.example.com/llms.txt címen. Használj sima UTF-8 szöveget Markdown formázással. Győződj meg róla, hogy a webkiszolgáló text/plain vagy text/markdown Content-Type fejléccel szolgálja ki. Teszteld úgy, hogy közvetlenül megnyitod az URL-t a böngészőben; a nyers szöveget kell látnod. Ellenőrizd, hogy a szerkezet követi-e az llms.txt specifikációt: H1 cím, idézetblokkos összefoglaló és linkeket tartalmazó H2 szakaszok.

Írj világos, konkrét leírásokat. Ne másold le egyszerűen a főoldal szlogenjét. Légy őszinte arról, mit fed le a weboldalad. Ha 15 különböző témában publikálsz tartalmat, sorold fel őket. Ha szűken fókuszálsz, mondd ki. Az őszinte, konkrét leírások hasznosabbak a modell számára, mint a homályosak. Szerepeltesd a kulcsszavakat, amelyek leírják a szakágadat vagy iparágadat. Ha webáruház vagy, említsd az „e-kereskedelem, termékek, árazás” szavakat. Ha SaaS-cég vagy, a „szoftver, számlázás, integrációk” szavakat.

Frissítsd a fájlt minden alkalommal, amikor módosítod a fontos oldalaidat. A formátumban nincs dátummező, ezért a fájl naprakészen tartása rád van bízva. Ha a weboldalad tematikus fókusza jelentősen változik, frissítsd az összefoglalót és a szakaszokat. Állíts be negyedéves emlékeztetőt az llms.txt átnézésére és frissítésére, különösen akkor, ha új tartalomkategóriákat hozol létre, vagy finomítod a pozicionálásodat.

Figyeld az llms.txt elterjedtségét. Néhány dokumentációs platform és fejlesztői eszköz már közzétesz llms.txt fájlt, de az OpenAI, az Anthropic és a Google DeepMind nem vállalta, hogy olvassák, amikor feltérképezik a webet. Egy llms.txt hozzáadása alacsony költségű kísérlet, nem garancia semmire.

Az llms.txt és az adatvédelmi aggályok

Egyesek azon gondolkodnak, hogy az llms.txt szabályozhatja-e, hogyan használják fel a tartalmaidat az AI-cégek. Nem tudja. Az AI-cégek és az adatvédelmi szakértők vitatják a webes feltérképezés és a modelltanítás etikáját. A keresési és feltérképezési szabványok két évtized alatt fejlődtek ki, hogy egyensúlyt teremtsenek a hozzáférés és a tartalomkészítők tiszteletben tartása között. Az llms.txt része ennek a beszélgetésnek, de azért készült, hogy segítsen a modelleknek megtalálni a tartalmadat, nem azért, hogy korlátozza a felhasználásukat.

Ha meg szeretnéd akadályozni, hogy a tartalmadat AI-tanításra használják, az llms.txt nem a megfelelő eszköz: nincs rá direktívája. Helyette a releváns AI-felhasználói ügynökökre vonatkozó robots.txt szabályokat használd, például:

User-agent: GPTBot
Disallow: /

A robots.txt betartása is önkéntes, de a megbízható AI-szolgáltatók közzéteszik a robotjaik nevét, és azt mondják, hogy tiszteletben tartják. Ha erősebb védelemre van szükséged, tiltsd le a robotokat a szervered vagy a tűzfalad beállításában. Egyelőre egyik fájl sem jogi eszköz. Ahogy a szabályozás fejlődik és az iparági szabványok megszilárdulnak, erősebb mechanizmusok jelenhetnek meg.

Az llms.txt hatásának mérése

Nehéz mérni az llms.txt megtérülését, mert egyetlen AI-szolgáltató sem mondta, hogy használja a fájlt. Viszont nyomon követhetsz mutatókat. Figyeld az AI-említéseidet és -hivatkozásaidat a ChatGPT-ben, a Geminiben, a Claude-ban és a Perplexity-ben, mielőtt és miután hozzáadod a fájlt. Ha hivatkozásnövekedést látsz, az egy összefüggés, nem bizonyíték arra, hogy a fájl okozta, mert a hivatkozásokra sok más tényező is hat. Hasonlítsd a hivatkozásaid növekedését azokhoz a versenytársakhoz, amelyek nem vezették be az llms.txt-t.

Használj AI-említéskövető eszközöket, hogy számszerűsítsd az AI-keresési láthatóságodat. Kövesd nyomon, hányszor idézik a tartalmadat a főbb AI-asszisztensek. Így te magad ítélheted meg, hogy az llms.txt hozzáadása változtat-e valamit a weboldaladon.

Az llms.txt jövője

A robots.txt csak 2022-ben vált hivatalos internetes szabvánnyá (RFC 9309), évtizedes használat után. Az llms.txt még javaslati szakaszban van, és lehet, hogy ugyanezt az utat járja be, vagy nem. Ma nem büntetik azokat a weboldalakat, amelyeknek nincs ilyen fájljuk, és egyetlen nagy AI-keresési platform sem mondta, hogy ellenőrizné a fájl meglétét.

Mivel a fájl elkészítése percekbe telik, és nem kerül semmibe, az llms.txt hozzáadása ésszerű, alacsony kockázatú kísérlet, különösen a dokumentációval erősen rendelkező weboldalaknál. Csak legyenek reálisak az elvárásaid: ez egy javaslat, a hasznossága nem bizonyított, és az idődet általában jobban megéri a tartalom minősége, a szerkezet és azok a jelek, amelyekre az AI-rendszerek ténylegesen támaszkodnak.

Hogyan adj hozzá llms.txt fájlt WordPressben, Shopifyban, Webflow-ban és más CMS-ekben

Az llms.txt fájlnak a domained gyökerében kell elérhetőnek lennie, a yourdomain.com/llms.txt címen, sima szövegként. Az, hogyan juttatod oda, attól függ, mennyi kontrollt ad a CMS-ed a gyökérszintű fájlok felett:

• Saját szerveren futó oldalak és WordPress: töltsd fel a fájlt a gyökérmappába a tárhelyszolgáltatód fájlkezelőjén vagy FTP-n keresztül. Néhány WordPress SEO-bővítmény is tudja generálni és kiszolgálni a fájlt.
• Gyökérfeltöltést blokkoló hosztolt platformok (sok weboldal-építő és webáruház-platform): használd a platform saját llms.txt beállítását vagy alkalmazását, ha van ilyen; ellenkező esetben másik helyen tárold a fájlt, és állíts be átirányítást a /llms.txt címről, majd ellenőrizd, hogy a végső URL még mindig sima szöveget ad-e vissza.
• Statikus és headless oldalak: helyezd az llms.txt fájlt a public mappába, hogy minden telepítéssel együtt kerüljön ki, és amikor a fontos oldalak változnak, generáld újra.

Készítsd el a tartalmat az ingyenes llms.txt generátorral, majd az llms.txt validátorral ellenőrizd az URL-t, a tartalomtípust és a Markdown-szerkezetet. A lépésről lépésre telepítési útmutatónk minden esetet részletesen bemutat.

Következtetés

Az llms.txt egy javasolt, alacsony költségű útmutatófájl azoknak a weboldalaknak, amelyek segíteni szeretnék a nyelvi modelleket abban, hogy megtalálják a legjobb tartalmaikat. Ha ezt az egyszerű Markdown-fájlt a domain gyökerébe helyezed, leírod, miről szól a weboldalad, és rámutatsz a fontos oldalaidra. A formátum egyszerű, a megvalósítás percek alatt elvégezhető, de egyetlen AI-szolgáltató sem vállalta, hogy használja, ezért inkább kísérletként kezeld, nem követelményként. Ha komolyan gondolod, hogy a ChatGPT, a Claude, a Gemini és a Perplexity hivatkozni fog rád, elsősorban a világos, jól felépített tartalomra és az erős jelekre összességében a weben koncentrálj. A Sorank kulcsszókutató és felfedező eszközeivel azonosíthatod, mely témákat emeld ki az llms.txt fájlodban.