llms.txt: un file guida proposto per siti a misura di IA

Per 20 anni robots.txt è stato il modo per comunicare con i crawler dei motori di ricerca. Lo collocavi nella root del tuo sito per dire a Google e Bing quali pagine scansionare e quali saltare. Oggi anche gli assistenti IA di OpenAI, Anthropic, Google e altri leggono il web, con esigenze diverse. llms.txt è una proposta per comunicare con loro.

La proposta llms.txt, pubblicata nel 2024 da Jeremy Howard, cofondatore di Answer.AI, è pensata per aiutare i modelli linguistici a capire di cosa tratta il tuo sito e a trovare le sue pagine più utili. Invece di costringere un sistema di IA a indovinare se il tuo sito è un e-commerce, una testata giornalistica o un sito di documentazione tecnica, llms.txt glielo dice in modo esplicito. In linea di principio, questa chiarezza potrebbe aiutare le IA a recuperare e citare i tuoi contenuti con più precisione. Resta una proposta, non uno standard adottato, e nessun fornitore di IA si è impegnato a usarla.

Il problema che llms.txt risolve

I sistemi di IA hanno un problema pratico. Un modello linguistico può leggere solo una quantità limitata di testo alla volta, e trasformare un intero sito, con menu, script e pubblicità, in testo pulito e utilizzabile è difficile. Quando ChatGPT o Gemini deve rispondere a una domanda sul tuo sito o sul tuo prodotto, non sa cosa privilegiare. Deve leggere le pagine prodotto o gli articoli del blog? Quale pagina della documentazione è quella di riferimento? Quali pagine sono senza tempo e quali sono obsolete? Senza una guida, un sistema di IA può sprecare il suo contesto limitato su pagine di poco valore o perdere contenuti importanti.

robots.txt ha risolto un problema diverso per i motori di ricerca. Permetteva di bloccare URL, di indicare ai crawler dove si trova la sitemap e di proteggere il crawl budget. Ma robots.txt controlla solo l'accesso; non spiega i tuoi contenuti. I sistemi di IA hanno esigenze diverse. Si preoccupano meno della posizione nei risultati e più di capire su cosa hai autorevolezza.

llms.txt punta a colmare questo vuoto. Offre ai modelli linguistici un breve riassunto del tuo sito e un elenco curato delle tue pagine chiave. Invece di far dedurre a un sistema di IA che il tuo sito parla di "soluzioni di fatturazione SaaS", puoi dirglielo direttamente. L'obiettivo è rendere i tuoi contenuti migliori più facili da trovare e da usare. Finora non ci sono prove che migliori l'indicizzazione o la probabilità di essere citati nelle risposte delle IA.

Struttura e sintassi principali di llms.txt

Il formato llms.txt è Markdown semplice, leggibile sia dalle persone sia dai modelli linguistici. Il file si trova nella root del tuo dominio (www.example.com/llms.txt) e segue un ordine fisso: un titolo, un breve riassunto, dettagli facoltativi e sezioni di link alle tue pagine chiave. Ecco un esempio base:

# Example SaaS Company

> Billing automation software for B2B SaaS companies, covering pricing strategies, metering, payment processing, and compliance.

Example SaaS Company helps finance teams automate invoicing. The links below point to our most useful pages.

## Docs

- [Getting started](https://www.example.com/docs/getting-started): Set up your first billing plan
- [API reference](https://www.example.com/docs/api): Endpoints and authentication

## Guides

- [SaaS pricing strategies](https://www.example.com/blog/saas-pricing): How to choose and test a pricing model

## Optional

- [About us](https://www.example.com/about)

La sintassi è volutamente semplice, in modo che sia le persone sia i modelli linguistici possano leggerla. Indichi chi sei, riassumi di cosa si occupa il tuo sito e punti alle pagine più importanti. A differenza di robots.txt, llms.txt non contiene direttive di consenso o blocco: è una guida, non una regola di accesso, e nessun grande fornitore di IA si è impegnato a seguirla.

Gli elementi di un file llms.txt

Il titolo H1 (l'unico elemento obbligatorio) è il nome del tuo sito o progetto. Mantienilo conciso e descrittivo. "Example SaaS Company" è meglio di "Benvenuto nel nostro sito."

Il riassunto in blockquote è il tuo elevator pitch su ciò che il sito tratta. Sii specifico sulla tua competenza tematica. Invece di "Scriviamo di tecnologia", scrivi "Pubblichiamo guide tecniche per sviluppatori Python, incentrate su programmazione asincrona, test e deployment in produzione." Questa specificità aiuta le IA a capire la tua autorevolezza.

I dettagli facoltativi sono paragrafi o elenchi, senza intestazioni, che aggiungono il contesto di cui un modello ha bisogno per leggere il resto del file, per esempio a chi è rivolto il sito o come interpretare le pagine collegate.

Le sezioni H2 raggruppano i link per tema, come Docs, Prodotti o Guide. Ogni sezione è un elenco Markdown di link alle tue pagine chiave. Scegli le pagine che vorresti far leggere per prime a un modello.

Gli elementi di link usano il formato [Nome della pagina](URL), eventualmente seguito da due punti e da una breve descrizione della pagina. Usa l'URL canonico di ogni pagina, nella versione che preferisci (con o senza www).

La sezione Optional è un H2 speciale intitolato "Optional". I link al suo interno possono essere ignorati quando serve un contesto più breve, quindi qui vanno le pagine secondarie.

Cosa non c'è nel file: llms.txt non ha campi Allow, Disallow o Crawl-Delay, né campi data. Non controlla l'accesso né la scansione; queste regole restano in robots.txt.

Fare un passo in più: versioni Markdown delle tue pagine

Oltre al file base, la proposta suggerisce anche di offrire una versione Markdown pulita di ogni pagina utile ai modelli linguistici, disponibile allo stesso URL con .md aggiunto (per esempio www.example.com/docs/getting-started.md). I link nel tuo llms.txt possono quindi puntare direttamente a queste versioni:

- [Getting started](https://www.example.com/docs/getting-started.md): Set up your first billing plan

Alcuni siti pubblicano anche un file llms-full.txt che raccoglie il testo completo delle pagine chiave in un unico file, per gli strumenti che vogliono tutto in una sola richiesta. È una convenzione usata da alcuni siti di documentazione, non una parte obbligatoria della proposta. In entrambi i casi l'obiettivo è lo stesso: meno rumore da leggere per un modello.

llms.txt vs. robots.txt: differenze chiave

robots.txt è soprattutto restrittivo: dici ai crawler dove NON possono andare. llms.txt è soprattutto informativo: dici ai modelli linguistici di cosa tratta il tuo sito e quali pagine contano. robots.txt usa un campo User-agent per indirizzarsi a crawler specifici, e i principali crawler lo rispettano; llms.txt non ha un campo del genere, e i grandi fornitori di IA non hanno confermato di leggerlo.

robots.txt incide direttamente sulla visibilità nella ricerca. Se vieti ai crawler l'accesso a una pagina, in genere non verrà scansionata. llms.txt non ha alcun effetto sul posizionamento tradizionale, e il suo effetto sulla visibilità nelle IA non è dimostrato. Se lo usi, tieni entrambi i file sul tuo sito, ciascuno con il suo ruolo.

In pratica, usa robots.txt per decidere quali crawler, compresi quelli delle IA come GPTBot o ClaudeBot, possono accedere a quali parti del tuo sito. Usa llms.txt solo per indirizzare i modelli verso i tuoi contenuti migliori; non può limitare nulla. Per esempio:

robots.txt: blocca /checkout e /admin per i crawler che scegli (per esempio GPTBot)
llms.txt: linka solo le pagine di documentazione, le guide e le pagine prodotto che vuoi far leggere ai modelli

Best practice di implementazione

Crea il tuo file llms.txt e collocalo su www.example.com/llms.txt. Usa testo semplice UTF-8 con formattazione Markdown. Assicurati che il tuo web server lo serva con un header Content-Type text/plain o text/markdown. Provalo visitando direttamente l'URL nel browser: dovresti vedere il testo grezzo. Verifica che la struttura rispetti la specifica di llms.txt: un titolo H1, un riassunto in blockquote e sezioni H2 di link.

Scrivi descrizioni chiare e specifiche. Non copiare semplicemente lo slogan della tua homepage. Sii onesto su ciò che il tuo sito tratta. Se pubblichi contenuti su 15 argomenti diversi, elencali. Se sei molto focalizzato, dillo. Per un modello, una descrizione onesta e specifica è più utile di una vaga. Includi parole chiave che descrivano il tuo settore. Se sei un sito e-commerce, cita "e-commerce, prodotti, prezzi". Se sei un'azienda SaaS, cita "software, fatturazione, integrazioni."

Aggiorna il file ogni volta che cambiano le tue pagine chiave. Il formato non ha un campo data, quindi tenerlo aggiornato dipende da te. Se il focus tematico del tuo sito cambia in modo significativo, aggiorna il riassunto e le sezioni. Imposta un promemoria trimestrale per rivedere e aggiornare il tuo llms.txt, soprattutto se crei nuove categorie di contenuti o affini il tuo posizionamento.

Monitora l'adozione di llms.txt. Alcune piattaforme di documentazione e strumenti per sviluppatori pubblicano già file llms.txt, ma OpenAI, Anthropic e Google DeepMind non si sono impegnati a leggerlo quando scansionano il web. Aggiungerne uno è un esperimento a basso costo, non una garanzia.

llms.txt e preoccupazioni sulla privacy

Alcune persone si chiedono se llms.txt possa controllare come le aziende di IA usano i loro contenuti. Non può. Le aziende di IA e i sostenitori della privacy dibattono sull'etica della scansione del web e dell'addestramento dei modelli. Gli standard di ricerca e scansione si evolvono da due decenni per bilanciare l'accesso e il rispetto per i creatori di contenuti. llms.txt fa parte di questa discussione, ma è stato pensato per aiutare i modelli a trovare i tuoi contenuti, non per limitare il modo in cui li usano.

Se vuoi impedire che i tuoi contenuti vengano usati per l'addestramento delle IA, llms.txt è lo strumento sbagliato: non ha alcuna direttiva per questo. Usa invece regole robots.txt per gli user agent di IA interessati, per esempio:

User-agent: GPTBot
Disallow: /

Anche il rispetto di robots.txt è volontario, ma i fornitori di IA seri pubblicano i nomi dei propri crawler e dichiarano di rispettarlo. Se vuoi una protezione più forte, blocca i bot nella configurazione del tuo server o del firewall. Per ora nessuno dei due file è uno strumento legale. Con lo sviluppo della regolamentazione e il consolidarsi degli standard di settore, potrebbero emergere meccanismi più robusti.

Misurazione dell'impatto di llms.txt

È difficile misurare il ROI di llms.txt, perché nessun fornitore di IA ha dichiarato di usare il file. Ma puoi monitorare degli indicatori. Tieni d'occhio le tue menzioni e citazioni su ChatGPT, Gemini, Claude e Perplexity prima e dopo aver aggiunto il file. Se vedi crescere le citazioni, è una correlazione, non la prova che il file ne sia la causa, perché molti altri fattori influenzano le citazioni. Confronta la crescita delle tue citazioni con quella dei concorrenti che non hanno ancora implementato llms.txt.

Usa strumenti di monitoraggio delle menzioni nelle IA per quantificare la tua visibilità nelle IA. Monitora quante volte i tuoi contenuti vengono citati dai principali assistenti IA. Così puoi valutare da solo se aggiungere llms.txt cambia qualcosa per il tuo sito.

Il futuro di llms.txt

robots.txt è stato formalizzato come standard di internet (RFC 9309) solo nel 2022, dopo decenni di utilizzo. llms.txt è ancora allo stadio di proposta e potrebbe seguire o meno lo stesso percorso. I siti che non lo hanno oggi non vengono penalizzati, e nessuna grande piattaforma di ricerca IA ha detto di controllare il file.

Dato che creare il file richiede pochi minuti e non costa nulla, aggiungere un llms.txt è un esperimento ragionevole e a basso rischio, soprattutto per i siti ricchi di documentazione. Mantieni però aspettative realistiche: è una proposta, i suoi benefici non sono dimostrati, e il tuo tempo di solito rende di più se dedicato alla qualità dei contenuti, alla struttura e ai segnali su cui le IA si basano davvero.

Come aggiungere un file llms.txt su WordPress, Shopify, Webflow e altri CMS

Il file llms.txt deve rispondere alla radice del dominio, all'indirizzo tuodominio.com/llms.txt, come testo semplice. Il metodo dipende dal controllo che il CMS ti lascia sui file della radice:

• Siti in hosting proprio e WordPress: caricate il file nella cartella principale con il file manager dell'hosting o via FTP. Alcuni plugin SEO per WordPress possono anche generarlo e servirlo.
• Piattaforme in hosting che bloccano la radice (molti site builder e piattaforme e-commerce): usa l'impostazione o l'app llms.txt della piattaforma se esiste; altrimenti ospita il file altrove e aggiungi un reindirizzamento da /llms.txt, poi verifica che l'URL finale restituisca ancora testo semplice.
• Siti statici e headless: metti llms.txt nella cartella pubblica perché venga pubblicato a ogni deploy, e rigeneralo quando cambiano le pagine chiave.

Scrivi il contenuto con il generatore di llms.txt gratuito, poi controlla URL, tipo di contenuto e struttura Markdown con il validatore di llms.txt. La nostra guida all'installazione passo passo descrive ogni caso.

Conclusione

llms.txt è un file guida proposto e a basso costo per i siti che vogliono aiutare i modelli linguistici a trovare i loro contenuti migliori. Collocando questo semplice file Markdown nella root del tuo dominio, descrivi di cosa si occupa il tuo sito e linki le tue pagine chiave. Il formato è semplice e l'implementazione richiede pochi minuti, ma nessun fornitore di IA si è impegnato a usarlo, quindi consideralo un esperimento, non un requisito. Se ci tieni a essere citato da ChatGPT, Claude, Gemini e Perplexity, concentrati prima su contenuti chiari e ben strutturati e su segnali forti in tutto il web. Usa gli strumenti di ricerca e scoperta di parole chiave di Sorank per individuare quali argomenti mettere in evidenza nel tuo file llms.txt.