Robots.txt per i crawler IA: cosa consentire e cosa bloccare

Il tuo robots.txt per i crawler IA è diventato una decisione di business, non solo un file tecnico. Lo stesso file che parlava solo con Googlebot decide oggi se ChatGPT, Claude, Perplexity e Gemini possono leggere, citare e linkare le tue pagine. Il formato non è cambiato: è sempre il Robots Exclusion Protocol standardizzato come RFC 9309, con righe User-agent, Allow e Disallow. È cambiato il numero di agenti e il fatto che uno stesso fornitore gestisca più bot con scopi diversi.

Quali crawler IA esistono e cosa fanno?

La maggior parte dei fornitori di IA separa ormai addestramento, indicizzazione per la ricerca e consultazione su richiesta in user agent distinti. La tabella riassume i principali secondo la documentazione di ciascun fornitore.

Fonti: documentazione dei crawler di OpenAI e elenco dei crawler comuni di Google. I nomi cambiano di tanto in tanto: controlla la pagina di ogni fornitore prima di modificare il file. Le voci del nostro glossario sui crawler IA e sui crawler di OpenAI offrono le definizioni brevi.

Conviene bloccare i crawler IA?

Per la maggior parte delle aziende che cercano clienti, no: blocca l'addestramento se necessario e lascia aperti i crawler di ricerca. La scelta dipende da cosa vendi:

• Brand, SaaS, e-commerce, attività locali: le risposte delle IA sono un canale di acquisizione. Bloccare i crawler di ricerca ti esclude. Consentire l'addestramento aiuta anche i modelli futuri a conoscere il tuo brand.
• Editori che vivono di pagine viste o abbonamenti: bloccare l'addestramento protegge il valore dei contenuti; i crawler di ricerca aperti portano comunque citazioni e link.
• Siti con contenuti privati o in licenza: blocca in modo ampio e applica il blocco lato server, perché il robots.txt è una richiesta, non un controllo di accesso.

Com'è un robots.txt consigliato?

Gruppi espliciti per user agent, bot di ricerca consentiti e una scelta chiara per quelli di addestramento. Esempio per un'azienda che vuole visibilità nelle IA senza alimentare l'addestramento:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

Elimina il secondo gruppo se ti sta bene che i contenuti vengano usati per l'addestramento. Il nostro generatore di robots.txt gratuito crea il file e il verificatore di robots.txt mostra quali agenti un file online consente davvero.

Quali errori bloccano la visibilità nelle IA per sbaglio?

Il più comune è una regola generica copiata da un forum. Errori frequenti:

• «User-agent: * / Disallow: /» rimasto dall'ambiente di staging, che blocca tutti i bot, Googlebot compreso.
• Bloccare OAI-SearchBot volendo bloccare GPTBot, uscendo così da ChatGPT search invece che dal solo addestramento.
• Una regola antibot del CDN o del firewall che restituisce 403 agli user agent IA a prescindere dal robots.txt. Controlla i log del server.
• Bloccare CSS e JavaScript necessari al rendering, così i crawler vedono un guscio vuoto.
• Contenuti importanti caricati solo lato browser; molti crawler IA non eseguono JavaScript, quindi inserisci il testo principale nell'HTML.

Il robots.txt basta per essere citati?

No, apre soltanto la porta. Una volta che i crawler possono leggere le pagine, la citazione dipende dalla chiarezza delle risposte, dalla struttura estraibile e dalle conferme di altre fonti. Dati strutturati pensati per la ricerca con IA, sezioni che rispondono subito e un file llms.txt facoltativo aiutano nel passo successivo.

Conclusione

Tratta ogni crawler IA come una decisione separata: apri i bot di ricerca e consultazione, scegli consapevolmente per l'addestramento e verifica che il server applichi la stessa politica. Poi misura se la porta aperta si traduce in citazioni. Sorank monitora il tuo brand in ChatGPT, Claude e Gemini ogni settimana e pubblica contenuti strutturati per essere citati: inizia con 3 giorni gratuiti.