Audit crawlabilità IA del sito web - Strumento SEO gratuito

Produrre contenuti di alta qualità e ben strutturati è utile per il GEO solo se i crawler IA riescono effettivamente ad accedere e renderizzare quei contenuti. Una singola direttiva robots.txt mal posizionata, uno stack di rendering pesante in JavaScript o un file llms.txt assente possono escludere silenziosamente l'intero tuo sito dalle pipeline di addestramento e recupero di tutti i principali motori IA. Lo strumento indicato sopra audita un dominio che fornisci e verifica se i principali crawler IA riescono ad accedere alle tue pagine.

Cosa verifica l'audit

Direttive robots.txt
Meta robots e header X-Robots-Tag
Dipendenza dal rendering JavaScript
Sitemap e llms.txt

Come interpretare e agire sui risultati

Crawler IA bloccati in robots.txt: rimuovi o restringi la direttiva.
Noindex su pagine chiave: esamina ogni pagina segnalata.
Contenuto solo in JavaScript: implementa SSR o SSG.
Sitemap assente o obsoleta: genera una nuova sitemap.xml.
Nessun file llms.txt: crea un file llms.txt nella root.

Per il monitoraggio continuo della tua crawlabilità IA, Sorank tiene traccia della tua visibilità GEO e ti avvisa quando l'accesso cambia.

Frequently asked questions

Quali user-agent di crawler IA devo consentire in robots.txt?

I principali user-agent di crawler IA da conoscere sono: GPTBot (addestramento OpenAI), OAI-SearchBot (recupero SearchGPT), PerplexityBot (Perplexity), Google-Extended (addestramento IA Google e Gemini), ClaudeBot (Anthropic) e Meta-ExternalAgent (Meta AI). Se non hai uno specifico motivo di licenza per bloccarli, consentirli tutti massimizza la tua potenziale visibilità IA.

Cos'è llms.txt ed è obbligatorio?

llms.txt è una convenzione emergente, simile a robots.txt, che fornisce un riepilogo in testo semplice del contenuto e della struttura di un sito specificamente per i LLM. Non è uno standard obbligatorio, ma è un segnale a basso costo che aiuta i sistemi IA a comprendere lo scopo del tuo sito.

Bloccare Googlebot blocca anche i crawler IA di Google?

No. Google-Extended, utilizzato per l'addestramento IA e Gemini, è un user-agent separato da Googlebot. Puoi bloccare Google-Extended senza influire sulla tua indicizzazione standard di Google Search, e viceversa.