Verificatore robots.txt - Strumento SEO gratuito

Il Robots.txt Checker recupera e analizza il file robots.txt di qualsiasi dominio, ne convalida la sintassi ed evidenzia le direttive che influiscono sui crawler IA come GPTBot, PerplexityBot e Google-Extended. Inserite il vostro dominio nello strumento qui sopra per ottenere un'analisi immediata.

Le basi del robots.txt e perché i crawler IA cambiano lo scenario

Il robots.txt è un file di testo semplice posizionato nella radice del vostro dominio che indica ai crawler quali percorsi possono o non possono visitare. Per anni i webmaster hanno scritto regole principalmente per Googlebot e Bingbot. L'ascesa dei motori di ricerca basati sull'IA ha introdotto una nuova categoria di bot, ciascuno con il proprio user-agent, che deve essere autorizzato o bloccato in modo esplicito.

Tra gli user-agent dei crawler IA più comuni figurano: GPTBot (OpenAI/ChatGPT), PerplexityBot (Perplexity), Google-Extended (addestramento IA di Google e funzionalità di Gemini), ClaudeBot (Anthropic) e OAI-SearchBot (ricerca web di OpenAI). Se il vostro robots.txt utilizza un Disallow: / generico per User-agent: *, blocca tutti questi bot a meno che non vengano nuovamente autorizzati singolarmente.

Cosa controlla lo strumento qui sopra

Validità della sintassi: rileva direttive malformate, righe vuote mancanti tra i blocchi degli agent e campi non supportati.
Accesso dei bot IA: per ciascun crawler IA principale, lo strumento segnala se è autorizzato, parzialmente autorizzato o completamente bloccato.
Direttive Crawl-delay: ritardi eccessivi rallentano l'indicizzazione IA; lo strumento segnala i valori superiori alle soglie consigliate.
Dichiarazioni Sitemap: verifica che sia presente una riga Sitemap che rimanda a una sitemap XML valida.
Pattern con wildcard: convalida l'uso delle wildcard * e $ che alcuni parser interpretano in modo diverso.
Regole in conflitto: quando una regola più specifica contraddice una più generica, lo strumento spiega quale direttiva ha la precedenza.

Come interpretare i risultati e agire

Se GPTBot o PerplexityBot è bloccato: valutate se si tratta di una scelta intenzionale. Se desiderate visibilità nella ricerca IA, aggiungete un Allow: / esplicito sotto il loro blocco user-agent oppure rimuovete il divieto generico.
Se Google-Extended è bloccato: le vostre pagine potrebbero essere escluse dalla conoscenza di Gemini e dalle funzionalità che attingono al corpus di addestramento IA di Google. Valutate con attenzione il compromesso.
Non rimuovete tutte le restrizioni alla cieca. Bloccare scraper e ladri di contenuti è legittimo. Mirate le vostre restrizioni: bloccate bot o percorsi specifici, non tutti i crawler.
Dopo ogni modifica, eseguite di nuovo lo strumento qui sopra per verificare che la modifica sia applicata correttamente prima della messa online.
Combinate il robots.txt con un llms.txt ben formato per offrire ai crawler IA sia il permesso sia una mappa di navigazione.

Benchmark: un solo bot bloccato, invisibile a un'intera piattaforma

Le AI Overview compaiono ormai in circa il 31% delle query su Google. Una singola riga Disallow errata che prende di mira Google-Extended può rimuovere completamente le vostre pagine dal bacino di risposte di Gemini. Allo stesso modo, bloccare GPTBot significa che la funzione di navigazione web di ChatGPT non può leggere i vostri contenuti al momento della scansione. Il costo è asimmetrico: correggere una regola del robots.txt richiede minuti; recuperare la visibilità IA persa richiede settimane.

Per un monitoraggio continuo della presenza del vostro marchio nelle risposte IA su tutti i principali motori, Sorank traccia citazioni e visibilità in modo automatico.

Frequently asked questions

Qual è la differenza tra robots.txt e i tag meta robots?

robots.txt controlla l'accesso al crawl a livello di URL -- dice ai bot se possono o meno recuperare una pagina. I tag meta robots controllano l'indicizzazione a livello di pagina -- dicono ai motori di ricerca se indicizzare o seguire i link su una pagina già crawlata. Entrambi sono necessari per un controllo completo.

Il mio robots.txt blocca i crawler IA senza che io me ne accorga?

Sì, e è uno degli errori GEO più frequenti. Le regole con caratteri jolly come Disallow: / sotto User-agent: * bloccano tutti i crawler, inclusi GPTBot e PerplexityBot. I template CMS spesso includono queste regole nell'ambiente di staging e le lasciano in produzione.

Con quale frequenza dovrei verificare il mio robots.txt?

Dopo ogni aggiornamento di tema o plugin importante, ogni migrazione del sito e trimestralmente come parte di una routine di audit SEO. I bot IA aggiornano periodicamente i loro user agent -- una verifica regolare assicura che le nuove regole non blocchino inavvertitamente crawler legittimi.