Verificatore robots.txt - Strumento SEO gratuito

Il Verificatore robots.txt recupera e analizza il file robots.txt di qualsiasi dominio, verifica la sua sintassi e mostra esattamente quali user-agent sono consentiti o bloccati. Inserisci il tuo dominio nello strumento qui sopra per ottenere un rapporto immediato.

Perché un robots.txt mal configurato è un rischio GEO

La maggior parte dei problemi di robots.txt non vengono rilevati perché il sito funziona normalmente per gli utenti umani. Un browser ignora completamente robots.txt. Ma i crawler IA lo rispettano scrupolosamente -- il che significa che una singola direttiva errata può rendere il tuo intero sito invisibile a GPTBot, PerplexityBot o Google-Extended senza alcun segnale visibile di avviso.

Cosa verifica lo strumento

Accessibilità del file
Validità della sintassi
Regole per i crawler IA
Conflitti di regole
Presenza della sitemap

Come interpretare e correggere i risultati

Se un crawler IA è bloccato: individua e rimuovi la regola.
Se il file non è accessibile: controlla le autorizzazioni del server.
Se manca la sitemap: aggiungila con la direttiva Sitemap:.

Frequently asked questions

Qual è la differenza tra robots.txt e i tag meta robots?

robots.txt controlla l'accesso al crawl a livello di URL -- dice ai bot se possono o meno recuperare una pagina. I tag meta robots controllano l'indicizzazione a livello di pagina -- dicono ai motori di ricerca se indicizzare o seguire i link su una pagina già crawlata. Entrambi sono necessari per un controllo completo.

Il mio robots.txt blocca i crawler IA senza che io me ne accorga?

Sì, e è uno degli errori GEO più frequenti. Le regole con caratteri jolly come Disallow: / sotto User-agent: * bloccano tutti i crawler, inclusi GPTBot e PerplexityBot. I template CMS spesso includono queste regole nell'ambiente di staging e le lasciano in produzione.

Con quale frequenza dovrei verificare il mio robots.txt?

Dopo ogni aggiornamento di tema o plugin importante, ogni migrazione del sito e trimestralmente come parte di una routine di audit SEO. I bot IA aggiornano periodicamente i loro user agent -- una verifica regolare assicura che le nuove regole non blocchino inavvertitamente crawler legittimi.