Bloccata da robots.txt: cosa significa questo stato di Search Console e come risolverlo

Lo stato bloccata da robots.txt compare nel report sull'indicizzazione delle pagine di Google Search Console, tra i motivi per cui le pagine non vengono indicizzate. La documentazione del report sull'indicizzazione delle pagine lo riassume in una riga: la pagina è stata bloccata dal file robots.txt del sito. Dietro quella riga ci sono due situazioni molto diverse, un blocco sano e uno accidentale, più un parente che confonde: «Indicizzata, ma bloccata da robots.txt». Questa guida spiega come distinguerle e risolvere ciascuna senza rompere altro. Se il file è una novità per te, parti dalla nostra definizione di robots.txt.

Cosa significa «Bloccata da robots.txt» in Search Console?

Il file robots.txt si trova nella radice dell'host (esempio.com/robots.txt) e indica ai crawler quali percorsi possono scaricare. Quando Googlebot trova un URL, tramite un link o una sitemap, controlla prima quel file. Se una regola Disallow corrisponde al percorso per il suo user agent, non scarica la pagina. Search Console elenca allora l'URL sotto «Bloccata da robots.txt».

Ne derivano due conseguenze. Google non vede il contenuto, il titolo, i link interni né alcun meta tag della pagina. E poiché non la legge mai, non vede neanche un eventuale tag noindex. Lo stato è elencato tra i motivi di mancata indicizzazione e per la maggior parte dei siti è informativo: Google stesso osserva che gli URL bloccati da robots.txt sono probabilmente bloccati di proposito.

Il problema nasce quando l'elenco contiene pagine che vuoi su Google: schede prodotto, articoli, categorie o l'intero sito dopo una migrazione. In quel caso il blocco è una causa diretta di un sito che non compare su Google, ed è uno dei problemi tecnici più rapidi da risolvere.

«Bloccata da robots.txt» o «Indicizzata, ma bloccata»?

Il secondo stato sembra contraddittorio ed è quello che preoccupa di più i proprietari dei siti. L'introduzione di Google a robots.txt lo chiarisce: robots.txt non è un meccanismo per tenere una pagina fuori da Google. Se altre pagine linkano un URL vietato, Google può indicizzare l'URL stesso senza scansionarlo. Il risultato mostra allora l'indirizzo senza descrizione, perché Google non ha mai letto il testo.

La chiave è decidere prima cosa vuoi per ogni URL: indicizzata o non indicizzata. Robots.txt risponde a un'altra domanda (scansionata o non scansionata), e confondere le due è l'origine della maggior parte degli errori.

Perché le tue pagine sono bloccate da robots.txt?

La maggior parte dei blocchi accidentali nasce da poche cause. Controllale in quest'ordine:

• Una regola di staging finita in produzione. Disallow: / protegge un sito di test, poi parte con il lancio e blocca tutto.
• Un'impostazione del CMS. WordPress ha l'opzione «Scoraggia i motori di ricerca dall'effettuare l'indicizzazione di questo sito»; altre piattaforme hanno interruttori simili che modificano robots.txt o aggiungono intestazioni.
• Una regola più ampia del previsto. Disallow: /p blocca /prodotti/ e /prezzi/ oltre a /p/. Le regole di robots.txt agiscono sull'inizio del percorso.
• Caratteri jolly. * corrisponde a qualsiasi sequenza di caratteri e $ indica la fine di un URL. Disallow: /*? blocca ogni URL con parametri, comprese pagine paginate o filtrate che vuoi indicizzare.
• Risorse bloccate. Bloccare /assets/ o /wp-includes/ nasconde il CSS e il JavaScript che servono a Google per il rendering, peggiorando la comprensione dei tuoi contenuti.
• Una migrazione. I percorsi cambiano, il vecchio robots.txt resta oppure il nuovo hosting serve un proprio file predefinito.
• L'host sbagliato. Ogni sottodominio e protocollo ha il proprio file: le regole di www.esempio.com non valgono per shop.esempio.com.

Ricorda che Google segue la regola più specifica (il percorso corrispondente più lungo) e che, quando un Allow e un Disallow sono ugualmente specifici, vince il meno restrittivo. Un Allow: /blog/ mirato può quindi riaprire una cartella sotto un blocco più ampio.

Come risolvere «Bloccata da robots.txt» passo dopo passo

1. Esporta gli URL interessati

In Google Search Console apri Indicizzazione, poi Pagine, e fai clic sulla riga «Bloccata da robots.txt». Esporta l'elenco e ordinalo per cartella. Di solito vedi uno schema in un minuto: una directory, un parametro, un sottodominio.

2. Separa i blocchi voluti dagli errori

Segna ogni schema come «lasciare bloccato» o «deve stare su Google». Carrelli, checkout, account cliente, risultati di ricerca interna e aree di amministrazione vanno nel primo gruppo. Tutto ciò che risponde a una ricerca, riceve link o compare nella tua sitemap XML va nel secondo. Un URL presente nella sitemap e insieme bloccato è una contraddizione da risolvere.

3. Trova la regola corrispondente

Apri lo strumento Controllo URL su un URL di esempio: indica se la scansione è consentita. Poi leggi il file online, oppure incolla l'URL nel nostro verificatore di robots.txt gratuito per vedere quale riga lo blocca e per quale user agent.

4. Modifica il file

Elimina o restringi la regola, oppure aggiungi un Allow più specifico. Fai una modifica minima e testala sia su un URL da sbloccare sia su un URL che deve restare bloccato. Se il file è disordinato, ricreane uno pulito con il nostro generatore di robots.txt e confronta prima di pubblicare.

5. Fai leggere a Google il nuovo file

Google in genere memorizza robots.txt nella cache fino a 24 ore, secondo la sua specifica di robots.txt. Per accelerare, apri Impostazioni e poi il report robots.txt di Search Console (disponibile per le proprietà a livello di dominio) e richiedi una nuova scansione del file. Poi richiedi l'indicizzazione dei tuoi URL sbloccati più importanti nel Controllo URL.

6. Convalida e monitora

Fai clic su «Convalida correzione» nella pagina del problema. La convalida può richiedere da diversi giorni ad alcune settimane, e i nuovi URL vengono verificati man mano che Google li scansiona di nuovo. La nostra guida all'indicizzazione su Google spiega cosa succede dopo la scansione, quando Google decide se una pagina merita di restare.

Come risolvere «Indicizzata, ma bloccata da robots.txt»

La soluzione dipende da cosa vuoi per la pagina:

1. Vuoi la pagina su Google. Togli il blocco. Google scansionerà la pagina, ne leggerà il contenuto e mostrerà un risultato normale con titolo e descrizione.
2. Non vuoi la pagina su Google. Togli comunque il blocco, poi aggiungi <meta name="robots" content="noindex"> nell'head, o un'intestazione HTTP X-Robots-Tag: noindex per PDF e altri file. Quando Google avrà riscansionato la pagina e l'avrà rimossa, potrai bloccarla di nuovo se il volume di scansione conta, cosa di cui la maggior parte dei siti non ha mai bisogno. La nostra definizione di noindex illustra le opzioni.
3. La pagina non dovrebbe essere pubblica. Proteggila con una password o eliminala (404 o 410). Né robots.txt né noindex sono misure di sicurezza.

Per una navigazione a faccette con migliaia di URL di filtri, un blocco in robots.txt può restare lo strumento giusto per risparmiare crawl budget. L'avviso «Indicizzata, ma bloccata» su alcuni di quegli URL è allora accettabile, purché le versioni canoniche delle categorie siano scansionabili e indicizzate.

Come verificare che la correzione abbia funzionato

Tre segnali confermano una correzione riuscita. Il Controllo URL sull'URL live mostra «Scansione consentita: sì». Il numero di pagine bloccate nel report sull'indicizzazione delle pagine scende nelle settimane successive. E le pagine sbloccate iniziano a raccogliere impressioni nel report Prestazioni. Un rapido passaggio con il nostro verificatore di indicizzabilità individua anche gli altri ostacoli che spesso accompagnano gli errori di robots.txt: un noindex dimenticato, un canonical sbagliato o un reindirizzamento.

Il monitoraggio conta perché questi errori ritornano. Un aggiornamento del tema, un plugin o uno script di deploy possono riscrivere robots.txt senza che nessuno se ne accorga. Tenere d'occhio le pagine i cui clic e impressioni crollano all'improvviso è l'allarme più rapido.

La dashboard GEO e SEO di Sorank si collega a Search Console e mostra queste pagine in crescita e in calo in un'unica vista: un blocco introdotto da un deploy appare come un gruppo di URL in discesa e non come una perdita lenta e inspiegabile.

Robots.txt, crawler delle IA e GEO

Robots.txt ha ormai un secondo pubblico: i crawler degli assistenti IA. OpenAI, Anthropic, Perplexity e Google pubblicano ciascuno i propri user agent (GPTBot e OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended), che rispettano robots.txt. Una regola pensata per uno di loro, o un blocco generale User-agent: *, decide se ChatGPT, Claude o Perplexity possono leggere le tue pagine quando cercano sul web per costruire una risposta.

Vale lo stesso ragionamento di Google: decidi bot per bot cosa vuoi. Bloccare i crawler di addestramento e consentire quelli di ricerca è un compromesso diffuso, e la nostra guida a robots.txt per i crawler delle IA elenca gli user agent e le regole per ciascuno. La voce del glossario sui crawler delle IA spiega quale bot fa cosa.

Per vedere l'effetto di queste scelte, monitora i prompt che contano per la tua attività. Il monitoraggio delle menzioni nelle IA di Sorank mostra se ChatGPT, Gemini o Claude citano il tuo sito e quali concorrenti citano al tuo posto.

La regola da ricordare

Robots.txt decide cosa i crawler possono leggere; noindex decide cosa i risultati possono mostrare. Riserva i blocchi alle aree senza valore di ricerca, non bloccare mai una pagina che vuoi indicizzare o deindicizzare e controlla il report sull'indicizzazione delle pagine dopo ogni migrazione o deploy. La maggior parte dei problemi «bloccata da robots.txt» si risolve in pochi minuti una volta trovata la regola responsabile, e la dashboard Search Console di Sorank ti aiuta a individuare il prossimo prima che ti costi traffico.