Blocat de robots.txt: ce înseamnă statusul din Search Console și cum îl remediezi

Statusul blocat de robots.txt apare în raportul Indexarea paginilor din Google Search Console, printre motivele pentru care paginile nu sunt indexate. Documentația oficială Google despre raportul Indexarea paginilor îl descrie într-un rând: pagina a fost blocată de fișierul robots.txt al site-ului tău. În spatele acestui rând există două situații foarte diferite, un blocaj sănătos și unul accidental, plus un văr confuz, „Indexed, though blocked by robots.txt”. Acest ghid arată cum să le deosebești și cum să remediezi fiecare fără să strici altceva. Dacă fișierul în sine îți este nou, începe cu definiția noastră pentru robots.txt.

Ce înseamnă „Blocked by robots.txt” în Search Console?

Fișierul tău robots.txt se află la rădăcina gazdei (exemplu.com/robots.txt) și le spune crawlerelor ce căi au voie să descarce. Când Googlebot găsește un URL, printr-un link sau o hartă a site-ului, verifică întâi acest fișier. Dacă o regulă Disallow se potrivește cu calea pentru agentul său de utilizator, nu descarcă pagina. Search Console listează apoi URL-ul sub „Blocked by robots.txt”.

Din asta decurg două consecințe. Google nu poate vedea conținutul, titlul, linkurile interne sau nicio meta etichetă de pe pagină. Și, deoarece nu citește niciodată pagina, nu poate vedea nici o etichetă noindex. Statusul apare ca motiv de neindexare, deci pentru majoritatea site-urilor are caracter informativ: Google însuși notează că URL-urile blocate de robots.txt sunt probabil blocate intenționat.

Problema începe când lista conține pagini pe care vrei să le vezi în Google: pagini de produs, articole, pagini de categorie sau un site întreg după o migrare. În acest caz, blocajul este cauza directă a unui site care nu apare pe Google, iar este una dintre cele mai rapide probleme tehnice de remediat.

„Blocked by robots.txt” vs „Indexed, though blocked by robots.txt”

Al doilea status pare contradictoriu și este cel care îi îngrijorează cel mai mult pe proprietarii de site-uri. Introducerea Google în robots.txt explică: robots.txt nu este un mecanism pentru a ține o pagină în afara Google. Dacă alte pagini trimit linkuri către un URL interzis, Google poate indexa URL-ul în sine, fără să-l exploreze. Rezultatul afișează atunci adresa fără descriere, pentru că Google nu a citit niciodată textul.

Cheia este să decizi întâi ce vrei pentru fiecare URL: indexat sau neindexat. Robots.txt răspunde la o altă întrebare (explorat sau neexplorat), iar amestecarea celor două este sursa majorității erorilor.

De ce sunt paginile tale blocate de robots.txt?

Majoritatea blocajelor accidentale vin dintr-o mână de cauze. Verifică-le în această ordine:

• O regulă de staging împinsă în producție. Disallow: / protejează un site de test, apoi ajunge în lansare și blochează totul.
• O setare a CMS-ului. WordPress are opțiunea „Discourage search engines from indexing this site”; alte platforme au comutatoare echivalente care modifică robots.txt sau adaugă anteturi.
• O regulă mai largă decât ai vrut. Disallow: /p blochează /products/ și /pricing/, nu doar /p/. Regulile robots.txt se potrivesc cu începutul căii.
• Wildcard-uri. * se potrivește cu orice secvență de caractere, iar $ marchează sfârșitul unui URL. Disallow: /*? blochează fiecare URL cu parametru, ceea ce poate include pagini paginate sau filtrate pe care vrei să le indexezi.
• Resurse blocate. Blocarea lui /assets/ sau /wp-includes/ ascunde CSS-ul și JavaScript-ul de care Google are nevoie ca să randeze pagina, ceea ce îi degradează înțelegerea conținutului.
• O migrare. Căile se schimbă, rămâne vechiul robots.txt sau noua gazdă servește propriul fișier implicit.
• Gazda greșită. Fiecare subdomeniu și protocol are propriul fișier: regulile de pe www.exemplu.com nu se aplică pe shop.exemplu.com.

Reține că Google urmează regula cea mai specifică (cea mai lungă cale potrivită), iar când o regulă Allow și una Disallow sunt la fel de specifice, câștigă cea mai puțin restrictivă. O regulă țintită Allow: /blog/ poate deschide astfel din nou un director sub un blocaj mai larg.

Cum remediezi „Blocked by robots.txt” pas cu pas

1. Exportă URL-urile afectate

În Google Search Console, deschide Indexarea, apoi Paginile, și apasă pe rândul „Blocked by robots.txt”. Exportă lista și sortează-o după director. De obicei vei vedea un tipar în mai puțin de un minut: un director, un parametru, un subdomeniu.

2. Separă blocajele intenționate de greșeli

Marchează fiecare tipar ca „rămâne blocat” sau „ar trebui să fie în Google”. Coșurile de cumpărături, plățile, paginile de cont, rezultatele căutării interne și zonele de administrare aparțin primului grup. Orice răspunde unei interogări de căutare, primește linkuri sau apare în harta site-ului XML aparține celui de-al doilea. Un URL care este și în hartă, și blocat, este o contradicție de rezolvat.

3. Găsește regula care se potrivește

Deschide instrumentul Inspecția URL-ului pentru un URL de exemplu: el arată dacă explorarea este permisă. Apoi citește fișierul live sau lipește URL-ul în verificatorul nostru gratuit de robots.txt ca să vezi ce rând îl blochează și pentru ce agent de utilizator.

4. Editează fișierul

Elimină sau restrânge regula ori adaugă un Allow mai specific. Păstrează modificarea minimă și testează-o pe un URL pe care vrei să-l deblochezi și pe unul care trebuie să rămână blocat. Dacă fișierul este un haos, reconstruiește unul curat cu generatorul nostru de robots.txt și compară înainte de publicare.

5. Fă Google să citească noul fișier

Google păstrează în general robots.txt în cache până la 24 de ore, potrivit specificației robots.txt. Ca să accelerezi lucrurile, deschide raportul robots.txt din Setări, în Search Console (disponibil pentru proprietățile la nivel de domeniu), și folosește „Request a recrawl” pentru fișier. Apoi cere indexarea pentru cele mai importante URL-uri deblocate în Inspecția URL-ului.

6. Validează și monitorizează

Apasă „Validate fix” pe pagina problemei. Validarea poate dura de la câteva zile la câteva săptămâni, iar URL-urile noi sunt verificate pe măsură ce Google le explorează din nou. Ghidul nostru despre indexarea Google acoperă ce se întâmplă după explorare, când Google decide dacă o pagină merită păstrată.

Cum remediezi „Indexed, though blocked by robots.txt”

Remedierea depinde de ce vrei pentru pagină:

1. Vrei pagina în Google. Elimină blocajul. Google va explora pagina, îi va citi conținutul și va afișa un rezultat normal, cu titlu și descriere.
2. Nu vrei pagina în Google. Elimină și tu blocajul, apoi adaugă <meta name="robots" content="noindex"> în head, sau un antet HTTP X-Robots-Tag: noindex pentru PDF-uri și alte fișiere. Odată ce Google a explorat din nou pagina și a eliminat-o, o poți bloca din nou dacă volumul de explorare contează, deși majoritatea site-urilor nu au nevoie niciodată de asta. Definiția noastră pentru noindex explică opțiunile.
3. Pagina nu ar trebui să existe public. Protejează-o cu parolă sau șterge-o (404 sau 410). Nici robots.txt, nici noindex nu sunt o măsură de securitate.

Pentru navigarea pe fațete cu mii de URL-uri de filtre, un blocaj în robots.txt poate rămâne instrumentul potrivit pentru a economisi bugetul de explorare. Avertismentul „Indexed, though blocked” pentru câteva dintre aceste URL-uri este atunci acceptabil, cu condiția ca versiunile canonice ale categoriilor tale să poată fi explorate și indexate.

Cum verifici că remedierea a funcționat

Trei semnale confirmă o remediere reușită. Inspecția URL-ului pe URL-ul live arată „Crawl allowed: Yes”. Numărul de pagini blocate din raportul Indexarea paginilor scade în următoarele săptămâni. Iar paginile deblocate încep să adune impresii în raportul Performanță. O trecere rapidă cu verificatorul nostru de indexabilitate prinde și alte blocaje care vin adesea odată cu greșelile de robots.txt: un noindex rătăcit, o canonical greșită sau o redirecționare.

Monitorizarea contează, pentru că aceste erori revin. O actualizare de temă, un plugin sau un script de publicare poate rescrie robots.txt fără ca cineva să observe. Urmărirea paginilor ale căror clicuri și impresii scad brusc este cel mai rapid semnal de alarmă timpurie.

Tabloul Sorank GEO și SEO se conectează la Search Console și arată paginile în creștere și în scădere pe o singură vedere, astfel încât un blocaj introdus de o publicare apare ca un grup de URL-uri în declin, nu ca o pierdere lentă și neexplicată.

Robots.txt, crawlerele AI și GEO

Robots.txt are acum un al doilea public: crawlerele asistenților AI. OpenAI, Anthropic, Perplexity și Google publică fiecare agenți de utilizator (GPTBot și OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended) care respectă robots.txt. O regulă destinată unuia dintre ei, sau un blocaj general User-agent: *, decide dacă ChatGPT, Claude sau Perplexity pot citi paginile tale când caută pe web pentru a construi un răspuns.

Același raționament se aplică ca pentru Google: decide pentru fiecare bot ce vrei. Blocarea crawlerelor de antrenare, în timp ce se permit crawlerele de căutare, este un compromis frecvent, iar ghidul nostru despre robots.txt pentru crawlerele AI enumeră agenții de utilizator și regulile pentru fiecare. Intrarea din glosar despre crawlerele AI explică ce face fiecare bot.

Ca să vezi efectul acestor alegeri, urmărește promptele care contează pentru afacerea ta. Urmărirea mențiunilor AI din Sorank arată dacă ChatGPT, Gemini sau Claude citează site-ul tău și ce concurenți citează în schimb.

Regula de reținut

Robots.txt decide ce pot citi crawlerele; noindex decide ce pot afișa rezultatele căutării. Păstrează blocajele pentru zonele fără valoare de căutare, nu bloca niciodată o pagină pe care vrei să o indexezi sau să o scoți din index și verifică raportul Indexarea paginilor după fiecare migrare sau publicare. Majoritatea problemelor „blocked by robots.txt” se remediază în câteva minute, odată ce regula potrivită este găsită, iar tabloul Search Console al Sorank te ajută să prinzi următoarea înainte să coste trafic.