Pe scurt
Verificatorul gratuit de robots.txt citește fișierul robots.txt live al oricărui domeniu și arată grupurile de reguli, sitemap-urile, problemele găsite și starea a 14 crawlere IA (permise, parțial sau blocate), de la GPTBot și OAI-SearchBot până la ClaudeBot, PerplexityBot și Google-Extended. Folosește-l după fiecare modificare a fișierului și ori de câte ori paginile tale dispar din Google sau din răspunsurile IA.
Vrei să afli mai mult? Întreabă
Un verificator robots.txt depistează rândul care blochează discret un site întreg. Robots.txt este un standard public (RFC 9309) pe care îl citesc toate crawlerele importante înainte de a vizita un site, iar crawlerele IA au mărit numărul de boți pe care fișierul trebuie să îi gestioneze. Între mai 2024 și mai 2025, cota GPTBot din traficul crawlerelor IA a crescut de la 5% la 30%, iar Meta-ExternalAgent a ajuns la 19% (Cloudflare, cine îți crawlează site-ul în 2025). Fișierul tău trebuie să spună ceva rezonabil tuturor.
Ce arată verificatorul robots.txt?
Introdu un domeniu, iar instrumentul preia https://yourdomain/robots.txt, urmărește redirecționările, analizează fișierul și returnează cinci blocuri.
| Bloc | Ce arată | Ce trebuie să verifici |
|---|---|---|
| Grupuri de reguli | Câte grupuri User-agent conține fișierul | Zero înseamnă că sintaxa nu a putut fi citită |
| Sitemap-uri | Fiecare linie Sitemap găsită | Cel puțin un URL complet către sitemap |
| Boți IA blocați | Câți dintre cei 14 crawlere IA sunt blocați complet | Doar pe cei pe care i-ai ales să îi blochezi |
| Probleme | Probleme detectate, cu o recomandare | Zero, sau doar alegeri deliberate |
| Fișier brut | Robots.txt așa cum este servit | Că este fișierul pe care crezi că l-ai publicat |
Dacă domeniul nu are robots.txt sau returnează o pagină HTML în loc de text simplu, instrumentul o spune și recomandă adăugarea unuia. Versiunea gratuită rulează 3 verificări pe zi.
Cum decide verificatorul dacă un bot IA este blocat?
Pentru fiecare dintre cei 14 crawlere IA, instrumentul caută un grup care numește botul. Dacă nu există, folosește grupul User-agent: *. Apoi aplică trei stări.
| Stare | Regula găsită în grup | Ce înseamnă |
|---|---|---|
| Permis | Niciun grup nu se aplică sau grupul nu are nicio regulă Disallow | Botul poate parcurge tot site-ul |
| Parțial | Reguli Disallow doar pentru unele căi | Botul poate parcurge site-ul, cu excepția acelor căi |
| Blocat | Disallow: / fără Allow: / | Botul este rugat să stea departe de tot site-ul |
Cei 14 crawlere verificate sunt GPTBot, OAI-SearchBot și ChatGPT-User (OpenAI), ClaudeBot, Claude-Web și anthropic-ai (Anthropic), PerplexityBot și Perplexity-User, Google-Extended, Applebot-Extended, CCBot (Common Crawl), Amazonbot, Bytespider (ByteDance) și Meta-ExternalAgent. Tabelul arată și furnizorul și scopul fiecărui bot, ca să vezi dintr-o privire dacă blochezi antrenarea, căutarea sau navigarea în timp real.
Ce crawlere IA ar trebui să permiți?
Permite crawlerele care îți pun paginile în răspunsurile de căutare IA. Blocarea crawlerelor de antrenare este o alegere de afaceri; blocarea crawlerelor de căutare este de obicei o greșeală.
- OAI-SearchBot: site-urile care se retrag nu apar în răspunsurile căutării ChatGPT. GPTBot privește doar antrenarea modelelor, iar cele două setări sunt independente (prezentarea crawlerelor OpenAI).
- PerplexityBot: afișează și leagă site-urile în rezultatele Perplexity și nu este folosit pentru antrenarea modelelor de bază (crawlerele Perplexity).
- Google-Extended: un token pentru antrenarea și ancorarea Gemini, care nu afectează includerea în Google Search sau clasările (crawlerele comune Google).
- Anthropic: ClaudeBot strânge date de antrenare, în timp ce Claude-SearchBot și Claude-User servesc căutarea și cererile utilizatorilor; blocarea celor două ar putea reduce vizibilitatea ta în Claude (politica Anthropic privind crawlingul).
Majoritatea site-urilor nu decid niciodată. Pe 6 iunie 2025, doar aproximativ 14% dintre primele 10000 de domenii cu robots.txt aveau reguli pentru boții IA, iar GPTBot a fost atât cel mai blocat (312 domenii), cât și cel mai explicit permis (61 de domenii), potrivit aceluiași studiu Cloudflare. Boții care nu sunt numiți în fișier sunt permiși implicit.
Ce înseamnă cele mai frecvente probleme?
| Problema raportată | De ce contează | Remediere |
|---|---|---|
| User-agent: * este blocat de pe tot site-ul | Fiecare crawler fără grup propriu, inclusiv Googlebot, este rugat să stea departe | Șterge Disallow: / din grupul *, decât dacă site-ul este o copie de test |
| Lipsește directiva Sitemap | Crawlerele cărora nu le-ai trimis sitemap-ul, precum Bing sau crawlerele IA, s-ar putea să nu îl găsească | Adaugă Sitemap: https://yourdomain/sitemap.xml |
| Un crawler IA numit este blocat | Furnizorul respectiv nu îți va parcurge paginile | Păstreaz-o doar dacă blocarea este o alegere deliberată |
| Nu au fost analizate grupuri User-agent | Fișierul nu are nicio regulă validă, deci nu restricționează nimic | Verifică sintaxa: Câmp: valoare, o regulă pe linie |
| Nu a fost găsit robots.txt | Nu este o eroare în sine: Google crawlează atunci tot site-ul | Adaugă oricum un fișier, ca să declari sitemap-ul și alegerile tale pentru crawlerele IA |
Google tratează diferit un fișier lipsă sau defect, în funcție de codul HTTP. Un răspuns 4xx (cu excepția lui 429) înseamnă fără restricții. Un răspuns 5xx este tratat ca eroare de server: Google oprește crawlingul 12 ore, apoi folosește ultima copie bună până la 30 de zile (Google, cum interpretează Google specificația robots.txt). Un robots.txt care continuă să returneze erori de server poate deci să înghețe crawlingul unui site sănătos.
Cum remediezi pas cu pas o problemă de robots.txt?
- Citește fișierul brut din raport, ca să confirmi ce este de fapt online. Cache-urile CDN și implementările de test servesc adesea o versiune veche.
- Rescrie fișierul cu generatorul robots.txt, care construiește grupuri curate, reguli Allow și Disallow și linia Sitemap.
- Încarcă-l în rădăcina fiecărui host. Un subdomeniu precum blog.example.com are nevoie de fișierul său.
- Rulează din nou verificatorul și confirmă că stările s-au schimbat.
- Anunță Google dacă remedierea este urgentă. Raportul robots.txt din Search Console arată fișierele pe care Google le-a găsit pentru primele 20 de hosturi și îți permite să ceri o nouă crawlare (Ajutor Search Console, raportul robots.txt). Altfel, Google își reîmprospătează copia din cache în aproximativ 24 de ore.
Apoi verifică paginile în sine. O pagină deschisă în robots.txt poate fi totuși scoasă din index de o etichetă noindex sau de un canonical care indică în altă parte: verificatorul indexabilității testează toate acestea pentru un singur URL. Pentru o imagine de ansamblu asupra a ceea ce pot citi crawlerele IA, rulează auditul de accesibilitate pentru crawlerele IA.
Care sunt limitele verificatorului robots.txt?
- Stările sunt rezumate per bot, nu per URL. „Parțial” îți spune că unele căi sunt închise; citește regulile ca să vezi care.
- Un grup per bot. Dacă împarți regulile aceluiași bot în mai multe grupuri, Google le combină. Citește fișierul brut în acest caz.
- Doar domeniul rădăcină. Instrumentul citește fișierul domeniului introdus, fără www, și urmează redirecționările. Verifică fiecare subdomeniu separat.
- O listă de 14 boți. User-agent-urile mai noi, precum Claude-SearchBot și Claude-User, nu sunt încă în tabel: caută-le în fișierul brut.
- Robots.txt este o cerere. Crawlerele serioase o respectă, cele abuzive nu, iar cererile declanșate de un utilizator, precum ChatGPT-User sau Perplexity-User, pot să nu aplice regula, cum documentează OpenAI și Perplexity.
Pentru vocabularul din spatele acestor verificări, vezi intrările din glosar despre robots.txt și crawlerele IA.
Cum te asiguri că asistenții IA te pot găsi și citi?
Un robots.txt deschis este condiția, nu rezultatul. Odată ce crawlerele pot citi site-ul, măsoară dacă asistenții IA îl folosesc de fapt.
- Urmărește-ți marca în răspunsurile IA cu Monitorizarea mențiunilor IA Sorank, care verifică în fiecare lună dacă ChatGPT, Claude și Gemini te numesc și ce surse citează.
- Urmărește vizitele IA alături de clicurile din Google, în tabloul de bord GEO și SEO.
- Oferă crawlerelor pagini noi de citit cu planificatorul de blog, care îți completează calendarul și publică la termen.
O singură linie greșită în robots.txt poate ascunde un site de la Google și de la toți asistenții IA deodată. Verifică-l mai sus după fiecare modificare, apoi vezi planurile Sorank ca să îți monitorizezi pe autopilot accesibilitatea pentru crawlere și vizibilitatea IA.
