Rezumat
Generatorul gratuit de robots.txt scrie fișierul care spune crawlerelor ce părți ale site-ului pot vizita. Alege un mod (permite tot, blochează tot sau personalizat), enumeră user-agent-urile și căile, adaugă adresa sitemap-ului, apoi copiază sau descarcă fișierul și încarcă-l în rădăcina domeniului tău. Ține minte că robots.txt controlează parcurgerea, nu indexarea: ca să ții o pagină în afara Google, folosește în schimb noindex.
Vrei să afli mai mult? Întreabă
Un generator de robots.txt te ferește de micile erori de sintaxă care blochează un site întreg din greșeală. Fișierul urmează Protocolul de excludere a robotilor, creat de Martijn Koster în 1994 și publicat ca standard de internet de IETF în septembrie 2022 (RFC 9309, Robots Exclusion Protocol). Fiecare crawler serios îl citește primul, de la Googlebot până la boții ChatGPT, Claude și Perplexity.
Ce face generatorul de robots.txt?
Construiește un robots.txt valid pe măsură ce scrii, cu o previzualizare live în dreapta, un buton Copiază și un buton Descarcă, ce salvează un fișier numit robots.txt. Nimic nu este trimis pe un server: fișierul este asamblat în browserul tău.
| Setare | Ce scrie | Când o folosești |
|---|---|---|
| Permite tot | User-agent: * și Allow: / | Majoritatea site-urilor publice, fără nimic de ascuns de crawlere |
| Blochează tot | User-agent: * și Disallow: / | Site-uri de test sau de previzualizare care nu trebuie parcurse |
| Personalizat | O linie User-agent pentru fiecare bot, apoi căile tale Disallow și Allow | Blocarea zonelor de administrare, a căutării interne sau a unui bot anume |
| Adresa sitemap | Sitemap: https://example.com/sitemap.xml | Întotdeauna, ca fiecare crawler să îți găsească sitemap-ul |
| Crawl-delay | Crawl-delay: de la 1 la 120 de secunde | Doar pentru boții care îl acceptă și pentru un server care se chinuie |
În modul personalizat, toți user-agent-ii pe care îi listezi împart aceleași reguli, așa cum definește standardul un grup. Ca să dai boților diferiți reguli diferite, generează câte un grup pe rând și lipește-le unul după altul în același fișier.
Cum creezi un fișier robots.txt, pas cu pas?
- Alege modul. Începe cu „Permite tot”, dacă nu ai un motiv să blochezi ceva.
- Enumeră user-agent-ii în modul personalizat, câte unul pe linie:
*pentru toți crawlerele sau nume precum Googlebot, Bingbot sau GPTBot. - Adaugă căile de blocat (Disallow) și excepțiile de lăsat deschise (Allow), câte una pe linie, fiecare începând cu o bară oblică.
- Lipește adresa sitemap-ului complet, cu https și domeniul.
- Copiază sau descarcă fișierul și încarcă-l în rădăcina serverului tău, astfel încât să răspundă la
https://example.com/robots.txt. - Testează-l în producție cu verificatorul gratuit de robots.txt, care citește fișierul live și arată starea fiecărui crawler AI.
Locația este strictă. Google citește un robots.txt doar în rădăcina unei gazde, un site poate avea doar unul, iar fișierul se aplică doar protocolului, gazdei și portului unde este publicat: un subdomeniu are nevoie de al său (Google, crearea și trimiterea unui fișier robots.txt).
Ce reguli robots.txt urmează Google?
Google acceptă patru câmpuri: user-agent, allow, disallow și sitemap. Alte câmpuri, precum crawl-delay, nu sunt acceptate (Google, cum interpretează Google specificația robots.txt). Aceeași pagină stabilește regulile de mai jos.
| Regulă | Cum o aplică Google |
|---|---|
| Regula cea mai specifică câștigă | Când Allow și Disallow se potrivesc amândouă cu un URL, se aplică regula cu calea cea mai lungă |
| Egalitate între reguli | Când două reguli care se potrivesc sunt la fel de specifice, Google folosește pe cea mai puțin restrictivă |
| Wildcard-uri | * se potrivește cu orice secvență de caractere, $ marchează sfârșitul URL-ului |
| Majuscule | Numele câmpurilor nu țin cont de majuscule, dar căile da: /Admin/ nu este /admin/ |
| Dimensiunea fișierului | Conținutul de după primii 500 KiB este ignorat |
| Cache | Fișierul este în general ținut în cache până la 24 de ore, deci o modificare nu are efect instant |
| Fișier lipsă (4xx) | Tratat ca și cum nu ar exista restricții: totul poate fi parcurs |
| Eroare de server (5xx) | Google oprește parcurgerea 12 ore, apoi folosește ultima copie bună până la 30 de zile |
Iată un fișier tipic pentru un magazin online. Blochează coșul, plata și căutarea internă, păstrează deschis un folder public și declară sitemap-ul.
User-agent: * Disallow: /cart/ Disallow: /checkout/ Disallow: /search Allow: /checkout/help/ Sitemap: https://example.com/sitemap.xml
Scoate Disallow o pagină din Google?
Nu. Robots.txt nu este un mecanism pentru a ține o pagină web în afara Google. Un URL blocat poate fi totuși indexat dacă alte site-uri fac link către el, iar atunci apare fără descriere (Google, introducere în robots.txt). Ca să ascunzi o pagină, lasă Google s-o parcurgă și adaugă un meta tag noindex sau un header HTTP. Dacă ai bloca pagina și în robots.txt în același timp, Google nu ar vedea niciodată noindex-ul.
Verifică rezultatul pagină cu pagină cu verificatorul de indexabilitate, care citește împreună robots.txt, meta robots, X-Robots-Tag și canonical. Pentru vocabular, vezi intrările noastre din glosar despre robots.txt și parcurgere și indexare.
Ar trebui să blochezi crawlerele AI în robots.txt?
Blochează boții care antrenează modele, dacă vrei, dar lasă deschiși boții care alimentează căutarea AI. Marii furnizori fac acum diferența între cele două, astfel încât nu mai trebuie să alegi între protejarea conținutului tău și faptul că ești citat.
| Furnizor | Bot de antrenare | Bot de căutare sau răspuns | Ce costă blocarea botului de căutare |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | Paginile tale nu mai apar în răspunsurile din căutarea ChatGPT |
| Anthropic | ClaudeBot | Claude-SearchBot | Mai puțină vizibilitate în rezultatele de căutare Claude |
| Perplexity | Niciunul listat | PerplexityBot | Paginile tale pot să nu fie afișate sau citate în rezultatele Perplexity |
| Google-Extended (un token, nu un bot separat) | Googlebot | Google-Extended nu afectează Google Search sau clasările |
Surse: prezentarea generală a crawlerelor OpenAI, politica Anthropic pentru crawlere, crawlerele Perplexity și crawlerele comune Google. Ca să refuzi antrenarea rămânând citabil de ChatGPT, un fișier care conține doar aceste două linii este suficient, deoarece toți ceilalți boți rămân permiși implicit:
User-agent: GPTBot Disallow: /
Tendința este reală: în doar un an (2023 până în 2024), 28% sau mai mult dintre cele mai activ întreținute surse din setul de date de antrenare C4 au devenit complet restricționate pentru crawlerele AI (Longpre et al., Consent in Crisis, 2024). Înainte să urmezi acest exemplu, verifică ce te costă blocarea în răspunsurile AI: Monitorizarea mențiunilor IA Sorank arată în fiecare lună dacă ChatGPT, Claude și Gemini îți numesc brandul.
Ce greșeli robots.txt dăunează cel mai mult SEO?
- Lăsarea Disallow: / după lansare. Fișierele de test ajung adesea în producție. O singură linie blochează fiecare crawler de pe întreg site-ul.
- Blocarea CSS și JavaScript. Dacă resursele lipsă fac pagina mai greu de înțeles, Google recomandă să nu le blochezi.
- Uitarea barei finale.
Disallow: /adminblochează și/administrationși/admin-guide. Scrie/admin/ca să blochezi doar folderul. - Bazarea pe Crawl-delay pentru Google. Google îl ignoră. Anthropic spune că acceptă extensia, deci păstreaz-o doar pentru boții care o citesc.
- Folosirea robots.txt ca instrument de securitate. Fișierul este public, iar oricine îl poate citi. Protejează zonele private cu o autentificare, nu cu o linie Disallow care duce direct la ele.
- Uitarea excepției WordPress. Fișierul implicit WordPress blochează
/wp-admin/, dar permite/wp-admin/admin-ajax.php, pe care le folosesc funcțiile din partea vizibilă (documentația pentru dezvoltatori WordPress).
Cum verifici robots.txt după publicare?
Folosește trei verificări, de la cea mai rapidă la cea mai completă.
- Deschide adresa
https://yourdomain.com/robots.txtîntr-un browser. Ar trebui să vezi text simplu, nu o pagină HTML sau o eroare 404. - Rulează verificatorul de robots.txt ca să listezi grupurile de reguli, sitemap-urile, problemele și starea celor 14 user-agenți AI.
- Deschide raportul robots.txt din Search Console. Arată fișierele pe care Google le-a găsit pentru primele 20 de gazde ale site-ului tău, ultima parcurgere și avertismentele, și îți permite să ceri o nouă parcurgere după o corecție urgentă (Ajutorul Search Console, raportul robots.txt).
Apoi finalizează configurarea: generează un sitemap XML curat cu generatorul de sitemap XML și un fișier llms.txt cu generatorul llms.txt, care oferă asistenților AI un rezumat al paginilor tale-cheie.
Care sunt limitele unui robots.txt generat?
Generatorul scrie sintaxa corectă, dar nu poate ști cum este site-ul tău. Nu verifică dacă o cale blocată conține pagini pe care vrei să le vezi clasate și scrie câte un grup pe rând. Boții răi ignoră complet fișierul: robots.txt este o cerere, nu un zid, deci blochează traficul abuziv la nivel de server sau de firewall. În final, protocolul acoperă doar parcurgerea. O pagină adusă de o cerere a unui utilizator, precum ChatGPT-User sau Perplexity-User, poate să nu urmeze regulile robots.txt, după cum afirmă ambii furnizori în documentația lor.
Cum faci site-ul tău ușor de parcurs și de citat?
Un robots.txt curat este primul pas. Următorii sunt publicarea unor pagini care merită parcurse și verificarea faptului că crawlerele revin efectiv.
- Urmărește parcurgerea și traficul în tabloul de bord GEO și SEO, care reunește Search Console, Analytics și vizitele venite din ChatGPT și Perplexity.
- Vezi ce site-uri citesc asistenții AI în piața ta cu clasamentul GEO, și unde te situezi printre ele.
- Publică regulat cu generatorul de articole de blog, ca crawlerele să găsească mereu ceva nou.
Un robots.txt făcut în două minute îți protejează bugetul de parcurgere și vizibilitatea în IA în același timp. Generează-l pe al tău mai sus, testează-l cu verificatorul, apoi vezi planurile Sorank ca să-ți păstrezi site-ul parcurs și citat, pe autopilot.
