Robots.txt: controlează cum parcurge Googlebot site-ul tău

Robots.txt este un fișier simplu, dar puternic, care controlează modul în care motoarele de căutare parcurg site-ul tău. Se află la `https://example.com/robots.txt` și conține reguli care specifică ce pagini și directoare pot fi parcurse de Google, Bing și alte boturi. Robots.txt te ajută să gestionezi bugetul de crawl (numărul de pagini pe care Google le parcurge zilnic), previne risipirea crawl-ului pe pagini nesemnificative și ține conținutul privat în afara rezultatelor căutării.

Majoritatea site-urilor au un fișier robots.txt, dar multe sunt configurate greșit. Un robots.txt configurat greșit poate bloca din greșeală pagini importante și poate risipi potențialul de clasare. Un robots.txt bine configurat îmbunătățește eficiența crawl-ului și protejează confidențialitatea site-ului tău. Acest ghid acoperă sintaxa robots.txt, bunele practici și exemple reale.

Ce este robots.txt și cum îl folosesc motoarele de căutare

Robots.txt este un fișier text standardizat, care transmite instrucțiuni de crawl către boturile motoarelor de căutare. Când un bot vizitează site-ul tău prima dată, cere `/robots.txt` înainte de a parcurge orice altceva. Robotul citește regulile și le urmează (presupunând că botul este politicos).

Documentația Google despre robots.txt este referința oficială pentru standard. Formatul robots.txt a fost creat în 1994 și a fost adoptat pe scară largă. Toate motoarele de căutare majore (Google, Bing, Baidu) respectă robots.txt.

Important: robots.txt este o recomandare, nu un firewall. Boturile politicoase (Google, Bing) respectă regulile robots.txt. Boturile rău intenționate și scraperele ignoră robots.txt. Folosește robots.txt ca să gestionezi crawl-ul motoarelor de căutare, nu ca să blochezi hackerii sau scraperele. Pentru securitate, folosește instrumente la nivel de server.

Sintaxa robots.txt și regulile de bază

Robots.txt folosește o sintaxă simplă, în text. Fiecare regulă are două părți: un User-agent (botul căruia i se aplică regula) și căile Disallow (paginile care se blochează).

Exemplu de bază:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

Aceasta le spune tuturor boturilor (`*` înseamnă toate) să nu parcurgă directoarele `/admin/` și `/staging/`. Linia Sitemap le spune boturilor unde se află sitemap-ul tău.

User-agent: \* înseamnă toți boții. Poți specifica și boturi individuale:

`User-agent: Googlebot` se aplică doar botului Google. `User-agent: Bingbot` se aplică doar botului Bing. Poți avea mai multe secțiuni User-agent, cu reguli diferite.

Disallow: /cale/ le spune boturilor să nu parcurgă acea cale. Disallow: / blochează întregul site. Disallow: (gol) permite totul. Poți enumera mai multe reguli Disallow pentru fiecare User-agent.

Allow: /cale/ permite parcurgerea unei căi specifice, chiar dacă un director părinte este interzis. Exemplu: Disallow: /temp/, dar Allow: /temp/important/ permite parcurgerea doar a subdirectorului /important/.

Modele frecvente de robots.txt

Modelul 1: blocarea paginilor de administrare

User-agent: *
Disallow: /admin/
Disallow: /user/
Disallow: /account/

Aceasta blochează parcurgerea paginilor administrative, de utilizator și de cont. Aceste pagini nu sunt, de obicei, destinate motoarelor de căutare.

Modelul 2: blocarea mediului de staging

User-agent: *
Disallow: /staging/
Disallow: /test/

Împiedică boturile să parcurgă versiunile de test sau de staging ale site-ului tău.

Modelul 3: blocarea unor tipuri de fișiere

User-agent: *
Disallow: /*.pdf
Disallow: /*.zip

Împiedică boturile să parcurgă fișierele PDF și ZIP. Este util dacă ai multe PDF-uri care nu ar trebui indexate.

Modelul 4: boturi lente care îți suprasolicită serverul

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Crawl-delay: 10

Blochează complet AhrefsBot (dacă nu vrei ca site-ul tău să fie parcurs de instrumentele SEO). Încetinește SemrushBot adăugând o întârziere de 10 secunde între cereri. Crawl-delay este util pentru boturile agresive care îți încarcă serverul.

Modelul 5: permite totul (implicit)

User-agent: *
Disallow:

Acesta este comportamentul implicit. Un Disallow gol înseamnă că totul este permis. Poți chiar să nu ai deloc un fișier robots.txt, dacă vrei ca tot conținutul să fie parcurs.

Robots.txt față de meta robots noindex

Robots.txt blochează crawl-ul. Meta robots noindex blochează indexarea. Au scopuri diferite.

Folosește robots.txt când: vrei să economisești bugetul de crawl. Ai conținut duplicat care nu ar trebui parcurs. Ai pagini de administrare pe care boturile nu ar trebui să le atingă. Vrei să încetinești boturile agresive.

Folosește meta robots noindex când: vrei ca o pagină să fie parcursă, dar nu indexată (ca să vezi erorile și problemele). Vrei să previi indexarea, dar să permiți în continuare linkurile interne și crawl-ul. Vrei în cele din urmă să elimini o pagină din căutare, dar să o păstrezi online.

Exemplu: paginile paginate precum `/products?page=2` pot fi blocate în robots.txt pentru a economisi bugetul de crawl (pentru că Google consolidează, de obicei, paginarea). Dar s-ar putea să vrei să fie parcurse, ca să identifici relațiile canonical. În acest caz, folosește canonicale în loc de robots.txt.

Gestionarea bugetului de crawl cu robots.txt

Bugetul de crawl este numărul de URL-uri pe care Google le parcurge zilnic pe site-ul tău. Site-urile mari, cu milioane de pagini, nu pot avea toate paginile parcurse zilnic. Google alocă bugetul de crawl în funcție de autoritatea site-ului tău și de frecvența modificărilor. Bugetul de crawl este limitat. Dacă îl risipești pe pagini nesemnificative, paginile importante sunt parcurse mai rar.

Optimizează bugetul de crawl blocând paginile care nu ar trebui parcurse: conținut duplicat, rezultatele paginate ale căutării, paginile de cont ale utilizatorilor, paginile de test. Fiecare pagină blocată îi oferă lui Google mai mult buget pentru a parcurge conținutul tău important.

Factori frecvenți care risipesc bugetul de crawl: paginarea infinită (filtrele de produse creează URL-uri nelimitate), conținutul duplicat cu parametri diferiți, ID-urile de sesiune adăugate la fiecare URL, paginile de calendar sau de evenimente care generează URL-uri fără sfârșit. Folosește robots.txt ca să blochezi aceste tipare.

Google Search Console arată statisticile de crawl ale site-ului tău. Monitorizează zilnic cererile de crawl. Dacă Google parcurge aceleași pagini în mod repetat, fără să descopere conținut nou, revizuiește robots.txt și strategia de blocare.

Sitemap-ul în robots.txt

Include URL-ul sitemap-ului tău în robots.txt. Adaugă `Sitemap: https://example.com/sitemap.xml` la sfârșitul fișierului robots.txt. Asta îi spune lui Google unde să găsească sitemap-ul XML. Poți enumera mai multe sitemap-uri, dacă ai mai multe fișiere.

Exemplu:

User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xml

Enumerarea sitemap-urilor în robots.txt este opțională (poți trimite sitemap-urile prin Google Search Console), dar este o bună practică.

Testarea și validarea robots.txt

Google Search Console are un instrument de testare pentru robots.txt. Mergi la Settings > Crawling > Test robots.txt. Introdu un URL și vezi dacă robots.txt îl blochează. Este extrem de util ca să validezi regulile înainte de publicare.

Testează întotdeauna înainte de a publica modificările robots.txt. O singură greșeală (precum `Disallow: /`, care blochează întregul site) poate distruge pozițiile tale. Folosește instrumentul de testare ca să verifici că:

Paginile importante nu sunt blocate. Paginile de administrare sunt blocate. Tiparele de conținut duplicat sunt blocate. Niciun traseu critic nu este interzis din greșeală.

După publicarea robots.txt, monitorizează raportul Crawl din Google Search Console pentru modificări. Dacă rata de crawl scade neașteptat, s-ar putea să fi blocat din greșeală conținut important.

Greșeli frecvente cu robots.txt

Greșeala 1: blocarea CSS-ului și a JavaScript-ului. Dacă blochezi `/css/` sau `/js/` în robots.txt, Google nu îți poate parcurge fișierele CSS și JavaScript. Fără CSS, Google nu poate randa corect paginile. Nu bloca CSS sau JavaScript.

Greșeala 2: blocarea conținutului important. Testează întotdeauna înainte de publicare. O greșeală de scriere precum `Disallow: /p` în loc de `Disallow: /staging/` poate bloca `/products/` din neatenție.

Greșeala 3: folosirea robots.txt pentru securitate. Nu te baza pe robots.txt ca să protejezi date sensibile. Paginile sensibile din punct de vedere al securității ar trebui să ceară autentificare, nu doar să fie excluse în robots.txt. Robots.txt este public și poate fi ocolit ușor.

Greșeala 4: reguli robots.txt inconsecvente între domenii. Dacă ai mai multe domenii, menține politici robots.txt consecvente. Regulile diferite din greșeală pot crea probleme de eficiență a crawl-ului.

Greșeala 5: blocarea chiar a sitemap-ului. Nu bloca niciodată `/sitemap.xml` în robots.txt. Google trebuie să parcurgă sitemap-ul ca să descopere paginile.

Funcții avansate ale robots.txt

Crawl-delay și Request-rate: Aceste directive încetinesc boturile. `Crawl-delay: 10` adaugă 10 secunde între cereri. `Request-rate: 1/10` permite o cerere la 10 secunde. Folosește-le pentru boturile care îți suprasolicită serverul. Google recomandă folosirea setărilor din Search Console în locul acestor directive.

Directiva Allow: Permite parcurgerea unei căi specifice, chiar dacă o cale părinte este interzisă. Este util pentru a crea excepții. Exemplu: `Disallow: /temp/`, dar `Allow: /temp/keep/` permite doar subdirectorul keep.

Specificația Google pentru robots.txt documentează toate directivele acceptate. Majoritatea funcțiilor sunt rareori necesare. Pentru majoritatea site-urilor, rămâi la User-agent, Disallow și Sitemap de bază.

Directive avansate în robots.txt

Regulile specifice pentru User-agent permit reguli de crawl diferite pentru boturi diferite. Poți specifica reguli separate pentru Googlebot, Bingbot și alți user-agenți. Este util dacă vrei ca Google să parcurgă întregul site, dar Bing să nu acceseze anumite secțiuni. Specifică user-agentul la începutul fiecărui bloc de reguli:

`User-agent: Googlebot` aplică regulile doar crawler-ului Google. `User-agent: *` aplică regulile tuturor boturilor. Regulile se aplică user-agentului specific până la următoarea directivă User-agent. Poți crea mai multe blocuri de reguli pentru boturi diferite.

Directivele Crawl-delay și request-rate le spun boturilor cât de des să parcurgă. `Crawl-delay: 5` îi spune botului să aștepte 5 secunde între cereri. Asta reduce încărcarea serverului. `Request-rate: 1/10` îi spune botului să facă cel mult o cerere la 10 secunde. Documentația Google despre robots.txt detaliază toate directivele acceptate.

Directivele de locație a sitemap-ului le spun boturilor unde să găsească sitemap-ul tău. `Sitemap: https://example.com/sitemap.xml` indică boturilor sitemap-ul XML. Poți specifica mai multe sitemap-uri. Asta este recomandat, pentru că ajută boturile să descopere eficient toate paginile tale.

Directiva Clean-param elimină parametrii URL înainte de crawl. `Clean-param: utm_source&utm_medium https://example.com` îi spune lui Google să ignore parametrii UTM de pe example.com. Asta împiedică Google să trateze linkurile urmărite drept conținut duplicat. Este mai rar folosită astăzi, pentru că Google gestionează automat majoritatea parametrilor de urmărire.

Testează fișierul robots.txt în instrumentul de testare pentru robots.txt din Google Search Console. Instrumentul arată ce URL-uri ar fi blocate pentru Googlebot de robots.txt. Asta previne blocarea din greșeală a paginilor importante.

Concluzie

Robots.txt este un fișier simplu, dar esențial, pentru gestionarea crawl-ului motoarelor de căutare și pentru protejarea confidențialității site-ului tău. Un robots.txt bine configurat blochează paginile nesemnificative, economisește bugetul de crawl și împiedică parcurgerea repetată a conținutului duplicat. Un robots.txt configurat greșit poate bloca din greșeală conținut important și poate distruge pozițiile tale.

Testează întotdeauna modificările robots.txt înainte de publicare. Folosește instrumentul de testare din Google Search Console ca să validezi regulile. Monitorizează lunar statisticile de crawl. Blochează conținutul nesemnificativ și gestionează eficient bugetul de crawl. Folosește instrumentul nostru de audit GEO SEO ca să verifici configurația robots.txt și să identifici potențiale probleme de crawlabilitate și indexare pe întreg site-ul.