Bugetul de crawl: cât de des vizitează motoarele de căutare site-ul tău

Bugetul de crawl descrie cât de multă atenție de crawl alocă un motor de căutare site-ului tău. Googlebot nu parcurge toate paginile de pe internet în mod egal sau constant. Ia decizii economice despre unde își cheltuie resursele limitate. Bugetul de crawl este rezultatul practic al acestor decizii pentru domeniul tău: setul de adrese URL pe care Google le poate prelua și le vrea să le preia într-o perioadă de timp.

Google nu publică un număr pentru bugetul tău de crawl și nu te lasă să îl setezi manual. În schimb, documentația Google despre bugetul de crawl explică faptul că el rezultă din doi factori de bază. Înțelegerea acestor factori este cheia pentru a influența cât de complet și cât de des sunt parcurse paginile tale, mai ales în 2026, când crawlerele AI pun o presiune nouă pe resursele serverelor.

Cei doi factori: capacitatea de crawl și cererea de crawl

Limita de capacitate de crawl este numărul maxim de conexiuni simultane pe care Googlebot le va folosi pentru a parcurge site-ul tău, plus întârzierea dintre cereri. Este determinată de starea serverului tău. Dacă site-ul răspunde rapid și fără erori, Google ridică limita și parcurge mai agresiv. Dacă serverul încetinește sau returnează erori 5xx, Google se retrage pentru a nu te supraîncărca.

Cererea de crawl arată cât de mult vrea Google să parcurgă paginile tale. Crește odată cu popularitatea (adrese care atrag trafic și linkuri), inventarul perceput (câte pagini utile crede Google că ai) și vechimea (pagini despre care Google crede că trebuie reîmprospătate). Un site mare, actualizat frecvent și cu autoritate generează o cerere mare de crawl. Un site mic și static generează o cerere mică.

Bugetul tău efectiv de crawl este punctul în care se întâlnesc cei doi factori. O capacitate mare cu o cerere mică înseamnă tot un crawl redus, iar o cerere mare limitată de un server lent înseamnă pagini ratate. Ambele pârghii contează și interacționează cu amprenta ta generală de crawling.

Cine trebuie să se îngrijoreze de fapt pentru bugetul de crawl

Majoritatea site-urilor nu trebuie să se gândească deloc la bugetul de crawl. Dacă ai câteva sute sau câteva mii de pagini și serverul tău este destul de rapid, Google va parcurge fără dificultate tot ce este important. Investiția de energie în optimizarea bugetului de crawl pentru un site mic este, de obicei, un efort irosit.

Google își adresează explicit recomandările către trei grupuri: site-uri mari, cu un milion sau mai multe pagini unice care se schimbă cel puțin săptămânal, site-uri medii sau mari, cu 10.000 sau mai multe pagini unice care se schimbă zilnic, și orice site la care o parte mare a adreselor apare ca Descoperită, în prezent neindexată în Search Console. Dacă te încadrezi într-una dintre aceste categorii, bugetul de crawl devine o constrângere reală, care controlează direct ce pagini sunt indexate și cât de proaspete rămân.

Cum îți dai seama dacă bugetul de crawl este o problemă

Cel mai clar semnal se găsește în Google Search Console. Deschide raportul Statistici de crawl ca să vezi câte cereri face Googlebot pe zi, timpul mediu de răspuns și eventualele erori de disponibilitate. Un număr mare de cereri consumate pe adrese cu valoare scăzută sau timpi de răspuns în creștere indică ineficiență.

Urmărește raportul Pagini pentru starea Descoperită, în prezent neindexată. Când Google a găsit o adresă, dar nu a parcurs-o încă, paginile tale importante pot aștepta în spatele unei cozi de pagini nerelevante. Analiza jurnalelor serverului este cea mai precisă metodă: arată exact ce adrese URL preia Googlebot și cât de des, dezvăluind unde ajunge bugetul tău în realitate, față de locul unde ai vrea să ajungă.

Ce risipește bugetul de crawl

Cele mai mari pierderi sunt previzibile. Navigarea pe facete și parametrii din URL pot genera combinații aproape infinite de pagini filtrate și sortate, fiecare fiind o adresă unică pe care Googlebot le poate încerca să le parcurgă. ID-urile de sesiune din URL creează aceeași explozie de duplicate. Fiecare preluare irosită este o preluare care nu s-a cheltuit pe o pagină reală.

Alți consumatori obișnuiți sunt lanțurile lungi de redirecționări, paginile soft 404, care returnează un status 200 pentru conținut inexistent, conținutul duplicat pe mai multe adrese, paginile cu derulare infinită sau cu calendare, care generează linkuri fără sfârșit, și sitemap-urile vechi care indică spre adrese inexistente. Fiecare dintre acestea consumă capacitate de crawl care ar trebui să ajungă la cel mai nou produs, articol sau pagină de destinație și la o indexare mai bună a paginilor care te interesează.

Cum optimizezi bugetul de crawl

Începe prin a bloca ce nu ar trebui să parcurgă Google. Folosește fișierul robots.txt pentru a interzice parametrii de facete, rezultatele căutării interne și alte modele de adrese cu valoare scăzută. Google precizează că robots.txt, nu noindex, este instrumentul potrivit aici: o pagină cu noindex trebuie totuși parcursă ca să fie citită, ceea ce consumă buget, în timp ce o cale interzisă este ignorată.

Apoi, curăță codurile de status. Returnează un 404 sau 410 pentru paginile pe care le-ai eliminat definitiv, ca Google să nu le mai solicite. Consolidează conținutul duplicat prin etichete canonical și elimină lanțurile de redirecționări, indicând linkurile direct spre adresa finală. Fiecare corecție recuperează preluări pentru paginile care le merită.

În final, menține sitemap-ul XML corect, cu date lastmod reale, și îmbunătățește viteza serverului, ca Google să ridice limita de capacitate de crawl. Un site mai rapid este un site parcurs mai complet, toate celelalte lucruri fiind egale.

Bugetul de crawl și crawlerele AI în 2026

Googlebot nu mai este singurul crawler care concurează pentru atenția serverului tău. Companiile AI își trimit propriii boți, printre care GPTBot și OAI-SearchBot de la OpenAI, ClaudeBot de la Anthropic și PerplexityBot, pentru a aduna și a reîmprospăta conținutul pe care îl citează în răspunsuri. Acești crawleri consumă lățime de bandă și resurse reale ale serverului.

Datele de pe servere din 2025 au arătat că traficul crawlerelor AI și de căutare a crescut abrupt, mai mulți boți crescând cu sute de procente de la an la an. Efectul practic este că aceeași muncă de sănătate și eficiență a site-ului, care îți protejează bugetul de crawl Google, protejează și performanța pentru crawlerele AI. Un server rapid și o structură curată a URL-urilor ajută fiecare bot, de la Googlebot până la motoarele care alimentează căutarea AI, să își cheltuiască crawlingul limitat pe pagini care merită parcurse.

Bugetul de crawl vs. indexarea: o confuzie frecventă

Crawlingul și indexarea sunt etape distincte, iar confundarea lor duce la efort irosit. Bugetul de crawl determină dacă și cât de des preia Google o adresă URL. Indexarea este decizia separată despre faptul că o pagină parcursă merită să fie stocată și afișată în rezultate. O pagină poate fi parcursă și apoi lăsată intenționat neindexată, pentru că Google a considerat-o de valoare scăzută.

Acest lucru contează pentru diagnostic. Dacă o pagină este Descoperită, dar neparcursă, este o problemă de buget de crawl sau de descoperire, iar soluțiile de mai sus se aplică. Dacă o pagină este Parcursă, dar neindexată, problema este de obicei calitatea conținutului, conținutul subțire sau duplicarea, iar nicio optimizare a crawlului nu o va rezolva. Identifică ce etapă eșuează înainte să acționezi.

Optimizarea bugetului de crawl pe tipuri de site: de unde să începi?

Optimizarea bugetului de crawl începe cu tipul de site pe care îl administrezi, pentru că fiecare tip risipește crawlul în felul său. Potrivit ghidului Google pentru site-urile mari, subiectul privește în principal site-urile cu un număr foarte mare de pagini sau cu pagini care se schimbă foarte des. Pentru un site mic, calitatea conținutului și linkurile interne contează mult mai mult.

Tip de site	Pierderea tipică	Prima corecție
Magazin online mare	Filtre, ordini de sortare și parametri care creează combinații nesfârșite de adrese URL	Păstrează indexabile doar paginile de filtre valoroase, indică restul spre categoria principală printr-o etichetă canonical și nu mai crea linkuri spre ele
Site de știri sau de publicare	Articolele noi sunt descoperite prea lent	Un sitemap actualizat la publicare, cu date lastmod corecte, și un server rapid
Site după o migrare	Lanțuri de redirecționări și adrese vechi încă linkate	Redirecționări 301 directe, cu un singur salt, și linkuri interne actualizate spre adresele finale
Site greu, bazat pe JavaScript	Conținut vizibil doar după randare	Randare pe server sau pre-randare pentru șabloanele-cheie
Site cu căutare internă sau profiluri de utilizator	Mii de pagini subțiri, aproape duplicate	Blochează rezultatele căutării interne în robots.txt și ține paginile subțiri afară din index

Indiferent de tip, urmează aceeași ordine: elimină mai întâi risipa, apoi fă paginile importante mai ușor de atins și verifică efectul în raportul Statistici de crawl câteva săptămâni mai târziu. A face paginile mai ușor de atins înseamnă, în mare parte, linkuri interne: o pagină linkată din mai multe articole relevante este descoperită și reparcursă mai repede decât o pagină orfană. Sorank adaugă aceste linkuri automat la fiecare articol publicat, ceea ce ține conținutul nou conectat la restul site-ului.

Concluzie

Bugetul de crawl este numărul de adrese URL pe care un motor de căutare le poate și le vrea să le parcurgă pe site-ul tău într-un interval dat, stabilit de limita de capacitate de crawl (starea serverului tău) și de cererea de crawl (popularitatea, inventarul și prospețimea ta). Este o preocupare reală pentru site-urile mari, cu 10.000 sau mai multe pagini, și pentru orice site cu multe adrese Descoperite, dar neindexate. Pentru site-urile mici, este în mare parte o problemă inexistentă. Pentru a-l optimiza, blochează adresele cu valoare scăzută în robots.txt, corectează codurile de status și lanțurile de redirecționări, elimină duplicatele, menține sitemap-ul corect și accelerează serverul. În 2026, aceeași igienă ține eficiente și crawlerele AI. Rulează un audit GEO SEO de la Sorank ca să găsești risipa de crawl care îți afectează indexarea.