Analiza log-urilor serverului pentru SEO: citește jurnalele și reduce risipa de crawl

Test rapid

Ți se potrivește SEO și cum ar trebui să începi?

Întrebarea 1 din 425%

Oamenii caută pe Google ce vinzi?

Da, cred că daNu, este nou sau foarte de nișăNu știu

Ce înregistrează jurnalul serverului și de ce depășește celelalte date ale tale

De fiecare dată când ceva cere un fișier de la serverul tău, serverul scrie o singură linie în jurnalul de acces. Majoritatea serverelor folosesc un format apropiat de Apache „combined”. O cerere Googlebot arată astfel:

66.249.66.1 - - [13/Nov/2026:08:14:22 +0100] "GET /products/red-running-shoes HTTP/1.1" 200 18342 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Citește de la stânga la dreapta: adresa IP, marca temporală, metoda HTTP și URL-ul, codul de stare (aici 200), numărul de octeți trimiși, referrerul și user agentul. Sunt acolo toate cererile, inclusiv cele care nu apar niciodată ca vizualizare de pagină în instrumentul tău de analiză: imagini, fișiere CSS, redirecționări și erori 404.

Fiecare dintre celelalte surse de date ale tale vede o parte din această imagine. Raportul Statistici de accesare din Search Console este agregat și acoperă doar crawlerele Google. Instrumentele de analiză înregistrează doar vizitatorii al căror browser rulează JavaScript-ul tău. Un crawler de site, precum Screaming Frog, arată ce poate ajunge urmând linkurile tale, iar asta nu este același lucru cu ce a ales Google să ceară. Doar jurnalul serverului înregistrează ce s-a întâmplat cu adevărat.

De ce contează analiza jurnalelor: bugetul de crawl, explicat simplu

Bugetul de crawl este setul de URL-uri pe care Google le poate și le vrea parcurse pe site-ul tău. Google îl descrie prin doi factori. Primul este limita capacității de crawl: câte conexiuni pot ține deschise crawlerele Google către serverul tău fără să-l supraîncarce. Această limită crește când site-ul rămâne sănătos și scade când răspunsurile încetinesc sau întorc erori 5xx sau 429. Al doilea este cererea de crawl, care depinde de dimensiunea site-ului, de cât de des se schimbă conținutul, de calitatea lui și de popularitatea paginilor.

Google prezintă subiectul ca pe un ghid avansat pentru site-urile mari. Pragurile sale orientative sunt site-urile cu 1 milion sau mai multe pagini unice al căror conținut se schimbă aproximativ o dată pe săptămână și site-urile cu 10000 sau mai multe pagini unice al căror conținut se schimbă zilnic. Intră în sfera de interes și site-urile în care multe URL-uri au statusul „Descoperită, momentan neindexată”. Site-urile mai mici se pot baza de obicei pe un sitemap actualizat și pe verificarea periodică a raportului Indexarea paginilor. Asta nu înseamnă că jurnalele nu le sunt utile. Când ceva nu merge cu crawl-ul, jurnalul este cel mai rapid mod de a vedea exact unde.

Dacă site-ul tău se află în acest interval, întrebarea nu mai este dacă să citești jurnalele, ci cât de des. Un audit făcut o singură dată îți arată risipa de astăzi. Un export lunar îți arată dacă reparațiile tale au schimbat ceea ce consumă Googlebot. Pentru vocabular, intrarea din glosar despre bugetul de crawl acoperă bazele, iar ghidul despre statusul Descoperită, momentan neindexată explică statusul care declanșează de obicei acest tip de verificare.

Metoda, pas cu pas

Fluxul de mai jos funcționează cu orice server și orice instrument. Secțiunile următoare explică fiecare pas în detaliu și oferă comenzile pe care le poți rula pe un fișier de jurnal brut chiar astăzi.

Obține jurnalele din stratul potrivit

Cere dezvoltatorului sau furnizorului de hosting jurnalele brute de acces ale serverului web (Apache, Nginx sau IIS). Verifică trei lucruri înainte să începi: formatul jurnalului, fusul orar și perioada de retenție. În funcție de configurare, jurnalele vechi pot fi șterse după câteva zile sau săptămâni, așa că cere exportul acum, nu mai târziu.

Stratul contează mai mult decât cred mulți oameni. Dacă un CDN răspunde unei cereri din cache, serverul tău de origine nu o vede niciodată. Googlebot poate parcurge un URL care nu apare niciodată în jurnalul de origine, deci un export doar de pe origine subestimează activitatea de crawl pe conținutul din cache. Exportă și jurnalele CDN și compară cele două surse pentru câteva URL-uri înainte să ai încredere în vreun total.

Filtrează și numără Googlebot cu câteva comenzi

Pe un jurnal în format combined, codul de stare este al 9-lea câmp, iar calea URL-ului este al 7-lea. Aceste două coloane răspund la majoritatea întrebărilor de început. Comanda aceasta numără cererile Googlebot după codul de stare:

grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

Aceasta listează cele 20 de căi cerute cel mai des de Googlebot, cu șirul de interogare eliminat, ca variantele de filtre să se grupeze împreună:

grep "Googlebot" access.log | awk '{print $7}' | cut -d '?' -f1 | sort | uniq -c | sort -rn | head -20

Prima comandă citește textul user agentului, pe care oricine îl poate falsifica. Tratează rezultatul ca pe o listă de candidați până termini secțiunea următoare. De asemenea, dacă jurnalul tău folosește un format personalizat, numerele câmpurilor se schimbă, așa că verifică o linie cu ochii înainte să ai încredere în coloane.

Verifică Googlebot exact cum îl descrie Google

Metoda proprie a Google pentru a confirma că un vizitator este Googlebot folosește DNS. Rulează o interogare DNS inversă pentru adresa IP din jurnalul tău, verifică dacă numele gazdei se termină în googlebot.com, google.com sau googleusercontent.com, apoi rulează o interogare directă pentru acel nume de gazdă și verifică dacă returnează IP-ul original. Documentația Google folosește acest exemplu, în care 66.249.66.1 se rezolvă invers în crawl-66-249-66-1.googlebot.com:

host 66.249.66.1

Verificarea directă este a doua comandă și trebuie să returneze același IP:

host crawl-66-249-66-1.googlebot.com

Dacă procesezi milioane de linii, interogările DNS devin lente. Google publică și fișiere JSON cu intervalele de IP ale crawlerelor sale, inclusiv common-crawlers.json pentru Googlebot. Potrivirea cu aceste intervale este mai rapidă, iar ghidul oficial de verificare descrie ambele metode în ghidul Google despre verificarea Googlebot.

Grupează, măsoară și citește rezultatele

Numărătorile brute pe URL sunt greu de folosit. Grupează mai întâi URL-urile pe șablon, pentru că o reparație se aplică de obicei unui șablon, nu unei singure pagini. Apoi măsoară patru lucruri pentru fiecare grup. Măsoară câte accesări Googlebot primește în raport cu importanța lui pentru afacere. Măsoară structura codurilor de stare. Măsoară cât de repede primesc paginile noi prima accesare după publicare. Măsoară dacă accesările se concentrează pe paginile pe care vrei să le clasezi.

Citește rezultatele ca pe un tipar, nu ca pe un singur număr. Dacă majoritatea accesărilor Googlebot ajung pe URL-uri de filtre și doar câteva pe pagini de produse, bugetul de crawl se scurge, iar problema este probabil în linkurile interne sau în gestionarea parametrilor, nu în paginile de produse în sine. Secțiunea următoare enumeră semnalele de căutat.

Cele șapte semnale ascunse în jurnale

Odată ce liniile Googlebot sunt verificate și grupate, șapte semnale explică majoritatea problemelor de crawl. Tabelul indică tiparul de căutat și reparația obișnuită. Fiecare reparație este o schimbare pe site, așa că confirm-o în exportul următor.

Semnal	Ce arată jurnalele	Ce să faci
Risipă de crawl	Accesări Googlebot pe filtre, ordonări, căutarea internă și URL-uri de sesiune	Consolidează cu canonicale, elimină linkurile interne către aceste URL-uri și blochează în robots.txt variantele inutile care nu pot fi consolidate
Redirecționări	Accesări pe răspunsuri 301 sau 302 și lanțuri de două sau mai multe sărituri	Leagă direct la URL-ul final. Ghidul 301 vs 302 te ajută să alegi tipul corect de redirecționare
Erori	Accesări repetate pe 404 sau 410 și vârfuri de răspunsuri 5xx	Restaurează sau redirecționează paginile care încă au importanță și repară erorile de server, pentru că răspunsurile 5xx reduc cât crawlează Google
Crawl lipsă	URL-uri importante fără nicio accesare Googlebot în fereastra analizată	Verifică linkurile interne, intrările din sitemap și regulile robots.txt care ar putea ține crawlerele departe de ele
Duplicate	Același conținut accesat sub mai multe URL-uri, cu slash-uri finale, litere mari sau parametri	Alege un singur URL canonic și leagă la el peste tot
Timp până la primul crawl	Intervalul dintre publicare și prima accesare Googlebot a unei pagini noi	Leagă paginile noi din pagini deja crawlate des și menține sitemap-ul curat
Timp de răspuns	Răspunsuri lente pe șabloanele cel mai des accesate de Googlebot	Accelerează mai întâi aceste șabloane, deoarece Google spune că răspunsurile lente îl fac să crawleze mai puțin

Rândul „crawl lipsă” este cel pe care oamenii îl sar, și de multe ori este cel mai costisitor. O pagină pe care nu o vezi niciodată în jurnal poate să nu se claseze pentru nimic, chiar dacă conținutul ei este excelent. Dacă un URL este în sitemap, dar nu apare niciodată în jurnale, pagina este probabil accesibilă doar printr-o cale pe care crawlerele nu o urmează. Ghidul despre Parcursă, momentan neindexată acoperă cealaltă față a acestei situații, când Googlebot vizitează, dar totuși nu indexează.

Trei moduri de a rula analiza, comparate

Poți rula analiza jurnalelor cu scripturi, cu o aplicație desktop sau cu o platformă. Fiecare se potrivește unui volum și unei echipe diferite. Alegerea corectă depinde mai puțin de dimensiunea site-ului și mai mult de cât de des ai nevoie de răspuns și de cine îl va citi.

Linia de comandă: grep, awk și Python

Principiu: analizezi fișierele brute cu scripturi și scrii rezultatele într-un fișier sau o foaie de calcul. Când să o folosești: verificări unice, site-uri mici sau un dezvoltator care vrea control total. Avantaje: este gratuită, vezi fiecare linie și o poți automatiza cu o sarcină programată. Limite: durează să o scrii și să o întreții, merge doar atât de repede cât mașina ta, nu are grafice și trebuie să verifici singur botii.

Exemplu: comenzile din secțiunea despre metodă, rulate o dată pe lună pe același export, îți dau structura codurilor de stare și căile principale pentru Googlebot. Un script Python scurt poate face același lucru și poate adăuga verificarea DNS, care este mai lentă, dar mai exactă.

Instrument desktop: Screaming Frog Log File Analyser

Principiu: imporți jurnalele brute într-un proiect desktop, iar instrumentul grupează botii, le verifică identitatea și desenează graficele. Când să o folosești: un consultant sau un analist intern care lucrează pe un site cu zeci de mii de URL-uri. Avantaje: citește jurnalele Apache, IIS și Nginx în formatul W3C Extended, verifică botii motoarelor de căutare și semnalează paginile mari sau lente. Limite: versiunea gratuită are un plafon, iar cantitatea de date pe care o poți încărca depinde de hard disk-ul tău.

Citește pagina Log File Analyser de la Screaming Frog înainte să cumperi. Pentru un ghid complet al crawlerului care se asociază cu acest instrument, vezi ghidul nostru Screaming Frog SEO Spider. Analizorul de jurnale face un lucru pe care crawlerul nu îl poate face: arată ce au cerut botii în lumea reală, nu ce sugerează linkurile tale.

Platformă: monitorizare continuă a jurnalelor

Principiu: platforma primește jurnalele tale programat, adesea de la CDN sau de la server, și le combină cu un crawl al site-ului tău și cu date de indexare. Când să o folosești: site-uri mari de ecommerce sau echipe enterprise care monitorizează crawl-ul în fiecare săptămână, pe mai multe piețe. Avantaje: se scalează la jurnale foarte mari, păstrează istoricul și permite mai multor echipe să împartă dashboard-uri. Limite: costă mai mult, durează să te integrezi, iar dependența de furnizor este reală, așa că verifică cum îți poți exporta datele înainte să te angajezi. Furnizorii din această categorie includ Oncrawl și Botify, iar merită să întrebi fiecare cum verifică botii.

Criteriu	Linia de comandă	Instrument desktop	Platformă
Cost	Gratuit	Gratuit până la 1000 de evenimente din jurnal, 99 de lire pe an pentru licența completă	Abonament, prețul depinde de volum
Configurare	Scrii și întreții scripturile	Instalare, import, pornire	Conectori și integrare
Volum	Limitat de mașina ta	Limitat de hard disk și licență	Construit pentru jurnale foarte mari
Verificarea botilor	Manuală, cu verificări DNS sau de intervale IP	Integrată	Întreabă furnizorul
Cel mai potrivit pentru	Verificări unice și site-uri mici	Consultanți și site-uri de dimensiune medie	Echipe enterprise și ecommerce cu monitorizare săptămânală

Raportul Statistici de accesare al Google: util, dar insuficient

Înainte să exporți un singur jurnal, deschide raportul Statistici de accesare din Search Console. Acesta arată totalul cererilor de crawl, dimensiunea totală a descărcărilor, timpul mediu de răspuns, răspunsurile grupate pe tip, tipurile de fișiere, scopul crawl-ului și tipul de Googlebot care a făcut fiecare cerere. Pentru o verificare de tendință, este cea mai rapidă vizualizare pe care o ai, iar tutorialul Google Search Console explică unde o găsești.

Limitele lui explică de ce jurnalele contează în continuare. Raportul este disponibil doar pentru proprietățile de tip domeniu și pentru cele de tip prefix de URL la nivel rădăcină. Acoperă doar crawlerele Google, deci GPTBot, ClaudeBot și ceilalți boți lipsesc. Grupează datele în loc să listeze fiecare URL, așa că îți poate spune că cererile de crawl au scăzut, dar nu îți poate spune ce șabloane le-au pierdut. Folosește-l ca să observi că s-a schimbat ceva, apoi folosește jurnalele ca să afli ce anume.

Pagina de ajutor a Google despre Statistici de accesare descrie fiecare grupare. Când graficul și exportul tău de jurnale nu se potrivesc, nu le crede pe niciunul până nu verifici fereastra de timp și pasul de verificare. Majoritatea acestor neconcordanțe vin dintr-o fereastră diferită, dintr-un CDN care răspunde din cache sau dintr-un număr de boți care include cereri neverificate.

Corectarea risipei de crawl odată ce o vezi

Reparațiile decurg din semnale. Majoritatea se reduc la trei mișcări: încetezi să trimiți crawlerele pe pagini care nu contează, le trimiți direct la URL-ul final atunci când o pagină s-a mutat și faci mai rapide paginile care contează.

Navigare pe fațete. Filtrele și ordonările creează multe URL-uri cu conținut aproape identic. Consolidează-le cu canonicale acolo unde poți și elimină linkurile interne către variantele fără valoare de căutare. Când o variantă nu poate fi consolidată și trebuie să rămână în afara crawl-ului, blochează-o în robots.txt. Ghidul Google este specific aici: nu folosi noindex pentru asta, pentru că Google tot trebuie să ceară pagina înainte să poată vedea eticheta. Iată tipul de regulă pe care merită să o testezi:

User-agent: Googlebot
Disallow: /*?sort=
Disallow: /*?color=

Păstrează schimbarea robots.txt proporțională. Google spune că blocarea URL-urilor nu eliberează bugetul de crawl pentru celelalte pagini ale tale, decât dacă site-ul atinge deja limita de capacitate. Blocarea este pentru URL-urile fără valoare, nu o metodă de a împinge bugetul spre cele mai bune pagini. intrarea din glosar despre robots.txt explică cum este citit fișierul.

Lanțuri de redirecționare. Când o pagină s-a mutat de două ori, crawlerul trece prin ambele redirecționări de fiecare dată. Actualizează linkurile interne ca să indice URL-ul final, apoi păstrează vechile redirecționări pentru linkurile externe. Alegerea între o redirecționare permanentă și una temporară contează din același motiv, iar ghidul 301 vs 302 o acoperă în detaliu.

Pagini dispărute. Returnează 404 sau 410 pentru paginile șterse permanent. Google spune că soft 404 continuă să fie crawlate și consumă bugetul de crawl, deci un mesaj „pagină negăsită” trimis cu statusul 200 este mai rău decât un 404 real.

Timp de răspuns și cache. Google spune că răspunsurile lente sau care eșuează îl fac să crawleze mai puțin. Susține răspunsurile 304 (Not Modified), ca paginile neschimbate să poată fi servite din cache. Apoi uită-te la șabloanele care primesc cele mai multe accesări Googlebot și fă mai întâi mai rapide răspunsurile acelea.

Greșelile care costă cel mai mult și cum să le eviți

Majoritatea analizelor de jurnale care merg prost fac una dintr-un mic set de greșeli. Fiecare dintre cele de mai jos are un simptom pe care îl poți observa în date și o soluție pe care o poți aplica în aceeași săptămână.

Încrederea în șirul user agent

Ce este: numărarea fiecărei cereri care spune „Googlebot” ca fiind crawl-ul Google. Cum o recunoști: accesări Googlebot de la adrese IP care nu se rezolvă invers către gazdele Google sau un salt brusc de la o singură adresă. Cum o repari: rulează verificarea din secțiunea despre metodă înainte să numeri ceva și ține accesările neverificate într-o categorie separată, ca să poți vedea în continuare activitatea scraperelor.

Citirea doar a răspunsurilor 200

Ce este: concentrarea doar pe paginile care returnează 200 și ignorarea restului. Cum o recunoști: raportul tău nu are o secțiune 3xx, 4xx sau 5xx, ori structura codurilor de stare nu este niciodată discutată. Cum o repari: începe întotdeauna cu distribuția codurilor de stare. O creștere a accesărilor 404 poate dezvălui un link intern stricat, iar o creștere a accesărilor 5xx poate dezvălui o problemă de server care încetinește întregul crawl.

Blocarea unei pagini pe care vrei să o dezindexezi

Ce este: adăugarea unei reguli robots.txt la o pagină care are și eticheta noindex. Cum o recunoști: pagina rămâne în index, iar jurnalul nu arată nicio accesare Googlebot, pentru că crawlerul este blocat să ceară pagina. Cum o repari: elimină blocarea, ca Google să poată citi eticheta noindex, așteaptă ca pagina să iasă din index, apoi restabilește blocarea dacă mai ai nevoie de ea. Ghidul Blocat de robots.txt explică statusul din Search Console care apare în acest caz.

Compararea unor ferestre de lungimi diferite

Ce este: compararea unui export de 3 zile dinaintea reparației cu unul de 30 de zile de după. Cum o recunoști: totalurile se mișcă mult, dar ponderea fiecărui șablon nu. Cum o repari: compară același număr de zile, în aceeași perioadă a anului dacă poți, și compară ponderile, nu totalurile brute, când volumul se schimbă.

Măsurarea accesărilor în loc de valoare

Ce este: sărbătorirea unei creșteri a accesărilor Googlebot fără să verifici dacă acele accesări ajung la pagini care sunt indexate. Cum o recunoști: accesările se concentrează pe URL-uri care nu sunt indexate sau care nu aduc niciodată trafic. Cum o repari: leagă grupurile tale de jurnal de statusul de indexare din instrumentul Inspecția URL-ului din Search Console și consideră o reparație un succes doar când crawl-ul se mută spre paginile care contează.

Unde se încadrează botii AI în aceleași jurnale

Aceleași jurnale arată ce fac crawlerele AI pe site-ul tău, iar metoda este aceeași: grupează-le, verifică-le acolo unde furnizorul îți oferă o cale și citește codurile de stare. Ghidul nostru despre jurnalele crawlerelor AI acoperă ce boți să cauți și cum diferă de Googlebot. Acest articol aprofundează metoda pentru Googlebot, iar secțiunea despre AI de mai jos arată cum poți pune ambele în același raport.

Tip de bot	Exemple	Ce să verifici în jurnale	Unde citești mai departe
Crawler de căutare	Googlebot	Accesări pe șablon, structura codurilor de stare, timpul până la primul crawl pe paginile noi	Secțiunile de mai sus din acest articol
Crawler de antrenare	GPTBot, ClaudeBot, CCBot	Dacă cer conținutul tău și dacă respectă robots.txt	Robots.txt pentru crawlerele AI
Crawler de recuperare	ChatGPT-User, PerplexityBot	Rafale scurte de vizite legate de întrebările utilizatorilor și paginile la care ajung aceste rafale	Jurnalele crawlerelor AI

Împărțirea între antrenare și recuperare vine din modul în care sunt documentate crawlerele AI. Crawlerele de antrenare adună conținut pentru modele, iar cele de recuperare aduc pagini atunci când un utilizator pune o întrebare. Raportul tău ar trebui să le țină separate, pentru că o decizie de politică pentru una nu se aplică automat celeilalte.

Dacă vrei să vezi traficul Google și traficul AI unul lângă altul în timp ce livrezi aceste reparații, dashboard-ul GEO / SEO de la Sorank le arată pe amândouă într-o singură vedere. Folosește-l ca să verifici dacă modificările pe care le faci din jurnale mută într-adevăr traficul, nu doar numărul de accesări de crawl.