Naplófájl-elemzés SEO-hoz: olvasd a szervernaplókat és javítsd a feltérképezési pazarlást

Gyors kvíz

Neked való a SEO, és hogyan kezdd el?

1. kérdés, összesen 425%

Keresik az emberek a Google-ben, amit eladsz?

Igen, szerintem igenNem, új vagy nagyon speciálisNem tudom

Mit rögzít a szervernapló, és miért jobb a többi adatodnál

Valahányszor valami fájlt kér a szervereden, a szerver ír egy sort a hozzáférési naplójába. A legtöbb szerver az Apache "combined" formátumához közeli formátumot használ. Egy Googlebot-kérés így néz ki:

66.249.66.1 - - [13/Nov/2026:08:14:22 +0100] "GET /products/red-running-shoes HTTP/1.1" 200 18342 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Balról jobbra olvasva: az IP-cím, az időbélyeg, a HTTP-metódus és az URL, az állapotkód (itt 200), az elküldött bájtok száma, a hivatkozó és a user agent. Minden kérés benne van, még azok is, amelyek sosem jelennek meg oldalmegtekintésként az analitikai eszközödben: képek, CSS-fájlok, átirányítások és 404-es hibák.

A többi adatforrásod mindegyike ennek csak egy részét látja. A Search Console Feltérképezési statisztika jelentése összesített, és csak a Google feltérképezőit fedi le. Az analitikai eszközök csak azokat a látogatókat rögzítik, akiknek a böngészője lefuttatja a JavaScriptedet. Egy oldalfeltérképező, például a Screaming Frog azt mutatja, amit a linkjeid követésével elér, ami nem ugyanaz, mint amit a Google úgy döntött, hogy lekér. Csak a szervernapló rögzíti, ami ténylegesen történt.

Miért számít a naplóelemzés: a feltérképezési keret egyszerűen

A feltérképezési keret (crawl budget) azon URL-ek halmaza, amelyeket a Google az oldaladon fel tud és fel akar térképezni. A Google két tényezővel írja le. Az első a feltérképezési kapacitás korlátja: hány kapcsolatot tarthatnak nyitva a Google feltérképezői a szervereddel anélkül, hogy túlterhelnék. Ez a korlát nő, ha az oldal egészséges, és csökken, ha a válaszidők nőnek, vagy 5xx- vagy 429-es hibákat kapnak. A második a feltérképezési kereslet, amely az oldal méretétől, a tartalom változásának gyakoriságától, a minőségtől és az oldalak népszerűségétől függ.

A Google a témát nagy oldalaknak szóló haladó útmutatóként mutatja be. Durva küszöbei: 1 millió vagy több egyedi oldal, amelynek tartalma nagyjából hetente változik, és 10000 vagy több egyedi oldal, amelynek tartalma naponta változik. Azok az oldalak is idetartoznak, ahol sok URL van a "Discovered - currently not indexed" állapotban. A kisebb oldalak általában elboldogulnak egy naprakész sitemap-pel és a Lapindexelés jelentés rendszeres ellenőrzésével. Ez nem jelenti azt, hogy a naplók haszontalanok lennének számukra. Ha valami nincs rendben a feltérképezéssel, a napló a leggyorsabb mód annak pontos megtalálására.

Ha az oldalad ebbe a tartományba esik, a kérdés már nem az, hogy olvass-e naplókat, hanem az, hogy milyen gyakran. Egy egyszeri audit megmutatja a mai pazarlást. Egy havi export megmutatja, megváltoztatták-e a javításaid, mire költi az idejét a Googlebot. A fogalmakhoz a feltérképezési keret szószedeti bejegyzése ad alapokat, a Discovered, currently not indexed útmutató pedig az állapotot magyarázza el, amely általában az ilyen átnézést indítja el.

A módszer, lépésről lépésre

Az alábbi munkafolyamat bármely szerverrel és bármely eszközzel működik. A későbbi szakaszok minden lépést részletesen elmagyaráznak, és megadják azokat a parancsokat, amelyeket ma is lefuttathatsz egy nyers naplófájlon.

A naplókat a megfelelő rétegből szerezd meg

Kérd meg a fejlesztődet vagy a tárhelyszolgáltatódat a webszerver (Apache, Nginx vagy IIS) nyers hozzáférési naplóira. Kezdés előtt három dolgot ellenőrizz: a naplóformátumot, az időzónát és a megőrzési időt. A beállításaidtól függően a régi naplókat néhány nap vagy hét után rotálhatják ki, ezért most kérd az exportot, ne később.

A réteg fontosabb, mint az emberek gondolnák. Ha egy CDN a gyorsítótárából válaszol egy kérésre, az origin szerver soha nem látja azt. A Googlebot olyan URL-t is feltérképezhet, amely sosem jelenik meg az origin naplódban, így a csak origin-exportálás alulszámolja a gyorsítótárazott tartalom feltérképezési aktivitását. Exportáld a CDN naplóit is, és hasonlítsd össze a két forrást néhány URL-en, mielőtt bármelyik összesítésben megbíznál.

Szűrés és számolás a Googlebotra néhány paranccsal

Egy combined formátumú naplóban az állapotkód a 9. mező, az URL-útvonal pedig a 7. Ez a két oszlop a legtöbb első kérdésre válaszol. Ez a parancs a Googlebot-kéréseket számolja állapotkódonként:

grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

Ez a 20 útvonalat listázza, amelyeket a Googlebot a leggyakrabban kér, a lekérdezési karakterlánc eltávolításával, hogy a szűrővariánsok együtt csoportosuljanak:

grep "Googlebot" access.log | awk '{print $7}' | cut -d '?' -f1 | sort | uniq -c | sort -rn | head -20

Az első parancs a user agent szövegét olvassa, amelyet bárki hamisíthat. Kezeld a kimenetét jelöltlistaként, amíg a következő szakasz el nem készül. Ha a naplódban egyedi formátum van, a mezőszámok megváltoznak, ezért egy sort nézz át szemmel, mielőtt az oszlopokban megbíznál.

Ellenőrizd a Googlebotot a Google leírása szerint

A Google saját módszere annak megerősítésére, hogy egy látogató Googlebot, a DNS-t használja. Végezz fordított DNS-keresést a naplóból származó IP-címre, ellenőrizd, hogy a gépnév a googlebot.com, a google.com vagy a googleusercontent.com végződésre végződik-e, majd végezz előre irányuló keresést a gépnévre, és ellenőrizd, hogy visszaadja-e az eredeti IP-t. A Google dokumentációja ezt a példát használja: a 66.249.66.1 fordítva a crawl-66-249-66-1.googlebot.com névre oldódik fel:

host 66.249.66.1

Az előre irányuló ellenőrzés a második parancs, és ugyanazt az IP-t kell visszaadnia:

host crawl-66-249-66-1.googlebot.com

Ha milliónyi sort dolgozol fel, a DNS-keresések lassúak lesznek. A Google közzétesz JSON-fájlokat is a feltérképezői IP-tartományairól, köztük a Googlebothoz tartozó common-crawlers.json-t. Ezekhez a tartományokhoz illesztés gyorsabb, a hivatalos ellenőrzési útmutató pedig mindkét módszert leírja a Google Googlebot-ellenőrzési útmutatójában.

Csoportosítás, mérés és az eredmények olvasása

Az URL-enkénti nyers számokra nehéz intézkedni. Ezért először sablon szerint csoportosítsd az URL-eket, mert egy javítás általában egy sablonra vonatkozik, nem egyetlen oldalra. Ezután négy dolgot mérj csoportonként. Mérd, hány Googlebot-találatot kap, az üzleti fontosságához képest. Mérd az állapotkódok megoszlását. Mérd, milyen gyorsan kapják meg az új oldalak az első találatot a publikálás után. Mérd, koncentrálódnak-e a találatok azokra az oldalakra, amelyeket rangsorolni szeretnél.

Az eredményeket mintaként olvasd, ne egyetlen számként. Ha a Googlebot-találatok többsége szűrő-URL-eken landol, és csak néhány a termékoldalakon, a feltérképezési keret szivárog, és a probléma valószínűleg a belső linkekben vagy a paraméterkezelésben van, nem a termékoldalakon. A következő szakasz felsorolja, mely jeleket érdemes keresni.

A hét jel, amely a naplókban rejtőzik

Miután a Googlebot-sorokat ellenőrizted és csoportosítottad, hét jel magyarázza meg a feltérképezési problémák többségét. A táblázat megadja a keresendő mintát és a szokásos javítást. Minden javítás az oldal módosítása, ezért a következő exportban erősítsd meg.

Jel	Amit a naplók mutatnak	Mit tegyél
Feltérképezési pazarlás	Googlebot-találatok szűrőkön, rendezési sorrendeken, belső keresésen és munkamenet-URL-eken	Konszolidálj canonicalokkal, távolítsd el az ezekre az URL-ekre mutató belső linkeket, és blokkold a felesleges variánsokat a robots.txt-ben, ahol nem konszolidálhatók
Átirányítások	Találatok 301- vagy 302-es válaszokon, és két vagy több ugrásos láncok	Közvetlenül a végső URL-re linkelj. A 301 vs 302 útmutató segít a megfelelő átirányítás típusának kiválasztásában
Hibák	Ismétlődő 404- vagy 410-es találatok, és 5xx-válaszok csúcsai	Állítsd vissza vagy irányítsd át a még fontos oldalakat, és javítsd a szerverhibákat, mert az 5xx-válaszok csökkentik, mennyit térképez fel a Google
Hiányzó feltérképezések	Fontos URL-ek, amelyeket az időablakban egyetlen Googlebot-találat sem ért el	Ellenőrizd a belső linkeket, a sitemap-bejegyzéseket és a robots.txt szabályokat, amelyek távol tarthatják tőlük a robotokat
Duplikátumok	Ugyanaz a tartalom több URL alatt, záró perjelekkel, nagybetűkkel vagy paraméterekkel	Válassz egy kanonikus URL-t, és mindenhol arra linkelj
Idő az első feltérképezésig	Az idő a publikálás és az új oldal első Googlebot-találata között	Linkeld az új oldalakat olyan oldalakról, amelyeket már gyakran feltérképeznek, és tartsd tisztán a sitemapet
Válaszidő	Lassú válaszok a sablonokon, amelyeket a Googlebot a leggyakrabban ér el	Gyorsítsd fel először ezeket a sablonokat, mert a Google szerint a lassú válaszok miatt kevesebbet térképez fel

A "hiányzó feltérképezések" sort sokan kihagyják, pedig gyakran ez a legdrágább. Egy oldal, amelyet sosem látsz a naplóban, akkor sem rangsorolható semmire, ha a tartalma kiváló. Ha egy URL szerepel a sitemapodban, de sosem jelenik meg a naplókban, az oldal valószínűleg csak olyan úton érhető el, amelyet a feltérképezők nem követnek. A Crawled, currently not indexed útmutató a helyzet másik oldalát fedi le, amikor a Googlebot ugyan meglátogatja az oldalt, de mégsem indexeli.

Három módszer az elemzés futtatására, összehasonlítva

A naplóelemzést futtathatod szkriptekkel, asztali alkalmazással vagy platformmal. Mindegyik más mennyiséghez és más csapathoz illik. A választás kevésbé függ az oldal méretétől, mint attól, milyen gyakran van szükséged a válaszra és ki olvassa majd.

Parancssor: grep, awk és Python

Elv: a nyers fájlokat szkriptekkel dolgozod fel, és az eredményeket fájlba vagy táblázatba írod. Mikor használd: egyszeri ellenőrzésekhez, kis oldalakhoz vagy olyan fejlesztőnek, aki teljes kontrollt akar. Előnyök: ingyenes, minden sort látsz, és ütemezett feladatként automatizálhatod. Korlátok: időbe kerül megírni és karbantartani, csak annyira gyors, mint a géped, nincsenek benne diagramok, és a botokat magadnak kell ellenőrizned.

Példa: a módszer szakaszában szereplő parancsok, havonta egyszer ugyanazon az exporton futtatva, megadják az állapotkódok megoszlását és a Googlebot leggyakoribb útvonalait. Egy rövid Python-szkript ugyanezt megteheti, és hozzáadhatja a DNS-ellenőrzést, amely lassabb, de pontosabb.

Asztali eszköz: Screaming Frog Log File Analyser

Elv: a nyers naplókat asztali projektbe importálod, az eszköz pedig csoportosítja a botokat, ellenőrzi az identitásukat és diagramokat rajzol. Mikor használd: tanácsadó vagy belső elemző, aki tízezernyi URL-es oldalon dolgozik. Előnyök: olvassa az Apache-, IIS- és Nginx-naplókat W3C Extended formátumban, ellenőrzi a keresőmotor-botokat, és megjelöli a nagy vagy lassú oldalakat. Korlátok: az ingyenes verzió korlátozott, és a betölthető adatmennyiség a merevlemezedtől függ.

Vásárlás előtt olvasd el a Screaming Frog Log File Analyser oldalát. A hozzá illeszkedő feltérképezőről teljes áttekintésért nézd meg a Screaming Frog SEO Spider útmutatónkat. A naplóelemző olyan feladatot lát el, amelyet a feltérképező nem tud: megmutatja, mit kértek valójában a botok, nem azt, amit a linkjeid sugallnak.

Platform: folyamatos naplófigyelés

Elv: a platform ütemezetten fogadja a naplóidat, gyakran a CDN-től vagy a szervertől, és összekapcsolja őket az oldalad feltérképezésével és indexelési adataival. Mikor használd: nagy webáruházak vagy vállalati csapatok, amelyek hetente figyelik a feltérképezést több piacon. Előnyök: nagyon nagy naplókra is skálázódik, megőrzi az előzményeket, és több csapat is megoszthat irányítópultokat. Korlátok: többe kerül, időbe telik bevezetni, és a bezártság valós, ezért nézd meg, hogyan exportálhatod az adataidat, mielőtt elköteleződsz. Ebbe a kategóriába tartozik az Oncrawl és a Botify, és érdemes minden szállítótól megkérdezni, hogyan ellenőrzik a botokat.

Szempont	Parancssor	Asztali eszköz	Platform
Költség	Ingyenes	Ingyenes 1000 naplóesemény-ig, teljes licenc évi £99	Előfizetés, az ár a mennyiségtől függ
Beállítás	A szkripteket te írod és karbantartod	Telepítés, importálás, indítás	Csatlakozók és bevezetés
Mennyiség	A géped korlátozza	A merevlemez és a licenc korlátozza	Nagyon nagy naplókra készült
Botellenőrzés	Kézi, DNS- vagy IP-tartomány-ellenőrzéssel	Beépített	Kérdezd meg a szállítót
Legjobb	Egyszeri ellenőrzések és kis oldalak	Tanácsadók és közepes méretű oldalak	Vállalati és webáruházi csapatok heti figyeléssel

A Google Feltérképezési statisztika jelentése: hasznos, de nem elég

Mielőtt egyetlen naplót exportálnál, nyisd meg a Search Console Feltérképezési statisztika jelentését. Megmutatja a feltérképezési kérések összesített számát, a letöltés teljes méretét, az átlagos válaszidőt, a típus szerint csoportosított válaszokat, a fájltípusokat, a feltérképezés célját és azt, hogy melyik Googlebot-típus készítette az egyes kéréseket. Trendellenőrzéshez ez a leggyorsabb nézeted, és a Google Search Console útmutató elmagyarázza, hol találod.

Korlátai magyarázzák, miért számítanak még mindig a naplók. A jelentés csak domain-tulajdonságokhoz és gyökérszintű URL-előtag-tulajdonságokhoz érhető el. Csak a Google feltérképezőit fedi le, így a GPTBot, a ClaudeBot és a többi bot hiányzik belőle. Az adatokat csoportosítja ahelyett, hogy minden URL-t listázna, ezért megmondhatja, hogy csökkentek a feltérképezési kérések, de azt nem, hogy mely sablonok vesztették el őket. Használd arra, hogy észrevedd, valami megváltozott, a naplókat pedig arra, hogy kiderítsd, mi.

A Google Feltérképezési statisztika súgóoldala leírja az egyes csoportosításokat. Ha a diagram és a naplóexport nem egyezik, egyiknek se higgy, amíg nem ellenőrizted az időablakot és az ellenőrzési lépést. A legtöbb ilyen eltérés másik időablakból, gyorsítótárból válaszoló CDN-ből vagy olyan botszámlálásból ered, amely ellenőrizetlen kéréseket is tartalmaz.

A feltérképezési pazarlás javítása, amint látod

A javítások a jelekből következnek. A legtöbb három mozdulatra vezethető vissza: ne küldd a feltérképezőket olyan oldalakra, amelyek nem számítanak, küldd őket közvetlenül a végső URL-re, ha egy oldal átköltözött, és tedd gyorsabbá a fontos oldalakat.

Fazettás navigáció. A szűrők és rendezési sorrendek sok, szinte azonos tartalmú URL-t hoznak létre. Konszolidáld őket canonicalokkal, ahol lehet, és távolítsd el a belső linkeket azokra a variánsokra, amelyeknek nincs keresési értékük. Ahol egy variáns nem konszolidálható, és ki kell maradnia a feltérképezésből, blokkold a robots.txt-ben. A Google útmutatása itt pontos: ehhez ne használd a noindex-et, mert a Google-nek továbbra is le kell kérnie az oldalt, mielőtt láthatná a taget. Íme az a fajta szabály, amelyet tesztelned kell:

User-agent: Googlebot
Disallow: /*?sort=
Disallow: /*?color=

Tartsd arányban a robots.txt-változtatást. A Google szerint az URL-ek blokkolása nem szabadítja fel a feltérképezési keretet a többi oldalad számára, hacsak az oldal nem éri már el a kapacitáskorlátját. A blokkolás értéktelen URL-ekre való, nem arra, hogy a keretet a legjobb oldalaid felé tereld. A robots.txt szószedeti bejegyzésünk elmagyarázza, hogyan olvassák a fájlt.

Átirányítási láncok. Ha egy oldal kétszer költözött, a feltérképező minden alkalommal végigmegy mindkét átirányításon. Frissítsd a belső linkeket, hogy a végső URL-re mutassanak, a régi átirányításokat pedig tartsd meg a külső linkek miatt. A permanens és az ideiglenes átirányítás közötti választás ugyanezen okból számít, és a 301 vs 302 útmutató részletesen foglalkozik vele.

Törölt oldalak. Állíts 404-et vagy 410-et a véglegesen eltávolított oldalakra. A Google szerint a soft 404-eket folyamatosan feltérképezik, és ez pazarolja a keretet, ezért a 200-as állapottal küldött "az oldal nem található" üzenet rosszabb, mint egy valódi 404.

Válaszidő és gyorsítótárazás. A Google szerint a lassú vagy hibás válaszok miatt kevesebbet térképez fel. Támogasd a 304 (Not Modified) válaszokat, hogy a változatlan oldalakat a gyorsítótárból lehessen kiszolgálni. Ezután nézd meg azokat a sablonokat, amelyek a legtöbb Googlebot-találatot kapják, és ezeknek a válaszait gyorsítsd fel először.

A legdrágább hibák, és hogyan kerüld el őket

A legtöbb rosszul sikerült naplóelemzés a kis számú hiba valamelyikét követi el. Mindegyiknek van egy tünete, amelyet az adatokban láthatsz, és egy javítás, amelyet még ugyanazon a héten alkalmazhatsz.

A user agent karakterlánc megbízhatósága

Mi ez: minden olyan kérés számolása Google-feltérképezésként, amely "Googlebot"-ot mond magáról. Hogyan ismerd fel: Googlebot-találatok olyan IP-címekről, amelyek nem a Google gépneveire oldódnak fel vissza, vagy egy hirtelen ugrás egyetlen címről. Hogyan javítsd: futtasd le a módszer szakaszának ellenőrzését, mielőtt bármit számolnál, és az ellenőrizetlen találatokat tartsd külön csoportban, hogy továbbra is lásd a scraper-aktivitást.

Csak a 200-as válaszok olvasása

Mi ez: a 200-at visszaadó oldalakra való koncentrálás, a többi figyelmen kívül hagyása. Hogyan ismerd fel: a jelentésedben nincs 3xx-, 4xx- vagy 5xx-es szakasz, vagy az állapotkódok megoszlását sosem tárgyalják. Hogyan javítsd: mindig az állapotkódok eloszlásával kezdj. A 404-es találatok emelkedése egy törött belső linket árulhat el, az 5xx-es találatok emelkedése pedig olyan szerverproblémát, amely lelassítja az egész feltérképezést.

Olyan oldal blokkolása, amelyet ki akarsz indexelni

Mi ez: robots.txt-szabály hozzáadása olyan oldalhoz, amelyen noindex címke is van. Hogyan ismerd fel: az oldal az indexben marad, és a naplóban nincs Googlebot-találat, mert a feltérképezőt megakadályozzák abban, hogy lekérje. Hogyan javítsd: távolítsd el a blokkolást, hogy a Google el tudja olvasni a noindex címkét, várd meg, amíg az oldal kikerül az indexből, majd ha továbbra is szükséged van rá, állítsd vissza a blokkolást. A Blocked by robots.txt útmutató elmagyarázza az ilyenkor megjelenő Search Console-állapotot.

Különböző hosszúságú időablakok összehasonlítása

Mi ez: egy 3 napos export összehasonlítása egy javítás előtt egy 30 napos exporttal utána. Hogyan ismerd fel: az összesítések sokat mozdulnak, de a sablonok szerinti arányok nem. Hogyan javítsd: hasonlíts össze ugyanannyi napot, ha lehet, az év ugyanazon szakában, és változó mennyiség esetén arányokat hasonlíts, ne nyers összesítéseket.

Találatok mérése érték helyett

Mi ez: a Googlebot-találatok növekedésének ünneplése anélkül, hogy ellenőriznéd, eljutnak-e az indexelt oldalakig. Hogyan ismerd fel: a találatok olyan URL-ekre koncentrálódnak, amelyek nincsenek indexelve, vagy sosem hoznak forgalmat. Hogyan javítsd: kapcsold össze a naplócsoportjaidat a Search Console URL-vizsgálati eszközének indexelési állapotával, és csak akkor számolj egy javítást sikernek, ha a feltérképezés olyan oldalak felé mozdul el, amelyek számítanak.

Hol illeszkednek az AI-botok ugyanazokba a naplókba

Ugyanezek a naplók megmutatják, mit csinálnak az AI-feltérképezők az oldaladon, és a módszer ugyanaz: csoportosítsd őket, ellenőrizd ahol a szolgáltató ad rá módot, és olvasd az állapotkódokat. Az AI-feltérképező naplók útmutatónk lefedi, milyen botokat keress, és miben térnek el a Googlebottól. Ez a cikk mélyen tárgyalja a Googlebot-módszert, az alábbi AI-szakasz pedig megmutatja, hogyan vidd mindkettőt egy jelentésbe.

Bottípus	Példák	Mit ellenőrizz a naplókban	Tovább olvasnivaló
Kereső-feltérképező	Googlebot	Találatok sablononként, állapotkód-megoszlás, idő az első feltérképezésig az új oldalakon	A cikk fenti szakaszai
Tanító-feltérképező	GPTBot, ClaudeBot, CCBot	Kérik-e egyáltalán a tartalmadat, és tiszteletben tartják-e a robots.txt-det	Robots.txt AI-feltérképezőknek
Lekérő-feltérképező	ChatGPT-User, PerplexityBot	Rövid látogatási hullámok, amelyek a felhasználói kérdésekhez kötődnek, és az, hogy mely oldalakat érik el	AI-feltérképező naplók

A tanítás és a lekérés szétválasztása abból adódik, ahogyan az AI-feltérképezőket dokumentálják. A tanító-feltérképezők tartalmat gyűjtenek a modelleknek, a lekérő-feltérképezők pedig oldalakat töltenek le, amikor egy felhasználó kérdést tesz fel. A jelentésednek a kettőt el kell különítenie, mert egy döntés az egyikre nem vonatkozik automatikusan a másikra.

Ha a Google-forgalmat és az AI-forgalmat egymás mellett szeretnéd látni, miközben ezeket a javításokat bevezeted, a Sorank GEO / SEO irányítópultja mindkettőt egy nézetben mutatja. Használd annak ellenőrzésére, hogy a naplók alapján végzett változtatások mozgatják-e a forgalmat, nem csak azt, hogy megváltoztatják-e a feltérképezések számát.