Analýza serverových logů pro SEO: čtěte logy a opravte plýtvání procházením

Rychlý kvíz

Hodí se vám SEO a jak začít?

Otázka 1 z 425%

Hledají lidé na Googlu to, co prodáváte?

Ano, myslím siNe, je to nové nebo velmi úzkéNevím

Co server do logu zapisuje a proč je cennější než ostatní data

Pokaždé, když si něco vyžádá soubor z vašeho serveru, server zapíše jeden řádek do přístupového logu. Většina serverů používá formát blízký Apache „combined“. Požadavek Googlebota vypadá takto:

66.249.66.1 - - [13/Nov/2026:08:14:22 +0100] "GET /products/red-running-shoes HTTP/1.1" 200 18342 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Čtěte zleva doprava: IP adresa, časové razítko, metoda HTTP a URL, stavový kód (zde 200), počet odeslaných bajtů, referrer a user agent. Jsou tu zaznamenány všechny požadavky, včetně těch, které se ve vašem analytickém nástroji nikdy neobjeví jako zobrazení stránky: obrázky, soubory CSS, přesměrování a chyby 404.

Každý z vašich dalších zdrojů dat vidí jen část tohoto obrazu. Zpráva Statistiky procházení v Search Console je agregovaná a pokrývá pouze crawlery Google. Analytické nástroje zaznamenávají jen návštěvníky, jejichž prohlížeč spustil váš JavaScript. Webový crawler jako Screaming Frog ukazuje, co dosáhne tím, že sleduje vaše odkazy, a to není totéž, co Google skutečně požádal. Jen serverový log zaznamenává, co se opravdu stalo.

Proč na analýze logů záleží: rozpočet procházení prostě

Rozpočet procházení je soubor URL, které Google na vašem webu může a chce procházet. Google jej popisuje pomocí dvou faktorů. Prvním je limit kapacity procházení: kolik spojení mohou crawlery Google udržovat otevřená k vašemu serveru, aniž by ho přetížily. Tento limit roste, když je web zdravý, a klesá, když odpovědi zpomalují nebo vracejí chyby 5xx či 429. Druhým je poptávka po procházení, která závisí na velikosti webu, na tom, jak často se jeho obsah mění, na jeho kvalitě a na oblibě jeho stránek.

Google toto téma předkládá jako pokročilého průvodce pro velké weby. Jeho přibližné prahové hodnoty jsou weby s milionem a více unikátních stránek, jejichž obsah se mění zhruba jednou týdně, a weby s 10000 a více unikátními stránkami, jejichž obsah se mění každý den. V rozsahu jsou také weby, kde mnoho URL spadá do stavu „Objeveno, zatím neindexováno“. Menší weby se obvykle mohou spolehnout na aktuální mapu webu a pravidelnou kontrolu zprávy Indexování stránek. To neznamená, že jim logy nic nepřinesou. Když se s procházením něco děje, je log nejrychlejším způsobem, jak přesně zjistit, kde.

Pokud váš web spadá do tohoto rozsahu, otázka už nezní, zda číst logy, ale jak často. Jednorázový audit ukáže plýtvání dneška. Měsíční export ukáže, zda vaše opravy změnily to, na co Googlebot svůj čas vynakládá. Pro pozadí pojmů slouží heslo glosáře o rozpočtu procházení, a průvodce stavem Objeveno, zatím neindexováno vysvětluje stav, který tento druh kontroly obvykle spouští.

Postup krok za krokem

Níže uvedený postup funguje s jakýmkoli serverem a jakýmkoli nástrojem. Následující části každý krok podrobně vysvětlují a uvádějí příkazy, které můžete dnes spustit nad surovým souborem logu.

Získejte logy ze správné vrstvy

Požádejte svého vývojáře nebo poskytovatele hostingu o surové přístupové logy webového serveru (Apache, Nginx nebo IIS). Před začátkem zkontrolujte tři věci: formát logu, časové pásmo a dobu uchování. Podle nastavení mohou být staré logy smazány po několika dnech nebo týdnech, takže export si vyžádejte hned, ne později.

Vrstva je důležitější, než si mnoho lidí myslí. Pokud CDN odpoví na požadavek z mezipaměti, váš původní server ho nikdy neuvidí. Googlebot může procházet URL, které se ve vašem původním logu nikdy neobjeví, takže export pouze z původního serveru podhodnotí aktivitu procházení u obsahu uloženého v cache. Exportujte i logy CDN a u několika URL porovnejte oba zdroje, než uvěříte kterémukoli součtu.

Filtrujte a počítejte Googlebota několika příkazy

V logu ve formátu combined je stavový kód v devátém poli a cesta URL v sedmém poli. Tyto dva sloupce odpoví na většinu prvních otázek. Tento příkaz počítá požadavky Googlebota podle stavového kódu:

grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

Tento vypíše 20 cest, které Googlebot žádá nejčastěji, s odstraněným řetězcem dotazu, aby se varianty filtrů seskupily dohromady:

grep "Googlebot" access.log | awk '{print $7}' | cut -d '?' -f1 | sort | uniq -c | sort -rn | head -20

První příkaz čte text user agenta, který může zfalšovat kdokoli. Jeho výstup berte jako seznam kandidátů, dokud nedokončíte další část. Pokud váš log používá vlastní formát, čísla polí se změní, takže než sloupcům uvěříte, zkontrolujte jeden řádek očima.

Ověřte Googlebota tak, jak jej popisuje Google

Vlastní metoda Google pro potvrzení, že návštěvník je Googlebot, používá DNS. Proveďte zpětné vyhledání DNS pro IP adresu z logu, zkontrolujte, zda název hostitele končí na googlebot.com, google.com nebo googleusercontent.com, a poté proveďte dopředné vyhledání tohoto názvu hostitele a ověřte, že vrací původní IP. Dokumentace Google používá tento příklad, kde se 66.249.66.1 zpětně přeloží na crawl-66-249-66-1.googlebot.com:

host 66.249.66.1

Dopředná kontrola je druhý příkaz a musí vrátit stejnou IP:

host crawl-66-249-66-1.googlebot.com

Pokud zpracováváte miliony řádků, DNS dotazy zpomalují. Google také zveřejňuje soubory JSON s rozsahy IP svých crawlerů, včetně common-crawlers.json pro Googlebota. Porovnávání s těmito rozsahy je rychlejší a oficiální průvodce ověřováním popisuje obě metody v průvodci Google o ověřování Googlebota.

Seskupte, měřte a čtěte výsledky

Surová čísla na URL se těžko převádějí na činnost. Nejprve seskupte URL podle šablony, protože oprava se obvykle týká šablony, ne jedné stránky. Potom změřte u každé skupiny čtyři věci. Kolik zásahů Googlebota dostává ve srovnání s jejím významem pro váš byznys. Jaký je poměr stavových kódů. Jak rychle nové stránky dostanou první zásah po zveřejnění. Zda se zásahy soustředí na stránky, které chcete mít v pořadí.

Výsledky čtěte jako vzor, ne jako jedno číslo. Pokud většina zásahů Googlebota připadá na URL filtrů a jen málo na stránky produktů, rozpočet procházení uniká a problém jsou pravděpodobně interní odkazy nebo zpracování parametrů, ne samotné stránky produktů. Následující část vyjmenovává signály, které hledat.

Sedm signálů skrytých v logách

Jakmile jsou řádky Googlebota ověřeny a seskupeny, sedm signálů vysvětlí většinu problémů s procházením. Tabulka uvádí vzor, který hledat, a obvyklou opravu. Každá oprava je změnou webu, takže ji potvrďte v dalším exportu.

Signál	Co ukazují logy	Co dělat
Plýtvání procházením	Zásahy Googlebota na filtrech, řazeních, interním vyhledávání a URL relací	Konsolidujte pomocí canonical, odstraňte interní odkazy na tato URL a nesmyslné varianty, které nelze konsolidovat, zablokujte v robots.txt
Přesměrování	Zásahy na odpovědích 301 nebo 302 a řetězce o dvou a více skocích	Odkazujte přímo na konečnou URL. Průvodce 301 vs 302 vám pomůže vybrat správný typ přesměrování
Chyby	Opakované zásahy 404 nebo 410 a výkyvy odpovědí 5xx	Obnovte nebo přesměrujte stránky, které stále mají význam, a opravte chyby serveru, protože odpovědi 5xx snižují, kolik Google prochází
Chybějící procházení	Důležité URL, které v daném období nemají žádný zásah Googlebota	Zkontrolujte interní odkazy, položky v mapě webu a pravidla robots.txt, která mohou crawlery od těchto URL odrazovat
Duplicity	Stejný obsah zasažen pod několika URL s koncovými lomítky, velkými písmeny nebo parametry	Zvolte jednu kanonickou URL a všude na ni odkazujte
Čas do prvního procházení	Doba mezi zveřejněním a prvním zásahem Googlebota na nové stránce	Propojte nové stránky ze stránek, které jsou už procházeny často, a udržujte mapu webu čistou
Doba odezvy	Pomalé odpovědi u šablon, které Googlebot zasahuje nejčastěji	Nejprve zrychlete tyto šablony, protože Google říká, že pomalé odpovědi ho vedou k menšímu procházení

Řádek „chybějící procházení“ lidé přeskakují, a často je nejdražší. Stránka, kterou v logu nikdy neuvidíte, nemusí pro nic získat pozice, i když je její obsah výborný. Pokud je URL v mapě webu, ale v logech se nikdy neobjeví, stránka je pravděpodobně dosažitelná jen cestou, kterou crawlery nesledují. Průvodce Procházeno, zatím neindexováno se zabývá druhou stranou této situace, kdy Googlebot sice navštíví, ale přesto neindexuje.

Tři způsoby, jak analýzu provést, porovnány

Analýzu logů můžete provést skripty, desktopovou aplikací nebo platformou. Každá z nich se hodí pro jiný objem a jiný tým. Správná volba závisí méně na velikosti webu a více na tom, jak často potřebujete odpověď a kdo ji bude číst.

Příkazová řádka: grep, awk a Python

Princip: surové soubory parsujete skripty a výsledky zapisujete do souboru nebo tabulky. Kdy použít: jednorázové kontroly, malé weby nebo vývojář, který chce plnou kontrolu. Výhody: je zdarma, vidíte každý řádek a můžete jej automatizovat naplánovanou úlohou. Omezení: psaní a údržba zabere čas, běží jen tak rychle jako váš počítač, nemá grafy a boty musíte ověřovat sami.

Příklad: příkazy z části o metodě, spuštěné jednou měsíčně nad stejným exportem, vám dají rozložení stavových kódů a nejčastější cesty Googlebota. Krátký skript v Pythonu udělá totéž a přidá kontrolu DNS, která je pomalejší, ale přesnější.

Desktopový nástroj: Screaming Frog Log File Analyser

Princip: surové logy importujete do desktopového projektu a nástroj seskupí boty, ověří jejich identitu a vykreslí grafy. Kdy použít: konzultant nebo interní analytik pracující s webem o desítkách tisíc URL. Výhody: čte logy Apache, IIS a Nginx ve formátu W3C Extended, ověřuje boty vyhledávačů a označuje velké nebo pomalé stránky. Omezení: bezplatná verze má limit a množství dat, které můžete načíst, závisí na pevném disku.

Než si cokoli koupíte, přečtěte si stránku Log File Analyser od Screaming Frog. Úplný průvodce crawlerem, který se k tomuto nástroji hodí, najdete v našem průvodci Screaming Frog SEO Spider. Analyzátor logů dělá jednu věc, kterou crawler nedokáže: ukazuje, o co boti skutečně žádali v reálném světě, ne to, co naznačují vaše odkazy.

Platforma: průběžné sledování logů

Princip: platforma přijímá vaše logy podle plánu, často z CDN nebo serveru, a spojuje je s procházením vašeho webu a daty o indexaci. Kdy použít: velké e-shopy nebo podnikové týmy, které procházení sledují každý týden na několika trzích. Výhody: škáluje na velmi velké logy, uchovává historii a umožňuje sdílet dashboardy mezi více týmy. Omezení: stojí víc, zabere čas se zavedením a závislost na dodavateli je reálná, takže před závazkem zjistěte, jak můžete svá data exportovat. Dodavatelé v této kategorii zahrnují Oncrawl a Botify a stojí za to se u každého zeptat, jak ověřuje boty.

Kritérium	Příkazová řádka	Desktopový nástroj	Platforma
Náklady	Zdarma	Zdarma do 1000 událostí logu, 99 liber ročně za plnou licenci	Předplatné, cena závisí na objemu
Nastavení	Skripty píšete a udržujete sami	Instalace, import, spuštění	Konektory a zavedení
Objem	Omezen vaším počítačem	Omezen pevným diskem a licencí	Postaveno pro velmi velké logy
Ověřování botů	Ručně, kontrolou DNS nebo rozsahů IP	Vestavěné	Zeptejte se dodavatele
Nejvhodnější pro	Jednorázové kontroly a malé weby	Konzultanty a středně velké weby	Podnikové a e-shopové týmy s týdenním sledováním

Zpráva Statistiky procházení od Google: užitečná, ale nedostačující

Než exportujete jediný log, otevřete v Search Console zprávu Statistiky procházení. Ukazuje celkový počet požadavků na procházení, celkovou velikost stahování, průměrnou dobu odezvy, odpovědi seskupené podle typu, typy souborů, účel procházení a typ Googlebota, který každý požadavek provedl. Pro kontrolu trendu je to nejrychlejší pohled, jaký máte, a návod k Google Search Console vysvětluje, kde ji najít.

Její omezení vysvětlují, proč logy stále záleží. Zpráva je dostupná jen pro vlastnosti domény a vlastnosti s prefixem URL na kořenové úrovni. Pokrývá pouze crawlery Google, takže chybí GPTBot, ClaudeBot a další boti. Data seskupuje místo výčtu každé URL, takže vám řekne, že požadavky na procházení klesly, ale neřekne, které šablony o ně přišly. Použijte ji, abyste zjistili, že se něco změnilo, a logy, abyste zjistili co.

Nápověda Google ke Statistikám procházení popisuje každé seskupení. Když se graf a váš export logů neshodují, nevěřte ani jednomu, dokud nezkontrolujete časové okno a krok ověření. Většina těchto neshod pochází z jiného okna, z CDN odpovídajícího z cache nebo z počtu botů, který zahrnuje neověřené požadavky.

Oprava plýtvání procházením, jakmile ho vidíte

Opravy vycházejí ze signálů. Většina se redukuje na tři kroky: přestaňte posílat crawlery na stránky, na nichž nezáleží, když se stránka přestěhovala, pošlete je přímo na konečnou URL, a zrychlete stránky, které mají význam.

Fasetová navigace. Filtry a řazení vytvářejí mnoho URL s téměř stejným obsahem. Konsolidujte je pomocí canonical, kde to jde, a odstraňte interní odkazy na varianty bez vyhledávací hodnoty. Pokud variantu nelze konsolidovat a musí zůstat mimo procházení, zablokujte ji v robots.txt. Pokyny Google jsou tady konkrétní: na to nepoužívejte noindex, protože Google musí stránku stejně požádat, než vůbec uvidí tuto značku. Takový typ pravidla si vyzkoušejte:

User-agent: Googlebot
Disallow: /*?sort=
Disallow: /*?color=

Změnu robots.txt udržujte přiměřenou. Google říká, že blokování URL neuvolní rozpočet procházení pro vaše ostatní stránky, pokud web už nedosáhl svého limitu kapacity. Blokování je pro URL bez hodnoty, ne způsob, jak nasměrovat rozpočet na nejlepší stránky. Náš glosářový záznam o robots.txt vysvětluje, jak se soubor čte.

Řetězce přesměrování. Když se stránka přestěhovala dvakrát, crawler projde oběma přesměrováními pokaždé. Aktualizujte interní odkazy, aby ukazovaly na konečnou URL, a staré přesměrování ponechte pro externí odkazy. Volba mezi trvalým a dočasným přesměrováním je důležitá ze stejného důvodu a průvodce 301 vs 302 ji podrobně probírá.

Odstraněné stránky. Pro trvale odstraněné stránky vracejte 404 nebo 410. Google říká, že měkká 404 se stále procházejí a plýtvají rozpočtem procházení, takže hlášení „stránka nenalezena“ odeslané se stavem 200 je horší než skutečná 404.

Doba odezvy a cache. Google říká, že pomalé nebo selhávající odpovědi ho vedou k menšímu procházení. Podporujte odpovědi 304 (Not Modified), aby se nezměněné stránky mohly podávat z cache. Pak se podívejte na šablony, které dostávají nejvíce zásahů Googlebota, a jejich odpovědi zrychlete jako první.

Chyby, které stojí nejvíc, a jak se jim vyhnout

Analýzy logů, které se nepovedou, obvykle udělají jednu z malé sady chyb. Každá níže má příznak, který v datech poznáte, a opravu, kterou můžete nasadit ještě ve stejném týdnu.

Důvěřování řetězci user agenta

Co to je: počítání každého požadavku, který říká „Googlebot“, jako procházení od Google. Jak to poznat: zásahy Googlebota z IP adres, které se zpětně nepřeloží na hostitele Google, nebo náhlý skok z jediné adresy. Jak to opravit: před počítáním čehokoli proveďte ověření z části o metodě a neověřené zásahy držte v samostatném koši, abyste stále viděli aktivitu scraperů.

Čtení jen odpovědí 200

Co to je: soustředění se jen na stránky vracející 200 a ignorování zbytku. Jak to poznat: vaše zpráva nemá sekci 3xx, 4xx ani 5xx, nebo se o rozložení stavových kódů nikdy nemluví. Jak to opravit: vždy začněte rozložením stavových kódů. Nárůst zásahů 404 může odhalit rozbitý interní odkaz a nárůst zásahů 5xx může odhalit problém serveru, který zpomaluje celé procházení.

Blokování stránky, kterou chcete odindexovat

Co to je: přidání pravidla robots.txt na stránku, která má zároveň značku noindex. Jak to poznat: stránka zůstává v indexu a log neukazuje žádné zásahy Googlebota, protože crawler je blokován v požadavku na ni. Jak to opravit: odstraňte blokaci, aby Google mohl přečíst značku noindex, počkejte, až stránka z indexu zmizí, a pak blokaci obnovte, pokud ji stále potřebujete. Průvodce Blokováno souborem robots.txt vysvětluje stav v Search Console, který se v tomto případě objeví.

Porovnávání oken různé délky

Co to je: porovnání 3denního exportu před opravou s 30denním exportem po ní. Jak to poznat: součty se hodně pohybují, ale podíl každé šablony ne. Jak to opravit: porovnávejte stejný počet dnů, pokud možno ve stejném období roku, a když se objem mění, porovnávejte podíly, ne surové součty.

Měření zásahů místo hodnoty

Co to je: slavení nárůstu zásahů Googlebota bez kontroly, zda tyto zásahy dosahují stránek, které se indexují. Jak to poznat: zásahy se soustředí na URL, které nejsou indexovány nebo nikdy nepřinášejí návštěvnost. Jak to opravit: spojte skupiny logů se stavem indexace z nástroje Kontrola adresy URL v Search Console a opravu počítejte jako úspěch, až když se procházení přesune k stránkám, na nichž záleží.

Kde se v těchž logech objevují boti AI

Tytéž logy ukazují, co crawlery AI dělají na vašem webu, a metoda je stejná: seskupte je, ověřte je tam, kde vám dodavatel k tomu dá způsob, a čtěte stavové kódy. Náš průvodce logy crawlerů AI popisuje, které boty hledat a čím se liší od Googlebota. Tento článek se do hloubky věnuje metodě pro Googlebota a část o AI níže ukazuje, jak oba typy spojit do jedné zprávy.

Typ bota	Příklady	Co kontrolovat v logu	Kde číst dál
Vyhledávací crawler	Googlebot	Zásahy podle šablony, rozložení stavových kódů, čas do prvního procházení nových stránek	Výše uvedené části tohoto článku
Trénovací crawler	GPTBot, ClaudeBot, CCBot	Zda vůbec žádají váš obsah a zda respektují váš robots.txt	Robots.txt pro crawlery AI
Vyhledávací crawler pro dotazy	ChatGPT-User, PerplexityBot	Krátké nápory návštěv vázané na dotazy uživatelů a stránky, které tyto nápory zasáhnou	Logy crawlerů AI

Rozdělení na trénovací a dotazové crawlery vychází z toho, jak jsou crawlery AI dokumentovány. Trénovací crawlery sbírají obsah pro modely, zatímco crawlery pro dotazy načítají stránky ve chvíli, kdy se uživatel na něco zeptá. Vaše zpráva by je měla držet odděleně, protože rozhodnutí o politice pro jedny se automaticky nevztahuje na druhé.

Pokud chcete při zavádění těchto oprav vidět vedle sebe návštěvnost z Google a návštěvnost z AI, dashboard GEO / SEO od Sorank je zobrazuje v jednom pohledu. Použijte jej k ověření, zda změny, které z logů provedete, skutečně hýbou návštěvností, a ne jen počty procházení.