Analiza logów serwera SEO: czytaj logi i napraw marnowanie indeksowania

Szybki quiz

Czy SEO jest dla Ciebie i jak zacząć?

Pytanie 1 z 425%

Czy ludzie szukają w Google tego, co sprzedajesz?

Tak, chyba takNie, to coś nowego lub bardzo niszowegoNie wiem

Co zapisuje log serwera i dlaczego jest cenniejszy niż inne dane

Za każdym razem, gdy coś prosi serwer o plik, serwer zapisuje jedną linię w swoim logu dostępu. Większość serwerów używa formatu zbliżonego do Apache „combined”. Żądanie Googlebota wygląda tak:

66.249.66.1 - - [13/Nov/2026:08:14:22 +0100] "GET /products/red-running-shoes HTTP/1.1" 200 18342 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Czytaj od lewej do prawej: adres IP, znacznik czasu, metodę HTTP i adres URL, kod statusu (tu 200), liczbę wysłanych bajtów, referer i user agent. Zapisane są tam wszystkie żądania, także te, które nigdy nie pojawiają się jako odsłona w narzędziu analitycznym: obrazy, pliki CSS, przekierowania i błędy 404.

Każde z Twoich pozostałych źródeł danych widzi tylko fragment tego obrazu. Raport Statystyki indeksowania w Search Console jest zagregowany i obejmuje wyłącznie crawlery Google. Narzędzia analityczne rejestrują tylko odwiedzających, których przeglądarki uruchomiły Twój JavaScript. Crawler witryny, taki jak Screaming Frog, pokazuje to, do czego dotrze, idąc za linkami, a to nie to samo, co Google faktycznie postanowił pobrać. Tylko log serwera zapisuje, co naprawdę się wydarzyło.

Dlaczego analiza logów ma znaczenie: budżet indeksowania prostymi słowami

Budżet indeksowania to zbiór adresów URL, które Google może i chce przeszukać na Twojej stronie. Google opisuje go za pomocą dwóch czynników. Pierwszy to limit możliwości indeksowania: liczba połączeń, które crawlery Google mogą utrzymywać otwarte z Twoim serwerem, nie przeciążając go. Ten limit rośnie, gdy strona działa stabilnie, a spada, gdy odpowiedzi zwalniają albo zwracają błędy 5xx lub 429. Drugi to popyt na indeksowanie, który zależy od wielkości witryny, tego, jak często zmienia się jej treść, od jej jakości i od popularności jej stron.

Google przedstawia ten temat jako zaawansowany przewodnik dla dużych witryn. Jego orientacyjne progi to witryny z 1 milionem lub więcej unikalnych stron, których treść zmienia się mniej więcej raz w tygodniu, oraz witryny z 10000 lub więcej unikalnych stron, których treść zmienia się codziennie. W zakresie są też witryny, na których wiele adresów ma status „Odkryte, obecnie nieindeksowane”. Mniejsze strony zwykle mogą polegać na aktualnej mapie witryny i regularnym sprawdzaniu raportu Indeksowanie stron. Nie znaczy to, że logi są dla nich bezużyteczne. Gdy z indeksowaniem dzieje się coś złego, log to najszybszy sposób, żeby zobaczyć dokładnie, gdzie.

Jeśli Twoja strona mieści się w tym zakresie, pytanie już nie brzmi, czy czytać logi, tylko jak często. Jednorazowy audyt pokazuje marnowanie na dziś. Comiesięczny eksport pokazuje, czy Twoje poprawki zmieniły to, na co Googlebot poświęca czas. Żeby poznać słownictwo, hasło słownika o budżecie indeksowania omawia podstawy, a przewodnik o statusie Odkryte, obecnie nieindeksowane wyjaśnia status, który zwykle uruchamia tego rodzaju przegląd.

Metoda krok po kroku

Poniższy przebieg działa z każdym serwerem i każdym narzędziem. Kolejne sekcje wyjaśniają każdy krok szczegółowo i podają polecenia, które możesz uruchomić na surowym pliku logu już dziś.

Pobierz logi z właściwej warstwy

Poproś swojego developera albo dostawcę hostingu o surowe logi dostępu serwera WWW (Apache, Nginx lub IIS). Przed startem sprawdź trzy rzeczy: format logu, strefę czasową i okres przechowywania. W zależności od konfiguracji stare logi mogą zostać usunięte po kilku dniach albo tygodniach, więc poproś o eksport teraz, a nie później.

Warstwa ma większe znaczenie, niż wielu ludziom się wydaje. Jeśli CDN odpowiada na żądanie z pamięci podręcznej, Twój serwer źródłowy nigdy go nie widzi. Googlebot może przeszukać adres, który nie pojawia się w logu źródłowym, więc sam eksport z serwera źródłowego zaniża aktywność indeksowania treści z cache. Wyeksportuj też logi CDN i porównaj oba źródła dla kilku adresów, zanim zaufasz któremukolwiek z sumarycznych wyników.

Filtruj i licz Googlebota kilkoma poleceniami

W logu w formacie combined kod statusu to dziewiąte pole, a ścieżka URL to siódme. Te dwie kolumny odpowiadają na większość pierwszych pytań. To polecenie zlicza żądania Googlebota według kodu statusu:

grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

To polecenie wypisuje 20 ścieżek, o które Googlebot prosi najczęściej, z usuniętym ciągiem zapytania, żeby warianty filtrów grupowały się razem:

grep "Googlebot" access.log | awk '{print $7}' | cut -d '?' -f1 | sort | uniq -c | sort -rn | head -20

Pierwsze polecenie czyta tekst user agent, który każdy może sfałszować. Traktuj jego wynik jak listę kandydatów, aż skończysz następną sekcję. Jeśli Twój log używa własnego formatu, numery pól się zmienią, więc sprawdź jedną linię na oko, zanim zaufasz kolumnom.

Zweryfikuj Googlebota tak, jak opisuje to Google

Metoda Google na potwierdzenie, że odwiedzający to Googlebot, opiera się na DNS. Wykonaj odwrotne wyszukiwanie DNS dla adresu IP z logu, sprawdź, czy nazwa hosta kończy się na googlebot.com, google.com lub googleusercontent.com, a następnie wykonaj wyszukiwanie w przód dla tej nazwy i sprawdź, czy zwraca pierwotny adres IP. Dokumentacja Google używa takiego przykładu: 66.249.66.1 rozwiązuje się wstecz do crawl-66-249-66-1.googlebot.com:

host 66.249.66.1

Sprawdzenie w przód to drugie polecenie i musi zwrócić ten sam adres IP:

host crawl-66-249-66-1.googlebot.com

Jeśli przetwarzasz miliony linii, wyszukiwania DNS zaczynają być powolne. Google publikuje też pliki JSON z zakresami adresów IP swoich crawlerów, w tym common-crawlers.json dla Googlebota. Dopasowywanie do tych zakresów jest szybsze, a oficjalny przewodnik opisuje obie metody w przewodniku Google o weryfikacji Googlebota.

Grupuj, mierz i czytaj wyniki

Surowe liczby na adres URL trudno przełożyć na działanie. Najpierw grupuj adresy według szablonu, bo poprawka zwykle dotyczy szablonu, a nie jednej strony. Potem zmierz cztery rzeczy dla każdej grupy: ile trafień Googlebota dostaje w porównaniu z jej znaczeniem dla biznesu, jaki jest rozkład kodów statusu, jak szybko nowe strony dostają pierwsze trafienie po publikacji i czy trafienia skupiają się na stronach, które chcesz mieć w wynikach.

Czytaj wyniki jako wzorzec, a nie jedną liczbę. Jeśli większość trafień Googlebota trafia na adresy filtrów, a tylko nieliczne na strony produktów, budżet indeksowania wycieka, a problem to prawdopodobnie linki wewnętrzne albo obsługa parametrów, a nie same strony produktów. Następna sekcja wymienia sygnały, których warto szukać.

Siedem sygnałów ukrytych w logach

Gdy linie Googlebota są zweryfikowane i pogrupowane, siedem sygnałów wyjaśnia większość problemów z indeksowaniem. Tabela podaje wzorzec do szukania i zwykłą poprawkę. Każda poprawka to zmiana w witrynie, więc potwierdź ją w następnym eksporcie.

Sygnał	Co pokazują logi	Co zrobić
Marnowanie indeksowania	Trafienia Googlebota na filtrach, sortowaniach, wyszukiwarce wewnętrznej i adresach z sesją	Skonsoliduj canonicalami, usuń linki wewnętrzne do tych adresów, a bezsensowne warianty, których nie da się skonsolidować, zablokuj w robots.txt
Przekierowania	Trafienia na odpowiedziach 301 lub 302 i łańcuchy co najmniej dwóch przeskoków	Linkuj bezpośrednio do ostatecznego adresu URL. Poradnik 301 vs 302 pomaga wybrać właściwy typ przekierowania
Błędy	Powtarzające się trafienia 404 lub 410 i skoki odpowiedzi 5xx	Przywróć lub przekieruj strony, które nadal mają znaczenie, i napraw błędy serwera, bo odpowiedzi 5xx zmniejszają ilość indeksowania przez Google
Brakujące indeksowania	Ważne adresy bez żadnego trafienia Googlebota w danym oknie	Sprawdź linki wewnętrzne, wpisy w mapie witryny i reguły robots.txt, które mogą trzymać crawlery z dala od nich
Duplikaty	Ta sama treść pod kilkoma adresami, z końcowymi ukośnikami, wielkimi literami lub parametrami	Wybierz jeden adres kanoniczny i linkuj do niego wszędzie
Czas do pierwszego indeksowania	Czas między publikacją a pierwszym trafieniem Googlebota na nowej stronie	Linkuj nowe strony z tych, które są już indeksowane często, i utrzymuj czystą mapę witryny
Czas odpowiedzi	Wolne odpowiedzi w szablonach, które Googlebot odwiedza najczęściej	Przyspiesz najpierw te szablony, bo Google mówi, że wolne odpowiedzi skłaniają go do indeksowania mniej

Wiersz „brakujące indeksowania” to ten, który ludzie pomijają, a często jest najdroższy. Strona, której nigdy nie widzisz w logu, może nie pozycjonować się na nic, nawet jeśli jej treść jest znakomita. Jeśli adres jest w mapie witryny, ale nigdy nie pojawia się w logach, strona jest prawdopodobnie dostępna tylko ścieżką, której crawlery nie podążają. Przewodnik o statusie Przeszukane, obecnie nieindeksowane omawia drugą stronę tej sytuacji, gdy Googlebot odwiedza stronę, ale mimo to jej nie indeksuje.

Trzy sposoby przeprowadzenia analizy, porównane

Analizę logów możesz zrobić skryptami, aplikacją desktopową albo platformą. Każde z tych rozwiązań pasuje do innego wolumenu i innego zespołu. Wybór zależy mniej od wielkości witryny, a bardziej od tego, jak często potrzebujesz odpowiedzi i kto ją przeczyta.

Wiersz poleceń: grep, awk i Python

Zasada: parsujesz surowe pliki skryptami i zapisujesz wyniki w pliku lub arkuszu. Kiedy go użyć: przy jednorazowych sprawdzeniach, na małych stronach albo gdy developer chce pełnej kontroli. Zalety: jest darmowy, widzisz każdą linię i możesz go zautomatyzować zadaniem cyklicznym. Ograniczenia: napisanie i utrzymanie zajmuje czas, działa tylko tak szybko jak Twój komputer, nie ma wykresów, a boty musisz weryfikować samodzielnie.

Przykład: polecenia z sekcji o metodzie, uruchamiane raz w miesiącu na tym samym eksporcie, dają rozkład kodów statusu i najczęstsze ścieżki Googlebota. Krótki skrypt w Pythonie zrobi to samo i doda sprawdzenie DNS, które jest wolniejsze, ale dokładniejsze.

Narzędzie desktopowe: Screaming Frog Log File Analyser

Zasada: importujesz surowe logi do projektu w aplikacji desktopowej, a narzędzie grupuje boty, sprawdza ich tożsamość i rysuje wykresy. Kiedy go użyć: konsultant lub analityk w firmie, który pracuje nad witryną z dziesiątkami tysięcy adresów URL. Zalety: czyta logi Apache, IIS i Nginx w formacie W3C Extended, weryfikuje boty wyszukiwarek i oznacza duże lub wolne strony. Ograniczenia: wersja darmowa ma limit, a ilość danych, którą możesz wczytać, zależy od dysku.

Przeczytaj stronę Log File Analyser firmy Screaming Frog, zanim cokolwiek kupisz. Pełny przewodnik po crawlerze, który dobrze łączy się z tym narzędziem, znajdziesz w naszym przewodniku po Screaming Frog SEO Spider. Analizator logów robi jedną rzecz, której crawler nie potrafi: pokazuje, o co boty faktycznie prosiły w realnym świecie, a nie to, co sugerują Twoje linki.

Platforma: ciągły monitoring logów

Zasada: platforma odbiera Twoje logi według harmonogramu, często z CDN albo serwera, i łączy je z crawlem Twojej witryny oraz danymi o indeksowaniu. Kiedy ją wybrać: duże sklepy internetowe albo zespoły enterprise, które co tydzień monitorują crawling na kilku rynkach. Zalety: skaluje się do bardzo dużych logów, przechowuje historię i pozwala kilku zespołom współdzielić dashboardy. Ograniczenia: kosztuje więcej, wdrożenie trwa, a uzależnienie od dostawcy jest realne, więc sprawdź, jak wyeksportujesz swoje dane, zanim się zobowiążesz. Do tej kategorii należą Oncrawl i Botify, warto zapytać każdego z nich, jak weryfikuje boty.

Kryterium	Wiersz poleceń	Narzędzie desktopowe	Platforma
Koszt	Darmowy	Darmowy do 1000 zdarzeń logu, 99 funtów rocznie za pełną licencję	Subskrypcja, cena zależy od wolumenu
Konfiguracja	Piszesz i utrzymujesz skrypty	Instalacja, import, start	Konektory i wdrożenie
Wolumen	Ograniczony przez Twój komputer	Ograniczony przez dysk i licencję	Zbudowany pod bardzo duże logi
Weryfikacja botów	Ręczna, przez sprawdzenie DNS lub zakresów IP	Wbudowana	Zapytaj dostawcę
Najlepsze do	Jednorazowych kontroli i małych stron	Konsultantów i stron średniej wielkości	Zespołów enterprise i e-commerce z cotygodniowym monitoringiem

Raport Statystyki indeksowania Google: przydatny, ale niewystarczający

Zanim wyeksportujesz choćby jeden log, otwórz raport Statystyki indeksowania w Search Console. Pokazuje łączną liczbę żądań indeksowania, łączny rozmiar pobranych danych, średni czas odpowiedzi, odpowiedzi pogrupowane według typu, typy plików, cel indeksowania i typ Googlebota, który wykonał każde żądanie. Do sprawdzenia trendu to najszybszy widok, jaki masz, a samouczek o Google Search Console wyjaśnia, gdzie go znaleźć.

Jego ograniczenia tłumaczą, dlaczego logi wciąż mają znaczenie. Raport jest dostępny tylko dla właściwości typu domena i właściwości z prefiksem URL na poziomie głównym. Obejmuje wyłącznie crawlery Google, więc brakuje GPTBot, ClaudeBot i innych botów. Grupuje dane zamiast wypisywać każdy adres URL, więc powie Ci, że żądania spadły, ale nie powie, które szablony je straciły. Użyj go, żeby zauważyć zmianę, a logów, żeby ustalić, co ją spowodowało.

Strona pomocy Google o raporcie Statystyki indeksowania opisuje każde grupowanie. Gdy wykres i Twój eksport logów się nie zgadzają, nie ufaj żadnemu z nich, dopóki nie sprawdzisz okna czasowego i kroku weryfikacji. Większość takich rozbieżności wynika z innego okna, z CDN odpowiadającego z cache albo z liczby botów, która obejmuje niezweryfikowane żądania.

Naprawianie marnowania indeksowania, gdy już je zobaczysz

Poprawki wynikają z sygnałów. Większość sprowadza się do trzech ruchów: przestajesz kierować crawlery na strony, które nie mają znaczenia, wysyłasz je prosto na ostateczny adres, gdy strona się przeniosła, i sprawiasz, że ważne strony ładują się szybciej.

Nawigacja fasetowa. Filtry i sortowania tworzą wiele adresów o prawie tej samej treści. Konsoliduj je canonicalami tam, gdzie się da, i usuń linki wewnętrzne do wariantów bez wartości w wyszukiwarce. Jeśli wariant nie da się skonsolidować i musi zostać poza crawlem, zablokuj go w robots.txt. Wytyczne Google są tu konkretne: nie używaj do tego noindex, bo Google i tak musi pobrać stronę, zanim zobaczy ten znacznik. Oto rodzaj reguły do przetestowania:

User-agent: Googlebot
Disallow: /*?sort=
Disallow: /*?color=

Zachowaj proporcje przy zmianach w robots.txt. Google mówi, że blokowanie adresów nie uwalnia budżetu indeksowania dla pozostałych stron, chyba że serwis już osiąga swój limit możliwości. Blokowanie służy adresom bez wartości, a nie przesuwaniu budżetu na najlepsze strony. Nasze hasło w słowniku o robots.txt wyjaśnia, jak ten plik jest odczytywany.

Łańcuchy przekierowań. Gdy strona przeniosła się dwa razy, crawler za każdym razem przechodzi przez oba przekierowania. Zaktualizuj linki wewnętrzne, tak aby wskazywały ostateczny adres URL, a stare przekierowania zostaw dla linków zewnętrznych. Wybór między przekierowaniem stałym a tymczasowym ma znaczenie z tego samego powodu, a poradnik 301 vs 302 omawia to szczegółowo.

Zniknięte strony. Zwracaj 404 albo 410 dla stron trwale usuniętych. Google mówi, że miękkie 404 są nadal indeksowane i marnują budżet, więc komunikat „nie znaleziono strony” wysłany ze statusem 200 jest gorszy niż prawdziwe 404.

Czas odpowiedzi i cache. Google mówi, że wolne lub błędne odpowiedzi powodują, że indeksuje mniej. Obsługuj odpowiedzi 304 (Not Modified), żeby niezmienione strony mogły być serwowane z cache. Potem przyjrzyj się szablonom, które dostają najwięcej trafień Googlebota, i przyspiesz w pierwszej kolejności ich odpowiedzi.

Błędy, które kosztują najwięcej, i jak ich uniknąć

Analizy logów, które idą źle, zwykle popełniają jeden z niewielkiego zestawu błędów. Każdy z poniższych ma objaw widoczny w danych i poprawkę, którą możesz wdrożyć w tym samym tygodniu.

Ufanie ciągowi user agent

Na czym polega: liczenie każdego żądania, które mówi „Googlebot”, jako indeksowania przez Google. Jak go rozpoznać: trafienia Googlebota z adresów IP, które nie rozwiązują się wstecz do hostów Google, albo nagły skok z jednego adresu. Jak naprawić: wykonaj weryfikację z sekcji o metodzie, zanim cokolwiek policzysz, i trzymaj niezweryfikowane trafienia w osobnym koszyku, żebyś nadal widział aktywność scraperów.

Czytanie tylko odpowiedzi 200

Na czym polega: skupianie się na stronach zwracających 200 i ignorowanie reszty. Jak go rozpoznać: raport nie ma sekcji 3xx, 4xx ani 5xx, albo rozkład kodów statusu nigdy nie jest omawiany. Jak naprawić: zawsze zaczynaj od rozkładu kodów statusu. Wzrost trafień 404 może ujawnić zepsuty link wewnętrzny, a wzrost trafień 5xx może ujawnić problem serwera, który spowalnia cały crawl.

Blokowanie strony, którą chcesz wyindeksować

Na czym polega: dodanie reguły robots.txt do strony, która ma też znacznik noindex. Jak go rozpoznać: strona zostaje w indeksie, a log nie pokazuje żadnych trafień Googlebota, bo crawler jest zablokowany przed jej pobraniem. Jak naprawić: usuń blokadę, żeby Google mógł odczytać znacznik noindex, poczekaj, aż strona wypadnie z indeksu, a potem przywróć blokadę, jeśli nadal jest potrzebna. Przewodnik o zablokowaniu przez robots.txt wyjaśnia status w Search Console, który pojawia się w tym przypadku.

Porównywanie okien o różnej długości

Na czym polega: porównanie 3-dniowego eksportu sprzed poprawki z 30-dniowym eksportem po niej. Jak go rozpoznać: sumy mocno się zmieniają, ale udział każdego szablonu już nie. Jak naprawić: porównuj tę samą liczbę dni, najlepiej w tym samym okresie roku, a gdy wolumen się zmienia, porównuj udziały, a nie surowe sumy.

Mierzenie trafień zamiast wartości

Na czym polega: cieszenie się ze wzrostu trafień Googlebota bez sprawdzenia, czy te trafienia docierają do stron, które są indeksowane. Jak go rozpoznać: trafienia skupiają się na adresach, które nie są indeksowane albo nigdy nie przynoszą ruchu. Jak naprawić: połącz grupy z logów ze statusem indeksowania z narzędzia Sprawdzanie adresów URL w Search Console i uznawaj poprawkę za sukces tylko wtedy, gdy crawling przesuwa się w stronę stron, które mają znaczenie.

Gdzie boty AI pasują w tych samych logach

Te same logi pokazują, co crawlery AI robią na Twojej stronie, a metoda jest identyczna: grupuj je, weryfikuj tam, gdzie dostawca daje ku temu sposób, i czytaj kody statusu. Nasz przewodnik o logach crawlerów AI omawia, jakich botów szukać i czym różnią się od Googlebota. Ten artykuł opisuje metodę dla Googlebota w głębi, a sekcja o AI poniżej pokazuje, jak połączyć oba typy w jednym raporcie.

Typ bota	Przykłady	Co sprawdzić w logach	Gdzie czytać dalej
Crawler wyszukiwarki	Googlebot	Trafienia według szablonu, rozkład kodów statusu, czas do pierwszego indeksowania nowych stron	Sekcje powyżej w tym artykule
Crawler treningowy	GPTBot, ClaudeBot, CCBot	Czy w ogóle pobierają Twoje treści i czy respektują robots.txt	Robots.txt dla crawlerów AI
Crawler na żądanie	ChatGPT-User, PerplexityBot	Krótkie serie wizyt powiązane z pytaniami użytkowników i strony, do których docierają te serie	Logi crawlerów AI

Podział na treningowe i na żądanie wynika z tego, jak udokumentowano crawlery AI. Crawlery treningowe zbierają treści dla modeli, a crawlery na żądanie pobierają strony, gdy użytkownik zada pytanie. Twój raport powinien trzymać je osobno, bo decyzja dotycząca jednych nie obowiązuje automatycznie dla drugich.

Jeśli chcesz widzieć ruch z Google i ruch z AI obok siebie, podczas wdrażania tych poprawek, dashboard GEO / SEO Sorank pokazuje oba w jednym widoku. Użyj go, żeby sprawdzić, czy zmiany wprowadzone na podstawie logów przesuwają ruch, a nie tylko liczbę indeksowań.