Logdatei-Analyse für SEO: Server-Logs lesen und Crawl-Verschwendung beheben

Kurzes Quiz

Ist SEO das Richtige für Sie, und wie fangen Sie an?

Frage 1 von 425%

Suchen Menschen bei Google nach dem, was Sie verkaufen?

Ja, ich denke schonNein, es ist neu oder sehr speziellWeiß ich nicht

Was ein Server-Log erfasst und warum es deine anderen Daten übertrifft

Jedes Mal, wenn etwas eine Datei von deinem Server anfordert, schreibt der Server eine Zeile in sein Zugriffsprotokoll. Die meisten Server verwenden ein Format, das dem Apache-„combined“-Format ähnelt. Eine Googlebot-Anfrage sieht so aus:

66.249.66.1 - - [13/Nov/2026:08:14:22 +0100] "GET /products/red-running-shoes HTTP/1.1" 200 18342 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Lies sie von links nach rechts: die IP-Adresse, den Zeitstempel, die HTTP-Methode und URL, den Statuscode (hier 200), die Anzahl der übertragenen Bytes, den Referrer und den User-Agent. Jede Anfrage steht darin, auch die, die in deinem Analysetool nie als Seitenaufruf auftauchen: Bilder, CSS-Dateien, Weiterleitungen und 404-Fehler.

Deine anderen Datenquellen sehen jeweils nur einen Teil davon. Der Bericht Crawling-Statistiken in der Search Console ist aggregiert und deckt nur Googles Crawler ab. Analysetools erfassen nur Besucher, deren Browser dein JavaScript ausführt. Ein Site-Crawler wie Screaming Frog zeigt, was er durch das Folgen deiner Links erreicht, und das ist nicht dasselbe wie das, was Google tatsächlich angefordert hat. Nur das Server-Log zeichnet auf, was wirklich passiert ist.

Warum Log-Analyse wichtig ist: Crawl-Budget einfach erklärt

Das Crawl-Budget ist die Menge an URLs, die Google auf deiner Website crawlen kann und will. Google beschreibt es mit zwei Faktoren. Der erste ist das Crawl-Kapazitätslimit: wie viele Verbindungen Googles Crawler offen halten können, ohne deinen Server zu überlasten. Dieses Limit steigt, wenn deine Website gesund bleibt, und sinkt, wenn Antworten langsamer werden oder 5xx- bzw. 429-Fehler zurückkommen. Der zweite ist die Crawl-Nachfrage, die von der Größe deiner Website, der Häufigkeit von Inhaltsänderungen, ihrer Qualität und der Beliebtheit ihrer Seiten abhängt.

Google stellt das Thema als erweiterten Leitfaden für große Websites dar. Die groben Schwellenwerte: Websites mit 1 Million oder mehr eindeutigen Seiten, deren Inhalte etwa einmal pro Woche wechseln, und Websites mit 10000 oder mehr eindeutigen Seiten, deren Inhalte sich täglich ändern. Websites, bei denen viele URLs im Status „Entdeckt, derzeit nicht indexiert“ stehen, fallen ebenfalls in den Anwendungsbereich. Kleinere Websites können sich meist auf eine aktuelle Sitemap und regelmäßige Kontrollen des Berichts zur Seitenindexierung verlassen. Logs sind für sie deshalb nicht wertlos. Wenn beim Crawling etwas nicht stimmt, ist das Log der schnellste Weg, genau zu sehen, wo.

Liegt deine Website in diesem Bereich, lautet die Frage nicht mehr, ob du Logs lesen solltest, sondern wie oft. Eine einmalige Prüfung zeigt die heutige Verschwendung. Ein monatlicher Export zeigt, ob deine Korrekturen verändert haben, womit sich Googlebot beschäftigt. Für die Grundbegriffe behandelt der Glossareintrag zum Crawl-Budget die Basics, und der Leitfaden zu Entdeckt, derzeit nicht indexiert erklärt den Status, der diese Art der Prüfung meist auslöst.

Die Methode, Schritt für Schritt

Der folgende Ablauf funktioniert mit jedem Server und jedem Tool. Die späteren Abschnitte erklären jeden Schritt im Detail und liefern die Befehle, die du heute auf einer rohen Logdatei ausführen kannst.

Logs aus der richtigen Schicht holen

Frag deinen Entwickler oder Hosting-Anbieter nach den rohen Zugriffslogs des Webservers (Apache, Nginx oder IIS). Prüfe drei Dinge, bevor du beginnst: das Logformat, die Zeitzone und die Aufbewahrungsdauer. Je nach Setup können alte Logs schon nach wenigen Tagen oder Wochen rotiert werden, also fordere den Export jetzt statt später an.

Die Schicht ist wichtiger, als viele erwarten. Wenn ein CDN eine Anfrage aus seinem Cache beantwortet, sieht dein Ursprungsserver sie nie. Googlebot kann eine URL crawlen, die nie im Ursprungslog auftaucht, sodass ein reiner Ursprungs-Export die Crawl-Aktivität bei gecachten Inhalten zu niedrig ausweist. Exportiere auch die CDN-Logs und vergleiche beide Quellen bei einigen URLs, bevor du einer der beiden Summen vertraust.

Googlebot mit wenigen Befehlen filtern und zählen

Bei einem Log im combined-Format ist der Statuscode das 9. Feld und der URL-Pfad das 7. Diese beiden Spalten beantworten die meisten ersten Fragen. Dieser Befehl zählt Googlebot-Anfragen nach Statuscode:

grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

Dieser listet die 20 Pfade auf, die Googlebot am häufigsten anfordert, ohne Query-String, damit Filtervarianten zusammenfallen:

grep "Googlebot" access.log | awk '{print $7}' | cut -d '?' -f1 | sort | uniq -c | sort -rn | head -20

Der erste Befehl liest den Text des User-Agents, den jeder fälschen kann. Behandle seine Ausgabe als Kandidatenliste, bis der nächste Abschnitt erledigt ist. Außerdem ändern sich bei einem eigenen Logformat die Feldnummern. Prüfe deshalb eine Zeile mit eigenen Augen, bevor du den Spalten vertraust.

Googlebot so verifizieren, wie Google es beschreibt

Googles eigene Methode, um zu bestätigen, dass ein Besucher Googlebot ist, arbeitet mit DNS. Führe einen Reverse-DNS-Lookup für die IP-Adresse aus deinem Log durch, prüfe, dass der Hostname auf googlebot.com, google.com oder googleusercontent.com endet, und führe dann einen Forward-Lookup auf diesen Hostnamen aus, der die ursprüngliche IP zurückgeben muss. Googles Dokumentation nutzt dieses Beispiel, bei dem 66.249.66.1 auf crawl-66-249-66-1.googlebot.com aufgelöst wird:

host 66.249.66.1

Der Forward-Check ist der zweite Befehl, und er muss dieselbe IP liefern:

host crawl-66-249-66-1.googlebot.com

Wenn du Millionen Zeilen verarbeitest, werden DNS-Abfragen langsam. Google veröffentlicht außerdem JSON-Dateien mit den IP-Bereichen seiner Crawler, darunter common-crawlers.json für Googlebot. Der Abgleich mit diesen Bereichen ist schneller, und der offizielle Verifizierungsleitfaden beschreibt beide Methoden im Leitfaden von Google zur Verifizierung von Googlebot.

Gruppieren, messen und die Ergebnisse lesen

Rohe Zählungen pro URL sind schwer umzusetzen. Gruppiere die URLs zuerst nach Template, denn eine Korrektur betrifft meist ein Template und nicht eine einzelne Seite. Miss dann vier Dinge pro Gruppe. Wie viele Googlebot-Treffer sie erhält, gemessen an ihrer Bedeutung für dein Geschäft. Die Verteilung der Statuscodes. Wie schnell neue Seiten nach der Veröffentlichung ihren ersten Treffer bekommen. Und ob sich die Treffer auf die Seiten konzentrieren, die du ranken willst.

Lies die Ergebnisse als Muster, nicht als einzelne Zahl. Wenn die meisten Googlebot-Treffer auf Filter-URLs landen und nur wenige auf Produktseiten, fließt das Crawl-Budget ab. Das Problem liegt dann wahrscheinlich bei internen Links oder der Parameterbehandlung, nicht bei den Produktseiten. Der nächste Abschnitt listet die Signale, auf die du achten solltest.

Die sieben Signale, die in den Logs versteckt sind

Sobald die Googlebot-Zeilen verifiziert und gruppiert sind, erklären sieben Signale die meisten Crawling-Probleme. Die Tabelle nennt das Muster, nach dem du suchen solltest, und die übliche Korrektur. Jede Korrektur ist eine Änderung an der Website, also bestätige sie im nächsten Export.

Signal	Was die Logs zeigen	Was zu tun ist
Crawl-Verschwendung	Googlebot-Treffer auf Filtern, Sortierungen, interner Suche und Session-URLs	Mit Canonicals konsolidieren, interne Links auf diese URLs entfernen und unnötige Varianten in der robots.txt sperren, wenn sie sich nicht konsolidieren lassen
Weiterleitungen	Treffer auf 301- oder 302-Antworten und Ketten aus zwei oder mehr Sprüngen	Direkt auf die finale URL verlinken. Der Leitfaden 301 vs. 302 hilft bei der Wahl des richtigen Weiterleitungstyps
Fehler	Wiederholte 404- oder 410-Treffer und Spitzen bei 5xx-Antworten	Wichtige Seiten wiederherstellen oder weiterleiten und Serverfehler beheben, denn 5xx-Antworten reduzieren, wie viel Google crawlt
Fehlende Crawls	Wichtige URLs ohne einen einzigen Googlebot-Treffer im Zeitraum	Interne Links, Sitemap-Einträge und robots.txt-Regeln prüfen, die Crawler von ihnen fernhalten könnten
Duplikate	Derselbe Inhalt unter mehreren URLs, mit abschließenden Schrägstrichen, Großbuchstaben oder Parametern	Eine kanonische URL wählen und überall darauf verlinken
Zeit bis zum ersten Crawl	Zeit zwischen Veröffentlichung und dem ersten Googlebot-Treffer auf einer neuen Seite	Neue Seiten von häufig gecrawlten Seiten aus verlinken und die Sitemap sauber halten
Antwortzeit	Langsame Antworten auf den Templates, die Googlebot am häufigsten trifft	Diese Templates zuerst beschleunigen, da Google laut eigener Aussage bei langsamen Antworten weniger crawlt

Die Zeile „Fehlende Crawls“ wird oft übersprungen, und sie ist häufig die teuerste. Eine Seite, die du nie im Log siehst, kann keinerlei Rankings erzielen, selbst wenn ihr Inhalt exzellent ist. Steht eine URL in deiner Sitemap, taucht aber nie im Log auf, ist die Seite wahrscheinlich nur über einen Pfad erreichbar, den Crawler nicht verfolgen. Der Leitfaden zu Gecrawlt, derzeit nicht indexiert behandelt die andere Seite dieser Situation, wenn Googlebot zwar vorbeischaut, aber trotzdem nicht indexiert.

Drei Wege, die Analyse durchzuführen, im Vergleich

Du kannst Log-Analysen mit Skripten, mit einer Desktop-Anwendung oder mit einer Plattform durchführen. Jede Option passt zu einem anderen Volumen und einem anderen Team. Die richtige Wahl hängt weniger von der Größe deiner Website ab als davon, wie oft du die Antwort brauchst und wer sie lesen wird.

Kommandozeile: grep, awk und Python

Prinzip: Du parst die Rohdateien mit Skripten und schreibst die Ergebnisse in eine Datei oder Tabelle. Wann einsetzen: einmalige Prüfungen, kleine Websites oder ein Entwickler, der volle Kontrolle will. Vorteile: kostenlos, du siehst jede Zeile, und du kannst es mit einem geplanten Job automatisieren. Grenzen: Schreiben und Pflegen kostet Zeit, die Geschwindigkeit hängt von deiner Maschine ab, es gibt keine Diagramme, und du musst die Bots selbst verifizieren.

Beispiel: Die Befehle aus dem Methodenabschnitt, einmal im Monat auf demselben Export ausgeführt, liefern dir die Statuscode-Verteilung und die Top-Pfade für Googlebot. Ein kurzes Python-Skript kann dasselbe und zusätzlich die DNS-Prüfung leisten, die langsamer, aber genauer ist.

Desktop-Tool: Screaming Frog Log File Analyser

Prinzip: Du importierst die Rohlogs in ein Desktop-Projekt. Das Tool gruppiert die Bots, prüft ihre Identität und zeichnet die Diagramme. Wann einsetzen: ein Berater oder ein interner Analyst bei einer Website mit zehntausenden URLs. Vorteile: es liest Apache-, IIS- und Nginx-Logs im W3C-Extended-Format, verifiziert Suchmaschinen-Bots und markiert große oder langsame Seiten. Grenzen: Die kostenlose Version ist begrenzt, und die Datenmenge, die du laden kannst, hängt von deiner Festplatte ab.

Lies die Seite zum Log File Analyser von Screaming Frog, bevor du kaufst. Für eine vollständige Anleitung zum Crawler, der dazu passt, siehe unseren Leitfaden zu Screaming Frog SEO Spider. Der Log-Analyser erledigt eine Aufgabe, die der Crawler nicht leisten kann: Er zeigt, was Bots in der Realität angefordert haben, und nicht, was deine Links nahelegen.

Plattform: kontinuierliches Log-Monitoring

Prinzip: Die Plattform erhält deine Logs nach einem Zeitplan, oft vom CDN oder vom Server, und verknüpft sie mit einem Crawl deiner Website und mit Indexierungsdaten. Wann einsetzen: große E-Commerce-Websites oder Enterprise-Teams, die den Crawl wöchentlich über mehrere Märkte überwachen. Vorteile: sie skaliert auf sehr große Logs, behält die Historie und lässt mehrere Teams Dashboards teilen. Grenzen: sie kostet mehr, braucht Zeit für das Onboarding, und die Bindung an den Anbieter ist real. Prüfe deshalb, wie du deine Daten exportieren kannst, bevor du dich festlegst. Zu den Anbietern dieser Kategorie gehören Oncrawl und Botify, und es lohnt sich, jeden zu fragen, wie er Bots verifiziert.

Kriterium	Kommandozeile	Desktop-Tool	Plattform
Kosten	Kostenlos	Kostenlos bis 1000 Log-Ereignisse, 99 £ pro Jahr für die Vollversion	Abonnement, Preis richtet sich nach dem Volumen
Einrichtung	Du schreibst und pflegst die Skripte	Installieren, importieren, starten	Connectoren und Onboarding
Volumen	Begrenzt durch deine Maschine	Begrenzt durch deine Festplatte und Lizenz	Für sehr große Logs gebaut
Bot-Verifizierung	Manuell, mit DNS- oder IP-Bereichsprüfung	Eingebaut	Beim Anbieter erfragen
Ideal für	Einmalige Prüfungen und kleine Websites	Berater und mittelgroße Websites	Enterprise- und E-Commerce-Teams mit wöchentlichem Monitoring

Googles Crawling-Statistiken: nützlich, aber nicht genug

Bevor du auch nur einen Log exportierst, öffne den Bericht Crawling-Statistiken in der Search Console. Er zeigt die gesamten Crawl-Anfragen, die gesamte Download-Größe, die durchschnittliche Antwortzeit, Antworten nach Typ gruppiert, Dateitypen, den Crawl-Zweck und den Googlebot-Typ jeder Anfrage. Für eine Trendprüfung ist er der schnellste Blick, den du hast, und das Tutorial zur Google Search Console erklärt, wo du ihn findest.

Seine Grenzen zeigen, warum Logs trotzdem wichtig bleiben. Der Bericht ist nur für Domain-Properties und URL-Präfix-Properties auf Stammebene verfügbar. Er deckt nur Googles Crawler ab, GPTBot, ClaudeBot und die anderen fehlen also. Er gruppiert Daten, statt jede URL aufzulisten. Er kann dir deshalb sagen, dass die Crawl-Anfragen zurückgegangen sind, aber nicht, welche Templates sie verloren haben. Nutze ihn, um zu erkennen, dass sich etwas verändert hat, und die Logs, um herauszufinden, was.

Googles Hilfeseite zu den Crawling-Statistiken beschreibt jede Gruppierung. Wenn Diagramm und dein Log-Export nicht übereinstimmen, vertraue keinem von beiden, bis du das Zeitfenster und den Verifizierungsschritt geprüft hast. Die meisten Abweichungen entstehen durch ein anderes Zeitfenster, ein CDN, das aus dem Cache antwortet, oder eine Bot-Zählung, die unverifizierte Anfragen einschließt.

Crawl-Verschwendung beheben, sobald du sie siehst

Die Korrekturen ergeben sich aus den Signalen. Die meisten laufen auf drei Schritte hinaus: Crawler nicht mehr zu Seiten schicken, die nicht zählen, sie direkt zur finalen URL leiten, wenn eine Seite umgezogen ist, und die Seiten schneller machen, die zählen.

Facettierte Navigation. Filter und Sortierungen erzeugen viele URLs mit nahezu identischem Inhalt. Konsolidiere sie mit Canonicals, wo es geht, und entferne interne Links auf Varianten ohne Suchwert. Wo sich eine Variante nicht konsolidieren lässt und aus dem Crawl bleiben muss, sperre sie in der robots.txt. Googles Empfehlung ist hier eindeutig: Verwende dafür kein noindex, denn Google muss die Seite trotzdem abrufen, bevor es das Tag sehen kann. Hier ist die Art von Regel, die du testen solltest:

User-agent: Googlebot
Disallow: /*?sort=
Disallow: /*?color=

Halte die robots.txt-Änderung in angemessenem Rahmen. Google sagt, dass das Blockieren von URLs kein Crawl-Budget für deine übrigen Seiten freigibt, solange die Website nicht bereits ihr Kapazitätslimit erreicht. Blockieren ist für URLs gedacht, die keinen Wert haben, nicht als Mittel, um Budget zu deinen besten Seiten zu lenken. Unser Glossareintrag zu robots.txt erklärt, wie die Datei gelesen wird.

Weiterleitungsketten. Wurde eine Seite zweimal verschoben, durchläuft der Crawler jedes Mal beide Weiterleitungen. Aktualisiere die internen Links, sodass sie auf die finale URL zeigen, und behalte die alten Weiterleitungen für externe Links. Die Wahl zwischen permanenter und temporärer Weiterleitung ist aus demselben Grund wichtig, und der Leitfaden 301 vs. 302 behandelt sie ausführlich.

Entfernte Seiten. Gib für dauerhaft entfernte Seiten eine 404 oder 410 zurück. Google sagt, dass Soft-404s weiter gecrawlt werden und Crawl-Budget verschwenden. Eine Meldung „Seite nicht gefunden“ mit Status 200 ist deshalb schlechter als eine echte 404.

Antwortzeit und Caching. Google sagt, dass langsame oder fehlerhafte Antworten dazu führen, dass weniger gecrawlt wird. Unterstütze 304-Antworten (Not Modified), damit unveränderte Seiten aus dem Cache kommen können. Schau dir dann die Templates an, die die meisten Googlebot-Treffer erhalten, und mache diese Antworten zuerst schneller.

Die Fehler, die am meisten kosten, und wie du sie vermeidest

Die meisten Log-Analysen, die schiefgehen, machen einen von wenigen typischen Fehlern. Jeder der folgenden hat ein Symptom, das du in den Daten erkennst, und eine Korrektur, die du in derselben Woche umsetzen kannst.

Dem User-Agent-String vertrauen

Was es ist: jede Anfrage, die sich „Googlebot“ nennt, als Googles Crawl zählen. Woran du es erkennst: Googlebot-Treffer von IP-Adressen, die nicht auf Googles Hostnamen zurückauflösen, oder ein plötzlicher Sprung von einer einzelnen Adresse. Wie du es behebst: Führe die Verifizierung aus dem Methodenabschnitt aus, bevor du etwas zählst, und halte die unverifizierten Treffer in einem eigenen Topf, damit du Scraper-Aktivität weiterhin sehen kannst.

Nur die 200-Antworten lesen

Was es ist: sich auf Seiten mit 200 konzentrieren und den Rest ignorieren. Woran du es erkennst: Dein Bericht hat keinen Abschnitt zu 3xx, 4xx oder 5xx, oder die Verteilung der Statuscodes wird nie besprochen. Wie du es behebst: Beginne immer mit der Statuscode-Verteilung. Ein Anstieg bei 404-Treffern kann auf einen kaputten internen Link hinweisen, und ein Anstieg bei 5xx-Treffern auf ein Serverproblem, das den gesamten Crawl verlangsamt.

Eine Seite blockieren, die du aus dem Index nehmen willst

Was es ist: eine robots.txt-Regel zu einer Seite hinzufügen, die zusätzlich ein noindex-Tag trägt. Woran du es erkennst: Die Seite bleibt im Index, und das Log zeigt keine Googlebot-Treffer, weil der Crawler daran gehindert wird, sie abzurufen. Wie du es behebst: Entferne die Sperre, damit Google das noindex-Tag lesen kann, warte, bis die Seite aus dem Index fällt, und stelle die Sperre danach wieder her, falls du sie noch brauchst. Der Leitfaden zu Durch robots.txt blockiert erklärt den Search-Console-Status, der in diesem Fall auftaucht.

Zeitfenster unterschiedlicher Länge vergleichen

Was es ist: einen 3-Tage-Export vor einer Korrektur mit einem 30-Tage-Export danach vergleichen. Woran du es erkennst: Die Summen schwanken stark, aber der Anteil pro Template bleibt gleich. Wie du es behebst: Vergleiche dieselbe Anzahl an Tagen, nach Möglichkeit zur gleichen Jahreszeit, und vergleiche Anteile statt Rohsummen, wenn sich das Volumen ändert.

Treffer statt Wert messen

Was es ist: sich über einen Anstieg der Googlebot-Treffer freuen, ohne zu prüfen, ob diese Treffer indexierte Seiten erreichen. Woran du es erkennst: Die Treffer konzentrieren sich auf URLs, die nicht indexiert sind oder nie Traffic bringen. Wie du es behebst: Verknüpfe deine Log-Gruppen mit dem Indexierungsstatus aus dem URL-Prüfungs-Tool der Search Console. Werte eine Korrektur nur dann als Erfolg, wenn der Crawl sich auf Seiten verlagert, die zählen.

Wo KI-Bots in denselben Logs auftauchen

Dieselben Logs zeigen, was KI-Crawler auf deiner Website tun, und die Methode ist dieselbe: gruppieren, dort verifizieren, wo der Anbieter einen Weg dafür bietet, und die Statuscodes lesen. Unser Leitfaden zu KI-Crawler-Logs behandelt, welche Bots du suchen solltest und wie sie sich von Googlebot unterscheiden. Dieser Artikel behandelt die Googlebot-Methode ausführlich, und der KI-Abschnitt unten zeigt, wie du beides in einem Bericht zusammenführst.

Bot-Typ	Beispiele	Was du in den Logs prüfen solltest	Mehr dazu
Suchcrawler	Googlebot	Treffer pro Template, Verteilung der Statuscodes, Zeit bis zum ersten Crawl neuer Seiten	Die Abschnitte oben in diesem Artikel
Trainings-Crawler	GPTBot, ClaudeBot, CCBot	Ob sie deine Inhalte überhaupt anfordern und ob sie deine robots.txt respektieren	Robots.txt für KI-Crawler
Abruf-Crawler	ChatGPT-User, PerplexityBot	Kurze Besuchsschübe, die an Nutzerfragen gekoppelt sind, und die Seiten, die sie erreichen	KI-Crawler-Logs

Die Unterscheidung zwischen Training und Abruf stammt daher, wie KI-Crawler dokumentiert sind. Trainings-Crawler sammeln Inhalte für Modelle, Abruf-Crawler holen Seiten, wenn ein Nutzer eine Frage stellt. Dein Bericht sollte beides getrennt halten, denn eine Richtlinienentscheidung für das eine gilt nicht automatisch für das andere.

Wenn du Google-Traffic und KI-Traffic nebeneinander sehen willst, während du diese Korrekturen umsetzt, zeigt das GEO- / SEO-Dashboard von Sorank beides in einer Ansicht. Nutze es, um zu prüfen, ob die Änderungen aus den Logs den Traffic bewegen und nicht nur die Crawl-Zahlen.