Crawling-Fehler beheben: DNS, Server, robots.txt, 404, Soft 404 und Weiterleitungen. Wie der Googlebot reagiert und eine Methode in 6 Schritten.

Auf dieser Seite
Kurz gesagt
Crawling-Fehler sind Anfragen einer Suchmaschine oder eines KI-Crawlers an Ihre Website, die scheitern: Der Server antwortet nicht rechtzeitig, das DNS reagiert nicht, die robots.txt ist nicht abrufbar, eine Weiterleitung läuft im Kreis oder eine Seite liefert einen 4xx- oder 5xx-Code. Fehler auf Website-Ebene (DNS, Server, robots.txt) können Google daran hindern, Ihre gesamte Website zu crawlen, also beheben Sie diese zuerst. Fehler auf URL-Ebene (404, Soft 404, Weiterleitungsfehler) zählen nur, wenn sie Seiten treffen, die indexiert werden sollen. Sie finden sie in den Berichten Crawling-Statistiken und Seitenindexierung der Search Console, bestätigen sie mit einem Crawler und Ihren Server-Logs, beheben dann die Ursache und validieren.
Möchten Sie mehr erfahren? Fragen Sie
Kurzes Quiz
Wer sollte die Technik Ihrer Website in Ordnung bringen?
Unsere Empfehlung für Sie
Prüfen Sie es selbst mit den kostenlosen Google-Tools
Die Search Console listet die Seiten auf, die Google nicht lesen kann, und PageSpeed Insights testet die Geschwindigkeit. Viele kleine Probleme lassen sich in den Einstellungen Ihres Website-Baukastens beheben.
Unsere Empfehlung für Sie
Ein Webentwickler
Ihr Problem liegt im Code oder auf dem Server: Ein Entwickler mit SEO-Kenntnissen ist die richtige Person. Geben Sie ihm die Fehlerliste aus der Search Console.
Unsere Empfehlung für Sie
Ein Tool für technische Audits
Ihre Website hat viele Seiten: Ein Crawler liest alle wie Google und liefert eine vollständige Liste der Fehler, Seite für Seite.
Unsere Empfehlung für Sie
Ein automatisches Audit, dann Inhalte
Ihre Website funktioniert, bringt aber wenige Besucher: Technische Probleme sind selten die Ursache. Sorank prüft die Website und schreibt dann die Seiten, die Besucher bringen.
Ein Crawler verhält sich wie ein sehr geduldiger Besucher. Er fragt Ihren Server nach einer URL, wartet auf die Antwort, liest Statuscode und Inhalt und folgt dann den gefundenen Links. Ein Crawling-Fehler ist jeder Schritt in dieser Kette, der scheitert. Der Besucher bekommt nie eine brauchbare Seite.
Diese Definition ist wichtig, weil viele Berichte Crawling-Fehler mit Indexierungsentscheidungen vermischen. „Gecrawlt, zurzeit nicht indexiert" ist kein Crawling-Fehler: Google hat die Seite problemlos abgerufen und sich entschieden, sie nicht aufzunehmen. „Durch noindex-Tag ausgeschlossen" ist ebenfalls keiner: Sie haben Google gesagt, die Seite zu entfernen. Ein Crawling-Fehler bedeutet, dass schon der Abruf selbst schiefging.
Google teilt Probleme in zwei Ebenen auf, und das sollten Sie auch tun.
Website-Fehler und URL-Fehler
Ein Shop mit 4000 alten Produkt-URLs, die 404 liefern, kann völlig gesund sein, wenn diese Produkte endgültig weg sind. Derselbe Shop mit einer robots.txt, die sechs Stunden lang 503 liefert, hat einen echten Notfall, auch wenn jede Produktseite funktioniert. Beginnen Sie beim Host, dann bei den URLs, die Umsatz bringen, dann beim Rest.
Um Crawling-Fehler gut zu beheben, müssen Sie wissen, was Google tatsächlich tut, wenn es auf einen stößt. Die Google-Dokumentation dazu, wie sich HTTP-Statuscodes und Netzwerkfehler auf die Google Suche auswirken (Google Search Central), nennt die Regeln. Das bedeuten sie in der Praxis.
| Antwort | Was Google tut | Ist es ein Problem? |
|---|---|---|
| 2xx | Gibt den Inhalt an die Indexierung weiter. Die Indexierung ist nicht garantiert. | Nein, außer die Seite ist leer (Soft 404). |
| 301, 308 | Starkes Signal, dass das Ziel die neue URL ist. | Nein, wenn es ein einziger Sprung zu einer 200 ist. |
| 302, 303, 307 | Schwaches Signal: Die ursprüngliche URL bleibt meist die kanonische. | Ja, wenn der Umzug dauerhaft ist. |
| 3xx-Ketten | Folgt standardmäßig bis zu 10 Sprüngen und gibt dann auf. | Ja: Jeder Sprung verschwendet eine Anfrage, und Schleifen lösen sich nie auf. |
| 404, 410, andere 4xx (außer 429) | Behandelt den Inhalt als nicht vorhanden, entfernt indexierte URLs nach und nach und crawlt sie seltener. | Nur wenn die Seite existieren sollte. |
| 401, 403 | Wie andere 4xx. Sie verlangsamen das Crawling nicht. | Ja, wenn sie den Googlebot von öffentlichen Seiten aussperren. |
| 429 | Wird wie ein 5xx als Signal für Serverüberlastung behandelt. | Ja: Das Crawling wird langsamer. |
| 5xx | Verlangsamt das Crawling proportional zu den Fehlern. Dauerhaft fehlerhafte URLs werden aus dem Index entfernt. | Ja, immer. |
Zwei Details bringen viele Teams ins Stolpern. Erstens senken 401 und 403 die Crawling-Frequenz nicht. Wenn Ihr Server kämpft, hilft ein 403 an den Googlebot nicht; Google empfiehlt stattdessen vorübergehend 503 oder 429. Zweitens ist ein 404 keine Abstrafung. Es ist die richtige Antwort für eine Seite, die nicht mehr existiert.
Die Dokumentation zum Bericht Crawling-Statistiken (Search Console-Hilfe) erklärt die Regel. Eine robots.txt, die 200 (auch leer) oder 403, 404 oder 410 (keine Datei) liefert, ist in Ordnung. Eine robots.txt, die 429 oder 5xx liefert, ist ein Fehler, und Google geht dann auf Nummer sicher.
Was Google tut, wenn die robots.txt dauerhaft fehlschlägt
Quelle: Google Search Console-Hilfe, Bericht Crawling-Statistiken
Eine CDN-Regel oder eine Firewall, die auf /robots.txt ein 503 ausliefert, kann Ihre gesamte Website also einen halben Tag lang einfrieren, selbst wenn jede andere URL funktioniert. Prüfen Sie diese Datei bei jeder Untersuchung von Crawling-Fehlern zuerst. Unser Leitfaden zum Status „Durch robots.txt-Datei blockiert" behandelt das umgekehrte Problem, wenn die Datei funktioniert, aber zu viel blockiert.
Googles Crawling-Grenzen, die Sie kennen sollten
Quellen: Google Search Central, HTTP-Statuscodes und Netzwerkfehler; Search Console-Hilfe, Bericht Crawling-Statistiken

Hier die vollständige Liste, die Ihnen in der Search Console und in Crawlern begegnet, mit Ursache und Lösung für jeden Fall. Die Bezeichnungen folgen der Dokumentation zum Bericht Seitenindexierung (Search Console-Hilfe).
Google konnte Ihren Domainnamen nicht in eine IP-Adresse auflösen, oder der DNS-Server hat nicht geantwortet. Häufige Ursachen: eine abgelaufene Domain, ein Ausfall beim DNS-Anbieter, ein falscher Eintrag nach einer Migration oder eine fehlerhafte DNSSEC-Konfiguration. Prüfen Sie mit einer Abfrage von außerhalb Ihres Netzwerks:
dig +short example.com A
dig +short www.example.com CNAME
dig example.com +dnssec
Lösung: Korrigieren Sie die Einträge, senken Sie die TTL vor jeder Migration und nutzen Sie einen DNS-Anbieter mit Redundanz. Wenn example.com und www.example.com beide existieren, müssen beide auflösbar sein, auch wenn einer nur weiterleitet.
Der Server hat nicht rechtzeitig geantwortet, die Verbindung geschlossen oder mit 500, 502, 503 oder 504 geantwortet. Typische Ursachen: eine überlastete Datenbank, ein PHP- oder Node-Prozess, der unter Last abstürzt, ein Timeout am Reverse Proxy, ein Plugin-Update oder eine Firewall, die Bots drosselt. Achten Sie auf das zeitliche Muster: Fehler jede Nacht zur selben Uhrzeit deuten oft auf ein Backup oder einen Cronjob hin.
Lösung: Lesen Sie das Server-Fehlerlog zu den Zeitpunkten, die Google meldet, erhöhen Sie Timeouts oder die Zahl der Worker, cachen Sie schwere Seiten und stellen Sie sicher, dass Ihr Bot-Schutz den verifizierten Googlebot durchlässt. Für geplante Wartung liefern Sie ein 503 mit einem Retry-After-Header statt einer 200-Seite mit „Bald wieder da":
HTTP/1.1 503 Service Unavailable
Retry-After: 3600
Die Seite existiert nicht. Das ist in Ordnung, wenn sie absichtlich gelöscht wurde und nichts mehr darauf verlinkt. Es ist ein Problem, wenn die URL noch Backlinks, Traffic oder interne Links hat oder wenn die Seite existieren sollte und ein Deployment sie kaputt gemacht hat.
Lösung: Ist der Inhalt umgezogen, setzen Sie eine einzige 301 auf das nächstliegende Gegenstück. Ist er endgültig weg, behalten Sie das 404 oder nutzen Sie 410 und entfernen Sie die internen Links und Sitemap-Einträge, die darauf zeigen. Leiten Sie niemals alle 404 auf die Startseite um: Google behandelt solche Weiterleitungen meist als Soft 404.
Der Server sagt 200, aber die Seite wirkt leer oder zeigt „nicht gefunden": eine leere Kategorie, eine Suchseite ohne Ergebnisse, ein ausverkauftes Produkt ohne Inhalt. Google verbraucht eine Anfrage und bekommt nichts. Wir behandeln diesen Fall ausführlich in unserem Leitfaden zu Soft-404-Fehlern.
Der Googlebot sendet nie Zugangsdaten, ein 401 oder 403 auf einer öffentlichen Seite bedeutet also, dass Ihr Server oder eine Sicherheitsschicht ihn blockiert. Übliche Verdächtige: ein Staging-Passwort, das in der Produktion vergessen wurde, eine WAF-Regel, eine Ländersperre oder ein Hotlink-Schutz, der auf HTML angewendet wird. Beheben Sie die Regel, nicht das Symptom, und testen Sie mit dem Tool URL-Prüfung in der Search Console.
Google meldet einen Weiterleitungsfehler bei einer Schleife, einer zu langen Kette, einer URL über der maximalen Länge oder einer ungültigen oder leeren URL in der Kette. Der Klassiker nach einer Migration: http auf https, dann auf www, dann auf einen abschließenden Schrägstrich, dann auf einen neuen Pfad. Vier Sprünge, wo einer reichen würde. Unser vollständiger Leitfaden zu SEO-Weiterleitungen erklärt, wie Sie sie zusammenfassen.
Tipp
Fügen Sie jede verdächtige URL in den kostenlosen Weiterleitungs-Checker von Sorank ein: Er folgt der ganzen Kette, zeigt jeden Sprung mit Statuscode und sagt Ihnen, wo die Schleife oder der überflüssige Sprung liegt.
Manche Fehler zeigen nie einen Statuscode. Die Seite beginnt zu laden und bricht ab, oder sie ist so schwer, dass der Crawler nur einen Teil liest. Die Google-Crawler lesen pro Datei eine begrenzte Zahl an Bytes, eine mit Inline-Skripten oder Base64-Bildern aufgeblähte Seite kann also den Inhalt am Ende verlieren. Prüfen Sie schwere Templates mit dem Seitengrößen-Checker.
Kein einzelnes Tool zeigt alle Crawling-Fehler. Jede Methode sieht das Problem aus einem anderen Blickwinkel, und ein ernsthaftes Audit kombiniert mindestens zwei.
Prinzip: Google zeigt seine eigenen Crawling-Anfragen der letzten 90 Tage, gruppiert nach Antwort, Dateityp, Zweck und Googlebot-Typ, dazu den Hoststatus für DNS, Server und robots.txt. Wann einsetzen: immer, und zuerst, für Website-Fehler. Vorteile: Es sind die echten Daten von Google selbst. Grenzen: nur für Properties auf Stammebene, Beispiele als Stichprobe, und laut Google brauchen Websites mit weniger als tausend Seiten ihn selten. Beispiel: eine Spitze bei „Seiten-Timeout" jeden Sonntag um 3 Uhr, passend zu einem Datenbank-Backup.

Prinzip: listet die URLs auf, die Google kennt, und warum sie nicht indexiert sind, mit Gründen wie Serverfehler (5xx), Weiterleitungsfehler, Nicht gefunden (404) oder Soft 404. Wann einsetzen: zum Sortieren von URL-Fehlern und zum Validieren von Korrekturen. Vorteile: an die Seiten gebunden, die Google tatsächlich versucht hat. Grenzen: Berichte hinken Tage hinterher, Beispiellisten sind begrenzt, und Crawling-Fehler werden mit Indexierungsentscheidungen vermischt. Beispiel: 300 URLs unter „Weiterleitungsfehler", die alle das alte Präfix /blog/ teilen.
Prinzip: Ein Tool wie Screaming Frog crawlt Ihre Website wie ein Bot, folgt den Links ab der Startseite und protokolliert jeden Statuscode, jede Weiterleitungskette und jeden defekten Link. Wann einsetzen: vor und nach einer Migration, einem Relaunch oder einem großen Deployment, und monatlich bei großen Websites. Vorteile: sofort, vollständig für verlinkte Seiten, zeigt, wo jeder defekte Link sitzt. Grenzen: Er weiß nicht, was Google wirklich angefragt hat, übersieht verwaiste Seiten, und Ihr Server behandelt ihn eventuell anders als den Googlebot. Unser Leitfaden zur Einrichtung von Screaming Frog führt durch ein komplettes Audit.

Prinzip: Ihre Access-Logs speichern jede Anfrage, auch die von Googlebot, Bingbot, GPTBot, ClaudeBot und PerplexityBot, mit exaktem Statuscode und Antwortzeit. Wann einsetzen: bei großen Websites, nach unerklärlichen Traffic-Einbrüchen und um zu sehen, was KI-Crawler abrufen. Vorteile: echte Anfragen, echte Codes, keine Stichprobe, alle Bots. Grenzen: erfordert Zugriff auf die Logs und etwas Skripting; Sie müssen prüfen, ob „Googlebot" wirklich Google ist. Unser Leitfaden zur Logfile-Analyse für SEO geht Schritt für Schritt vor. Ein schneller erster Blick:
# Googlebot-Anfragen, die nicht 200, 301 oder 304 geliefert haben, häufigste zuerst
grep -i "googlebot" access.log | awk '$9 !~ /^(200|301|304)$/ {print $9, $7}' | sort | uniq -c | sort -rn | head -50
Prinzip: eine URL nach der anderen mit curl oder einem kostenlosen Online-Checker testen. Wann einsetzen: um eine Korrektur zu bestätigen oder eine wichtige Seite nach einem Deployment zu prüfen. Vorteile: sofort und präzise. Grenzen: skaliert nicht. Verwenden Sie einen Googlebot-User-Agent, um Regeln zu erwischen, die Bots anders behandeln:
curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page/
curl -sIL https://example.com/old-page/ | grep -iE "^(HTTP|location)"
| Methode | Sieht Website-Fehler | Sieht URL-Fehler | Echte Googlebot-Daten | Sieht KI-Crawler | Am besten für |
|---|---|---|---|---|---|
| Crawling-Statistiken | Ja | Stichprobe | Ja | Nein | Host-Gesundheit |
| Bericht Seitenindexierung | Teilweise | Ja | Ja | Nein | Sortieren und Validieren |
| Crawler (Screaming Frog...) | Nein | Ja, verlinkte Seiten | Nein | Nein | Defekte Links an der Quelle finden |
| Server-Logs | Teilweise | Ja | Ja | Ja | Große Websites, Ursachenanalyse |
| Prüfung einzelner URLs | Nein | Eine nach der anderen | Nein | Nein | Korrekturen bestätigen |
Ein 5xx-Status bedeutet, dass der Server eine gültig aussehende Anfrage nicht verarbeiten konnte. Google drosselt daraufhin das Crawling, und stärker, wenn mehr Ihrer URLs Fehler liefern. Google behält bereits indexierte URLs eine Zeit lang, entfernt aber URLs, die dauerhaft einen Serverfehler zurückgeben. Ein kurzer Ausreißer ist verkraftbar, denn Google erhöht die Crawling-Rate wieder schrittweise, sobald Ihr Server mit 2xx-Codes antwortet. Ein langer Zeitraum mit Fehlern ist es, der Ihren Index schädigt.
Jeder 5xx-Code verweist auf einen anderen Teil des Stacks. Die Tabelle nennt Ihnen für jeden Code einen ersten Ansatzpunkt.
| Code | Was er meist bedeutet | Zuerst prüfen |
|---|---|---|
| 500 | Die Anwendung ist bei der Verarbeitung der Anfrage fehlgeschlagen | Das Anwendungs-Fehlerlog zum genauen Zeitpunkt der Anfrage |
| 502 | Proxy oder CDN haben eine ungültige Antwort der Anwendung erhalten, oft weil sie abgestürzt oder neu gestartet ist | Neustarts und Verfügbarkeit des Anwendungsprozesses |
| 503 | Der Dienst ist überlastet, gedrosselt oder in Wartung | Lastkurven, Deployment-Historie und Wartungsfenster |
| 504 | Der Proxy hat nicht länger auf die Anwendung gewartet | Langsame Datenbankabfragen und Timeout-Einstellungen des Proxys |
| 429 | Ein Rate-Limiter meldet zu viele Anfragen | Rate-Limit-Regeln und die Frage, ob sie für den verifizierten Googlebot gelten |
Der Bericht Crawling-Statistiken zeigt die Tage und Stunden, in denen Google auf Fehler gestoßen ist (unser Leitfaden zu den Crawling-Statistiken erklärt jede Grafik). Ihr Serverlog zeigt, was in genau diesen Momenten passiert ist. Filtern Sie die Googlebot-Anfragen und zählen Sie die 5xx-Antworten pro Stunde:
grep -i 'googlebot' access.log | awk '$9 ~ /^5/ {print substr($4,2,14), $9}' | sort | uniq -c
Jede Ausgabezeile steht für eine Stunde, einen Statuscode und eine Anzahl. Eine Häufung in derselben Stunde jede Nacht deutet meist auf ein Backup, einen Cron-Job oder einen geplanten Import hin. Über den ganzen Tag verteilte Fehler deuten eher auf Last hin. Dann liegt die Lösung in Kapazität oder Caching statt in einem einzelnen Bug. Eine tiefergehende Methode finden Sie in unserem Leitfaden zur Analyse von Logdateien.
Google reduziert das Crawling im Verhältnis zur Anzahl der URLs mit Fehlern. Eine defekte Vorlage, die wenige URLs betrifft, kostet wenig Crawling-Zeit. Ein Datenbankausfall, der jede Seite lahmlegt, kostet viel, und den sollten Sie zuerst beheben.
Ein 429 hat dieselbe Wirkung wie ein 5xx, weil Google es als überlasteten Server liest. Wenn Ihr Rate-Limiter oder Ihr Bot-Schutz Googlebot ein 429 zurückgibt, bezahlen Sie das mit Crawling-Zeit. Die Dokumentation von Google erwähnt den Retry-After-Header nicht. Behalten Sie ihn für menschliche Besucher und API-Clients bei, verlassen Sie sich aber nicht darauf, dass Googlebot die Wartezeit einhält, die Sie angegeben haben.
Ein 4xx-Status bedeutet, dass der Server die Anfrage wegen etwas auf Client-Seite abgelehnt hat: Die URL existiert nicht, der Zugriff ist verboten oder die Adresse ist fehlerhaft. Google behandelt jeden 4xx-Code außer 429 gleich. Google hört auf, den Inhalt hinter dieser URL zu nutzen, und entfernt die URL aus dem Index, falls sie dort war. Bevor Sie einen 4xx angehen, finden Sie heraus, woher die Anfrage kommt, denn die Lösung liegt oft an einer einzigen Stelle: einem Link, einer Vorlage oder einer Weiterleitungsregel.
Ihr Zugriffslog speichert den Referrer jeder Anfrage, also welche Seite den Besucher oder Bot zu dieser URL geschickt hat. Zählen Sie die 4xx-Antworten nach Pfad und nach Referrer:
awk '$9 ~ /^4/ {print $9, $7}' access.log | sort | uniq -c | sort -rn | head -20
awk '$9 ~ /^4/ {print $11, $7}' access.log | sort | uniq -c | sort -rn | head -20
Lesen Sie die Referrer-Spalte so:
Ein Release, das eine Route umbenennt, einen Slug ändert oder eine Vorlage neu baut, erzeugt oft am selben Tag eine Welle von 404-Fehlern. Exportieren Sie die Zahl der 4xx-Antworten pro Tag für die Woche vor dem Deployment und die Woche danach. Ein Anstieg, der sich auf einen Ordner konzentriert, weist direkt auf die Änderung hin. Richten Sie die Weiterleitung von der alten auf die neue URL im selben Release ein, nicht in einem späteren Ticket. Für einen vollständigen Umzug lesen Sie unsere Checkliste für SEO-Migrationen.
Tipp
Ersetzen Sie eine fehlende Seite nicht durch eine 200-Antwort mit einer kurzen Meldung oder einer leeren Liste. Google kann sie als Soft 404 behandeln, was einen vollen Abruf kostet und nichts zurückbringt.
Das ist die Methode, die wir anwenden. Sie geht von den Fehlern, die Ihre ganze Website stoppen können, bis zu denen, die nur etwas Crawling verschwenden.
Die 6-Schritte-Methode gegen Crawling-Fehler
Öffnen Sie in der Search Console Einstellungen, dann Crawling-Statistiken, dann Hoststatus. Grün bedeutet kein nennenswertes Problem in 90 Tagen. „Kürzliches Problem" bedeutet ein ernstes Problem in der letzten Woche: Lassen Sie alles andere liegen. Klicken Sie jede Kategorie an, um die Fehlerrate pro Tag zu sehen, und gleichen Sie die schlechten Tage mit der Historie von Hosting, CDN und Deployments ab.
Öffnen Sie Indexierung, dann Seiten, und exportieren Sie jeden Fehlergrund. Beheben Sie URLs nicht einzeln. Legen Sie sie in eine Tabelle und extrahieren Sie den ersten Ordner:
=REGEXEXTRACT(A2, "^https?://[^/]+(/[^/]*/?)")
Eine Pivot-Tabelle auf dieser Spalte zeigt meist, dass die meisten Fehler aus zwei oder drei Templates stammen: eine eingestellte Blog-Kategorie, ein Filterparameter, ein alter Produktfeed.
Stellen Sie für jedes Muster vier Fragen. Bekommt es organische Klicks? Hat es Backlinks? Ist es intern verlinkt? Steht es in der Sitemap? Ein 404 ohne eines dieser Merkmale kann ewig warten. Ein 404 mit Backlinks braucht heute eine 301. Der kostenlose Broken-Link-Checker zeigt, welche Ihrer Seiten noch auf tote URLs verlinken.
Korrigieren Sie Regeln, nicht URLs. Eine Weiterleitungstabelle in der Serverkonfiguration ist besser als 400 von Hand in einem Plugin angelegte Weiterleitungen. Zum Beispiel in nginx:
map $request_uri $new_uri {
/old-blog/seo-tips/ /blog-geo-seo/seo-best-practices/;
/old-blog/sitemaps/ /blog-geo-seo/how-to-create-a-sitemap/;
}
server {
if ($new_uri) { return 301 $new_uri; }
}
Bei 5xx beheben Sie Kapazität oder Bug. Bei 401 und 403 korrigieren Sie die Sicherheitsregel. Bei Soft 404 ergänzen Sie echten Inhalt oder liefern ein echtes 404.
Jeder interne Link sollte direkt auf eine URL zeigen, die 200 liefert. Jeder Sitemap-Eintrag sollte eine kanonische, indexierbare 200-URL sein. Eine Sitemap voller Weiterleitungen und 404 bringt Google bei, ihr weniger zu vertrauen. Unser Leitfaden zum Erstellen einer Sitemap erklärt, was hineingehört.
Öffnen Sie im Bericht Seitenindexierung den behobenen Grund und klicken Sie auf Fehlerbehebung überprüfen. Google prüft zuerst eine Stichprobe, dann den Rest; das dauert meist bis zu etwa zwei Wochen und bricht ab, wenn auch nur eine URL noch fehlschlägt. Klicken Sie nicht erneut, solange die Prüfung läuft. Richten Sie dann eine wöchentliche Routine ein: Crawling-Statistiken für den Host, Logs für Spitzen, ein Crawl nach jedem Deployment.
Eine Weiterleitungskette vor und nach der Korrektur
Was es ist: ein Plugin oder eine Regel, die jede fehlende URL auf / schickt. Wie Sie es erkennen: viele URLs unter „Soft 404" oder „Seite mit Weiterleitung", die alle auf der Startseite landen; ein Crawler zeigt Hunderte 301 mit demselben Ziel. Wie Sie es beheben: Leiten Sie nur auf ein nahes Gegenstück um und lassen Sie den Rest 404 oder 410 liefern.
Was es ist: eine WAF, ein Bot-Manager oder ein Rate-Limiter, der Google ein 403, ein 429 oder eine Challenge-Seite ausliefert. Wie Sie es erkennen: 403 oder 429 in den Crawling-Statistiken, während die Seite im Browser normal lädt; die Logs zeigen die Sperren nach IP. Wie Sie es beheben: Lassen Sie den verifizierten Googlebot zu, per Reverse-DNS oder über die von Google veröffentlichten IP-Bereiche, statt dem User-Agent zu vertrauen.
Was es ist: eine von der Anwendung erzeugte robots.txt, die also jedes Mal ausfällt, wenn die Anwendung ausfällt, oder die über eine CDN-Regel ausgeliefert wird, die ein 5xx cacht. Wie Sie es erkennen: Die Kategorie robots.txt-Abruf im Hoststatus ist nicht grün. Wie Sie es beheben: Liefern Sie sie als statische Datei außerhalb der Anwendung aus und testen Sie sie mit dem robots.txt-Checker.
Was es ist: eine Seite „Wir sind bald zurück", die auf jeder URL mit Status 200 ausgeliefert wird. Wie Sie es erkennen: nach der Wartung eine Welle von Soft 404 oder doppelten Titeln. Wie Sie es beheben: Liefern Sie während der Wartung ein 503 mit Retry-After und halten Sie sie kurz.
Was es ist: dem Googlebot 403 antworten, wenn der Server überlastet ist. Wie Sie es erkennen: 403-Spitzen, die mit Lastspitzen zusammenfallen. Wie Sie es beheben: Laut Google haben 4xx-Codes außer 429 keinen Einfluss auf die Crawling-Frequenz. Liefern Sie kurzzeitig 503 oder 429 und beheben Sie die Kapazität.
Was es ist: sich durch die Liste der Search Console klicken und jede URL einzeln bearbeiten. Wie Sie es erkennen: Derselbe Grund taucht jeden Monat wieder auf. Wie Sie es beheben: Nach Muster gruppieren, das Template oder die Regel korrigieren, dann einmal validieren.
Was es ist: Tage mit 404 für Spam-URLs oder längst gelöschte Seiten ohne Links verbringen. Wie Sie es erkennen: Die URLs haben keine Klicks, keine Backlinks und keine internen Links. Wie Sie es beheben: Lassen Sie sie. Laut Google ist ein 404 für eine entfernte Seite nicht unbedingt ein Problem.
Achtung
Sperren Sie niemals eine URL in der robots.txt, um einen Crawling-Fehler zu „verstecken". Google sieht dann weder das 404 noch die Weiterleitung, die URL kann indexiert bleiben, und Sie verlieren genau das Signal, das Sie senden wollten.
Bei einer Website mit ein paar hundert Seiten hat Google Zeit für alles, und Crawling-Fehler zählen vor allem für die Seiten, die sie kaputt machen. Bei großen Websites (Shops mit Filtern, Marktplätze, Nachrichtenseiten) nimmt jede fehlgeschlagene oder verschwendete Anfrage Ihren echten Seiten Zeit weg. Das ist die Idee hinter dem Crawl-Budget.
5xx und 429 lassen Google auf dem gesamten Host langsamer werden, ein paar defekte Templates können also das Crawling Ihrer neuen Produktseiten verzögern. Weiterleitungsketten kosten eine Anfrage pro Sprung. Soft 404 kosten einen vollständigen Abruf und bringen nichts. Beheben Sie diese drei, und dasselbe Budget deckt mehr nützliche Seiten ab.
Wenn Google URLs findet, ihr Crawling aber aufschiebt, ist die Ursache oft ein Server, den Google für anfällig hält. Wenn die Zahl unter „Gefunden, zurzeit nicht indexiert" wächst und gleichzeitig Serverfehler in den Crawling-Statistiken auftauchen, beheben Sie zuerst den Server. Beide Berichte erzählen dieselbe Geschichte.
Der Googlebot ist nicht mehr der einzige Besucher, der zählt. GPTBot, OAI-SearchBot, ClaudeBot und PerplexityBot rufen Seiten ab, um Modelle zu trainieren oder Fragen in Echtzeit zu beantworten. Sie treffen denselben Server und leiden unter denselben Fehlern, mit einem Unterschied: Für sie gibt es keine Search Console.
Die meisten KI-Crawler führen kein JavaScript aus, eine Seite, die ihren Inhalt nur im Browser aufbaut, kann für sie also leer wirken, eine Art Soft 404, die Sie in Googles Berichten nie sehen. Viele werden von Bot-Schutzdiensten standardmäßig blockiert, oft mit einem 403. Und weil sie Seiten bei Bedarf abrufen, wenn ein Nutzer eine Frage stellt, bedeutet ein Timeout in diesem Moment, dass die Antwort jemand anderen zitiert. Unser Leitfaden zu JavaScript-SEO behandelt das Rendering für Suchmaschinen und KI-Crawler.
Ihre Server-Logs sind die einzige verlässliche Quelle. Filtern Sie nach User-Agent und sehen Sie sich die Statuscodes an:
grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
Bekommen KI-Bots 403, die Sie nicht beabsichtigt haben, korrigieren Sie die Regel. Prüfen Sie dann, ob sie Sie tatsächlich zitieren: Das KI-Mention-Tracking von Sorank verfolgt, wie oft ChatGPT, Gemini, Claude und Perplexity Ihre Marke erwähnen, damit Sie sehen, ob eine Crawling-Korrektur etwas verändert.
Gehen Sie diese Liste nach jeder Migration, jedem Relaunch oder großen Deployment durch, und bei großen Websites einmal im Monat.
Checkliste für gesundes Crawling
Öffnen Sie die Crawling-Statistiken und prüfen Sie die drei Zeilen des Hoststatus. Lassen Sie dann den kostenlosen Indexierbarkeits-Checker über Ihre fünf wertvollsten Seiten laufen. Ist beides sauber, exportieren Sie die Fehler der Seitenindexierung und gruppieren Sie sie nach Ordner: Sie haben jetzt eine kurze, priorisierte Liste statt eines beängstigenden Berichts.
Ist das Crawling sauber, ist die nächste Grenze der Inhalt selbst. Die Content-Optimierung von Sorank überarbeitet und aktualisiert Ihre bestehenden Seiten per Autopilot, damit die Seiten, die Google jetzt erreicht, es wert sind, indexiert und zitiert zu werden. Für Seiten, die Google gecrawlt, aber nicht aufgenommen hat, lesen Sie unseren Leitfaden zu „Gecrawlt, zurzeit nicht indexiert".
Crawling-Fehler sind Anfragen einer Suchmaschine oder eines KI-Crawlers, die scheitern: Das DNS lässt sich nicht auflösen, der Server läuft in ein Timeout oder liefert 5xx, die robots.txt ist nicht abrufbar, eine Weiterleitung läuft im Kreis oder eine Seite liefert einen 4xx-Code. Website-Fehler können das Crawling der gesamten Website pausieren, URL-Fehler betreffen nur die jeweilige Seite.
Nicht an sich. Laut Google ist ein 404 für eine ohne Ersatz entfernte Seite nicht unbedingt ein Problem. Zum Problem wird es, wenn die URL noch Backlinks, Traffic oder interne Links hat; dann ist eine einzige 301 auf ein nahes Gegenstück die richtige Lösung.
Nach einem Klick auf Fehlerbehebung überprüfen im Bericht Seitenindexierung der Search Console dauert die Validierung meist bis zu etwa zwei Wochen. Google prüft zuerst eine Stichprobe von URLs, dann den Rest, und bricht ab, wenn auch nur eine betroffene URL noch fehlschlägt.
