Crawl-Budget: Wie oft Suchmaschinen Ihre Website besuchen

Das Crawl-Budget beschreibt, wie viel Crawl-Aufmerksamkeit eine Suchmaschine Ihrer Website zuweist. Der Googlebot crawlt nicht jede Seite im Internet gleich oder ununterbrochen; er trifft wirtschaftliche Entscheidungen darüber, wo er seine endlichen Ressourcen einsetzt. Das Crawl-Budget ist das praktische Ergebnis dieser Entscheidungen für Ihre konkrete Domain: die Menge an URLs, die Google in einem Zeitfenster abrufen kann und will.

Google veröffentlicht keine Zahl für Ihr Crawl-Budget und lässt Sie auch keine manuell festlegen. Stattdessen erklärt Googles Dokumentation zum Crawl-Budget, dass es aus zwei zugrunde liegenden Faktoren hervorgeht. Diese Faktoren zu verstehen, ist der Schlüssel, um zu beeinflussen, wie gründlich und wie oft Ihre Seiten gecrawlt werden, besonders da KI-Crawler im Jahr 2026 neuen Druck auf die Serverressourcen ausüben.

Die zwei Faktoren: Crawl-Kapazität und Crawl-Nachfrage

Die Crawl-Kapazitätsgrenze ist die maximale Anzahl gleichzeitiger Verbindungen, die der Googlebot zum Crawlen Ihrer Website nutzt, plus die Verzögerung zwischen den Abrufen. Sie wird von der Gesundheit Ihres Servers bestimmt. Wenn Ihre Website schnell und fehlerfrei antwortet, hebt Google die Grenze an und crawlt aggressiver. Wenn Ihr Server langsamer wird oder 5xx-Fehler zurückgibt, fährt Google zurück, um Sie nicht zu überlasten.

Die Crawl-Nachfrage ist, wie dringend Google Ihre Seiten überhaupt crawlen will. Sie steigt mit der Beliebtheit (URLs, die Traffic und Links anziehen), dem wahrgenommenen Bestand (wie viele nützliche Seiten Google bei Ihnen vermutet) und der Veralterung (Seiten, von denen Google glaubt, sie müssten aufgefrischt werden). Eine große, häufig aktualisierte, autoritative Website erzeugt hohe Crawl-Nachfrage; eine kleine, statische Website erzeugt geringe Nachfrage.

Ihr effektives Crawl-Budget ist der Treffpunkt dieser beiden. Hohe Kapazität bei geringer Nachfrage bedeutet dennoch geringes Crawling, und hohe Nachfrage, gedrosselt durch einen langsamen Server, bedeutet verpasste Seiten. Beide Hebel zählen, und sie wirken mit Ihrem gesamten Crawling-Fußabdruck zusammen.

Wer sich tatsächlich um das Crawl-Budget kümmern muss

Die meisten Websites müssen überhaupt nicht über das Crawl-Budget nachdenken. Wenn Sie ein paar hundert oder ein paar tausend Seiten haben und Ihr Server einigermaßen schnell ist, crawlt Google alles Wichtige ohne Schwierigkeiten. Energie in die Crawl-Budget-Optimierung für eine kleine Website zu stecken, ist meist vergeudeter Aufwand.

Google richtet seine Empfehlungen ausdrücklich an drei Gruppen: große Websites mit einer Million oder mehr einzigartigen Seiten, die sich mindestens wöchentlich ändern, mittelgroße bis große Websites mit 10.000 oder mehr einzigartigen Seiten, die sich täglich ändern, und jede Website, bei der ein großer Anteil der URLs in der Search Console als entdeckt, aber derzeit nicht indexiert erscheint. Wenn Sie in einen dieser Bereiche fallen, wird das Crawl-Budget zu einer echten Einschränkung, die direkt steuert, welche Seiten indexiert werden und wie aktuell sie bleiben.

Wie Sie erkennen, ob das Crawl-Budget ein Problem ist

Das deutlichste Signal liegt in der Google Search Console. Öffnen Sie den Bericht zu den Crawling-Statistiken, um zu sehen, wie viele Anfragen der Googlebot pro Tag stellt, wie die durchschnittliche Antwortzeit ist und ob es Verfügbarkeitsfehler gibt. Eine hohe Anzahl an Anfragen, die für URLs mit geringem Wert aufgewendet werden, oder steigende Antwortzeiten deuten auf Ineffizienz hin.

Achten Sie im Seitenbericht auf den Status entdeckt, aber derzeit nicht indexiert. Wenn Google eine URL gefunden, aber nicht gecrawlt hat, warten Ihre wichtigen Seiten möglicherweise hinter einer Warteschlange aus Ausschuss. Die Analyse der Serverprotokolle ist die präziseste Methode: Sie zeigt genau, welche URLs der Googlebot abruft und wie oft, und offenbart, wohin Ihr Budget tatsächlich fließt im Vergleich zu dem, wohin Sie es lenken möchten.

Was das Crawl-Budget verschwendet

Die größten Abflüsse sind vorhersehbar. Facettennavigation und URL-Parameter können nahezu unendliche Kombinationen gefilterter und sortierter Seiten erzeugen, jede eine eigene URL, die der Googlebot zu crawlen versuchen könnte. Sitzungs-IDs in URLs erzeugen dieselbe Explosion von Duplikaten. Jeder dieser vergeudeten Abrufe ist ein Abruf, der nicht für eine echte Seite aufgewendet wird.

Andere häufige Verschwender sind lange Weiterleitungsketten, Soft-404-Seiten, die für fehlenden Inhalt einen Status 200 zurückgeben, Duplicate Content über mehrere URLs hinweg, Endlosscroll- oder Kalenderseiten, die endlose Links erzeugen, und veraltete Sitemaps, die auf tote URLs verweisen. Jeder davon verbraucht Crawl-Kapazität, die in Ihr neuestes Produkt, Ihren neuesten Artikel oder Ihre neueste Landingpage und in eine bessere Indexierung der Seiten fließen sollte, die Ihnen wichtig sind.

So optimieren Sie das Crawl-Budget

Beginnen Sie damit, zu blockieren, was Google nicht crawlen sollte. Verwenden Sie Ihre robots.txt-Datei, um Facettenparameter, interne Suchergebnisse und andere URL-Muster mit geringem Wert zu sperren. Google weist darauf hin, dass robots.txt, nicht noindex, hier das richtige Werkzeug ist: Eine noindex-Seite muss dennoch gecrawlt werden, um gelesen zu werden, was Budget verbraucht, während ein gesperrter Pfad übersprungen wird.

Bereinigen Sie als Nächstes Ihre Statuscodes. Geben Sie für dauerhaft entfernte Seiten einen 404 oder 410 zurück, damit Google sie nicht mehr anfragt. Führen Sie Duplicate Content hinter Canonical-Tags zusammen und beseitigen Sie Weiterleitungsketten, indem Sie Links direkt auf die endgültige URL verweisen. Jede Korrektur gewinnt Abrufe für Seiten zurück, die sie verdienen.

Halten Sie schließlich Ihre XML-Sitemap mit ehrlichen lastmod-Daten korrekt und verbessern Sie die Servergeschwindigkeit, damit Google Ihre Crawl-Kapazitätsgrenze anhebt. Eine schnellere Website ist, alles andere gleich, eine gründlicher gecrawlte Website.

Crawl-Budget und KI-Crawler im Jahr 2026

Der Googlebot ist nicht länger der einzige Crawler, der um die Aufmerksamkeit Ihres Servers konkurriert. KI-Engines setzen eigene Bots ein, darunter GPTBot und OAI-SearchBot von OpenAI, ClaudeBot von Anthropic und PerplexityBot, um die Inhalte zu sammeln und aufzufrischen, die sie in Antworten zitieren. Diese Crawler verbrauchen echte Bandbreite und Server-Zyklen.

Serverdaten aus dem Jahr 2025 zeigten einen steil ansteigenden Traffic von KI- und Such-Crawlern, wobei mehrere Bots im Jahresvergleich um Hunderte von Prozent zulegten. Die praktische Folge ist, dass dieselbe Arbeit an Website-Gesundheit und Effizienz, die Ihr Google-Crawl-Budget schützt, auch die Leistung für KI-Crawler schützt. Ein schneller Server und eine saubere URL-Struktur helfen jedem Bot, vom Googlebot bis zu den Engines hinter der KI-Suche, ihr begrenztes Crawling auf Seiten zu verwenden, die es wert sind, abgerufen zu werden.

Crawl-Budget vs. Indexierung: eine häufige Verwechslung

Crawling und Indexierung sind unterschiedliche Schritte, und sie zu vermengen, führt zu vergeudetem Aufwand. Das Crawl-Budget bestimmt, ob und wie oft Google eine URL abruft. Die Indexierung ist die getrennte Entscheidung darüber, ob eine gecrawlte Seite es wert ist, gespeichert und in den Ergebnissen ausgeliefert zu werden. Eine Seite kann gecrawlt und dann bewusst nicht indexiert werden, weil Google sie als geringwertig einstufte.

Das ist für die Diagnose wichtig. Wenn eine Seite entdeckt, aber nicht gecrawlt ist, handelt es sich um ein Problem des Crawl-Budgets oder der Entdeckung, und die obigen Korrekturen greifen. Wenn eine Seite gecrawlt, aber nicht indexiert ist, liegt das Problem meist an der Inhaltsqualität, an dünnem Inhalt oder an Duplizierung, und keine noch so große Crawl-Optimierung wird es beheben. Ermitteln Sie, welche Stufe versagt, bevor Sie handeln.

Fazit

Das Crawl-Budget ist die Anzahl der URLs, die eine Suchmaschine in einem bestimmten Zeitraum auf Ihrer Website crawlen kann und will, festgelegt durch die Crawl-Kapazitätsgrenze (die Gesundheit Ihres Servers) und die Crawl-Nachfrage (Ihre Beliebtheit, Ihr Bestand und Ihre Aktualität). Es ist ein echtes Anliegen für große Websites mit 10.000 oder mehr Seiten und für jede Website mit vielen entdeckten, aber nicht indexierten URLs und weitgehend kein Thema für kleine. Um es zu optimieren, sperren Sie URLs mit geringem Wert per robots.txt, beheben Sie Statuscodes und Weiterleitungsketten, beseitigen Sie Duplikate, halten Sie Ihre Sitemap korrekt und beschleunigen Sie Ihren Server. Im Jahr 2026 hält dieselbe Hygiene auch KI-Crawler effizient. Führen Sie ein GEO-SEO-Audit von Sorank durch, um die Crawl-Verschwendung zu finden, die Ihrer Indexierung schadet.