Wie funktionieren Suchmaschinen? Crawling, Indexierung, Ranking und KI-Antworten

Zu verstehen, wie Suchmaschinen funktionieren, ist die Grundlage jeder SEO-Entscheidung: Eine Seite, die nicht gecrawlt wird, kann nicht indexiert werden, und eine nicht indexierte Seite kann weder ranken noch von einem KI-Assistenten zitiert werden. Google beschreibt den Ablauf in seinem ausführlichen Leitfaden zur Funktionsweise der Google Suche. Dieser Artikel folgt denselben Phasen, ergänzt, was Bing anders macht, und zeigt, was sich ändert, wenn ChatGPT, Gemini oder Perplexity anstelle einer Liste blauer Links antworten.

Was ist eine Suchmaschine?

Eine Suchmaschine ist eine Software, die zu einer Suchanfrage passende Webseiten findet. Sie besteht aus zwei Teilen: einem Index, also einer Datenbank bereits entdeckter und analysierter Seiten, und Ranking-Systemen, die entscheiden, welche indexierten Seiten die Anfrage am besten beantworten und in welcher Reihenfolge. Eine Suchmaschine durchsucht bei einer Anfrage nie das Live-Web, sondern ihre eigene gespeicherte Kopie davon. Deshalb kann eine heute Morgen veröffentlichte Seite tagelang unsichtbar bleiben.

Die Größenordnung erklärt die meisten technischen Entscheidungen. Laut Google umfasst der Suchindex Hunderte Milliarden Webseiten und ist deutlich größer als 100.000.000 Gigabyte (Google, How Search Works). Keine Suchmaschine kann täglich alles neu crawlen, also priorisiert jede, was sie abruft, was sie behält und was sie anzeigt. Google dominiert in den meisten Ländern, doch Bing, Yandex, Baidu, Naver und datenschutzorientierte Suchmaschinen folgen derselben Logik, wie unsere Liste der Alternativen zur Google-Suche zeigt.

Wie funktionieren Suchmaschinen Schritt für Schritt?

Die drei klassischen Phasen lassen sich leichter bearbeiten, wenn man sie in fünf Schritte mit jeweils eigenen Hebeln aufteilt.

Schritt 1: Crawling, Seiten entdecken

Crawling ist die Entdeckungsphase. Automatische Programme, sogenannte Crawler (Googlebot bei Google, Bingbot bei Bing), starten bei bereits bekannten URLs und folgen Links, um neue zu finden. Außerdem lesen sie die XML-Sitemaps, die Websitebetreiber einreichen. Google erklärt, dass Googlebot per Algorithmus entscheidet, welche Websites gecrawlt werden, wie oft und wie viele Seiten jeweils abgerufen werden, und dass er eine Website nicht so schnell crawlt, dass der Server überlastet wird.

Drei Dinge verhindern das Crawling: eine Disallow-Regel in der robots.txt-Datei, Seiten hinter einem Login sowie Serverfehler oder Zeitüberschreitungen. Die Hebel sind eine saubere interne Verlinkung ohne verwaiste Seiten, eine aktuelle XML-Sitemap und ein schneller, stabiler Server. Große Websites verwalten zudem ihr Crawl-Budget: die Zahl der URLs, die ein Crawler in einem bestimmten Zeitraum auf der Website abrufen will.

Schritt 2: Rendering, die Seite wie ein Browser sehen

Viele Seiten erzeugen ihren Inhalt mit JavaScript. Google rendert Seiten mit einer aktuellen Chrome-Version und kann so Skripte ausführen und sehen, was ein Besucher sieht. Rendering kostet Ressourcen und kann verzögert erfolgen; Inhalte, die erst nach einem Klick erscheinen oder von einem fehlerhaften Skript abhängen, werden womöglich nie erfasst. Viele andere Crawler, darunter mehrere KI-Crawler, führen gar kein JavaScript aus: Zentrale Inhalte gehören ins initiale HTML.

Schritt 3: Indexierung, verstehen und speichern

Die Indexierung ist die Analysephase. Die Suchmaschine liest Text, Titel, Überschriften, Bilder, Videos und strukturierte Daten, gruppiert Seiten mit ähnlichem Inhalt und wählt eine repräsentative URL, die kanonische URL, die als einzige Version in den Ergebnissen erscheinen kann. Zu dieser Seite speichert sie Signale: Sprache, Zielland, Aktualität, Nutzbarkeit. Google vergleicht seinen Index mit dem Stichwortverzeichnis am Ende eines Buches, mit einem Eintrag für jedes Wort auf jeder indexierten Seite.

Indexierung ist nie garantiert. Google stellt klar, dass nicht jede verarbeitete Seite indexiert wird: dünner oder doppelter Inhalt, eine noindex-Anweisung oder ein Design, das die Analyse erschwert, können eine Seite ausschließen. Unser Leitfaden zur Indexierung bei Google zeigt die Lösungen, und ein kostenloser Indexierbarkeits-Checker sagt Ihnen in Sekunden, ob eine URL indexiert werden kann.

Schritt 4: Ranking, die besten Antworten auswählen

Trifft eine Anfrage ein, interpretiert die Suchmaschine sie zuerst: Schreibweise, Synonyme, Sprache, Standort und die Absicht hinter den Wörtern (sich informieren, vergleichen, kaufen, eine bestimmte Website aufrufen). Dann holt sie Kandidatenseiten aus dem Index und sortiert sie mit vielen zusammenwirkenden Ranking-Systemen. Google fasst die wichtigsten Faktoren so zusammen: Bedeutung der Anfrage, Relevanz des Inhalts, Qualität, Nutzbarkeit der Seite und Kontext der Suche, etwa Standort und Einstellungen. Links von anderen Websites bleiben ein Autoritätssignal. Den vollständigen Überblick bietet unsere Analyse der Google-Rankingfaktoren.

Zwei Punkte werden oft missverstanden. Erstens erklärt Google, dass es keine Bezahlung annimmt, um eine Website häufiger zu crawlen oder besser zu ranken: Anzeigen werden getrennt verkauft und als solche gekennzeichnet. Zweitens verändern Standort und Sprache die Ergebnisse weit stärker als der persönliche Browserverlauf.

Schritt 5: Ausspielung, die Ergebnisseite aufbauen

Der letzte Schritt setzt die Ergebnisseite zusammen. Aus zehn blauen Links ist eine Mischung aus Anzeigen, lokalen Ergebnissen, Bildern, Videos, „Ähnliche Fragen“-Boxen, Featured Snippets und bei vielen Informationsanfragen einem AI Overview geworden. Titel und Beschreibung stammen aus Ihrem Title-Tag, Ihrer Meta-Description und dem Seiteninhalt, und strukturierte Daten können eine Seite für Rich Results qualifizieren. Jedes Format ist eine zusätzliche Chance, gesehen zu werden.

Worin unterscheidet sich Bing von Google?

Bing folgt demselben Modell aus Crawling, Indexierung und Ranking, mit einigen praktischen Unterschieden. Der wichtigste ist IndexNow, ein Protokoll, mit dem eine Website Suchmaschinen sofort benachrichtigt, wenn eine URL hinzugefügt, geändert oder gelöscht wird, statt auf den nächsten Crawl zu warten. Laut IndexNow.org wird das Protokoll von Microsoft Bing, Naver, Seznam.cz, Yandex und Yep unterstützt; Google hat es nicht übernommen. Bing-Ergebnisse speisen zudem Microsoft Copilot. Der Marktanteil von Bing ist in den meisten Ländern gering, doch die Einrichtung der Bing Webmaster Tools dauert nur wenige Minuten und erschließt eine zweite Quelle für Traffic und Daten.

Wie finden KI-Assistenten wie ChatGPT und AI Overviews Inhalte?

KI-Antworten setzen auf Suchmaschinen auf, statt sie zu ersetzen. Die meisten nutzen Retrieval-Augmented Generation (RAG): Das System führt eine oder mehrere Suchen aus, holt die relevantesten Passagen aus einem Webindex, und ein Sprachmodell schreibt eine Antwort, die einige dieser Quellen zitiert.

• Google AI Overviews und der KI-Modus nutzen Googles eigenen Index. Googles Seite zu KI-Funktionen und Ihrer Website stellt klar, dass eine Seite nur indexiert und mit einem Snippet anzeigbar sein muss, ohne spezielles Markup oder eigene KI-Textdatei. Diese Funktionen nutzen „Query Fan-out“: Sie starten mehrere verwandte Suchen zu Unterthemen, um passende Seiten zu sammeln.
• ChatGPT Search ruft Seiten über den OpenAI-Crawler OAI-SearchBot ab. Laut OpenAIs Dokumentation zu seinen Crawlern sind Websites, die OAI-SearchBot blockieren, von den Antworten von ChatGPT Search ausgeschlossen, während GPTBot ein separater Crawler für das Modelltraining ist.
• Gemini, Perplexity und Claude verbinden ebenfalls Websuche und Generierung: Gemini stützt sich auf die Google Suche, Perplexity und Claude schicken eigene Crawler (PerplexityBot, Claude-SearchBot), um die Seiten zu indexieren, die sie zitieren können.

Die Folge: Die klassischen Phasen entscheiden weiterhin über die Sichtbarkeit in KI. Eine Seite, die nicht gecrawlt werden darf, im Index fehlt oder weit hinten rankt, hat kaum Chancen, abgerufen und damit zitiert zu werden. Neu ist die letzte Auswahl: Die KI wählt Passagen statt ganzer Seiten und bevorzugt klare Definitionen, belegte Zahlen und direkte Antworten. Unsere Studie zu den von ChatGPT zitierten Quellen zeigt, welche Seitentypen diese Zitate gewinnen.

Was können Sie in jeder Phase steuern?

Bringen Sie die Phasen in eine Reihenfolge, und Sie erhalten eine Checkliste, die für Google, Bing und KI-Assistenten gleichermaßen gilt:

1. Die richtigen Bots hereinlassen. Prüfen Sie die robots.txt auf versehentliche Disallow-Regeln und entscheiden Sie bewusst, welche KI-Crawler Sie zulassen.
2. Jede wichtige Seite erreichbar machen, mit höchstens drei Klicks über interne Links, und in der Sitemap aufführen.
3. Inhalte im HTML ausliefern, nicht nur per JavaScript, mit schnellen und stabilen Serverantworten.
4. Pro Thema eine kanonische URL festlegen und nahezu identische Seiten vermeiden, die Signale aufteilen.
5. Die Suchintention treffen. Gehen Sie von den Fragen aus, die Menschen eintippen und die eine Keyword-Recherche sichtbar macht, und beantworten Sie sie in den ersten Zeilen der Seite.
6. Autorität aufbauen durch Links und Erwähnungen von relevanten Websites.
7. Zitierfähige Passagen schreiben: eine Definition, eine Zahl mit Quelle, eine kurze Schrittliste.
8. Beide Kanäle messen: Search Console für Google und Tracking von KI-Erwähnungen, um zu sehen, ob ChatGPT, Gemini oder Perplexity Ihre Marke zitieren.

Wie haben sich Suchmaschinen entwickelt?

Die ersten Suchmaschinen der 1990er Jahre sortierten Seiten vor allem nach Keyword-Übereinstimmung, was leicht zu manipulieren war. Googles PageRank, der Links als Stimmen wertete, machte Manipulation deutlich schwerer, und die folgenden Jahrzehnte brachten Sprachverständnis durch Machine-Learning-Modelle wie BERT, Mobile-First-Indexierung, Spam-Erkennung und Qualitätssysteme. Die Geschichte von Google zeigt ein klares Muster: Jede große Änderung belohnte Seiten, die für Menschen geschrieben sind, und bestrafte Abkürzungen. Generative Antworten sind der jüngste Schritt und belohnen dasselbe: klare, verlässliche, gut strukturierte Inhalte.

Vom Crawling zum Traffic: wo Sie anfangen

Suchmaschinen belohnen Seiten, die sie crawlen, verstehen und als vertrauenswürdig einstufen können, und KI-Assistenten zitieren die Seiten, die Suchmaschinen bereits ranken. Klären Sie zuerst den Zugang, dann die Indexierung, dann Relevanz und Autorität. Damit das Woche für Woche weiterläuft, findet Sorank Ihre Keywords, veröffentlicht optimierte Artikel mit Quellen und interner Verlinkung und prüft, ob ChatGPT, Gemini und Perplexity Ihre Marke zitieren, im Autopilot.