Wie funktioniert ChatGPT? Vom Training bis zur Websuche und zu Quellenangaben

Wer versteht, wie ChatGPT funktioniert, versteht seine Stärken und seine Fehler und weiß, was eine Website zitierfähig macht. OpenAI hat ChatGPT im November 2022 veröffentlicht; der Name kommt von GPT, Generative Pre-trained Transformer.

Welches Modell steckt hinter ChatGPT?

ChatGPT basiert auf einem großen Sprachmodell (LLM). Ein LLM ist ein statistisches Modell mit Milliarden von Parametern, das aus Texten die Beziehungen zwischen Wörtern, Fakten und Stilen gelernt hat. Es speichert Muster aus diesen Texten und nutzt sie, um eine plausible Fortsetzung für jeden beliebigen Text zu erzeugen; die einzelnen Seiten selbst werden nicht als solche aufbewahrt.

Die Architektur ist der Transformer, den Google-Forscher 2017 im Paper Attention Is All You Need vorgestellt haben. Sein zentraler Mechanismus, die Attention, lässt das Modell jedes Wort der Eingabe gegen alle anderen gewichten. So erkennt es, dass sich „es“ auf ein Substantiv drei Zeilen weiter oben bezieht.

Wie wurde ChatGPT trainiert?

1. Vortraining

Das Modell liest einen sehr großen Textkorpus (öffentliche Webseiten, Bücher, Code, lizenzierte Daten) und lernt eine einzige Aufgabe: das nächste Token vorherzusagen. Milliardenfach wiederholt zwingt diese einfache Aufgabe das Modell, Grammatik, Fakten, Denkmuster und viele Sprachen zu lernen. Das Ergebnis ist ein leistungsfähiger Textvorhersager, der Anweisungen noch schlecht befolgt.

2. Überwachtes Feintuning

Menschen schreiben Beispiele für gute Antworten auf Anfragen, und das Modell wird darauf trainiert, sie nachzuahmen. Es lernt das Format eines hilfreichen Assistenten: die Frage beantworten, die Antwort gliedern, bei Bedarf nachfragen.

3. Bestärkendes Lernen aus menschlichem Feedback

Prüfer vergleichen mehrere Antworten auf dieselbe Anfrage und ordnen sie. Ein Belohnungsmodell lernt diese Vorlieben, und das Sprachmodell wird danach auf gut bewertete Antworten optimiert. OpenAI hat diese Methode, RLHF genannt, im Forschungspaper zu InstructGPT beschrieben. Sie macht ChatGPT höflich, strukturiert und vorsichtiger bei schädlichen Anfragen.

Was passiert, wenn Sie eine Nachricht senden?

Tokens und Kontextfenster

Ein Token ist ein Textstück: Im Englischen entspricht ein Token im Schnitt etwa vier Zeichen oder drei Vierteln eines Wortes; deutsche Wörter brauchen oft mehr Tokens. Das Kontextfenster ist die Anzahl an Tokens, die das Modell gleichzeitig berücksichtigen kann, einschließlich Gespräch, Dokumenten und gelesener Webseiten. Wird ein Gespräch zu lang, fallen die ältesten Teile heraus.

Generierung Wort für Wort

Bei jedem Schritt berechnet das Modell eine Wahrscheinlichkeit für jedes mögliche nächste Token und wählt eines aus, mit einem kontrollierten Anteil Zufall. Deshalb erhält dieselbe Frage leicht unterschiedliche Antworten, und deshalb formuliert ChatGPT flüssig, auch wenn es falsch liegt: Es zielt auf eine wahrscheinliche Fortsetzung, ohne Fakten an einer Quelle zu prüfen.

Wie sucht ChatGPT im Web und zitiert Quellen?

Ein Modell kennt nur seine Trainingsdaten bis zu einem Stichtag. Um zu aktuellen Ereignissen, Preisen oder Produkten zu antworten, kann ChatGPT eine Websuche starten. OpenAI hat diese Funktion im Oktober 2024 als ChatGPT search angekündigt. Der Assistent formuliert Ihre Frage in eine oder mehrere Suchanfragen um, holt Ergebnisse von Suchanbietern und vom eigenen Crawler, liest die Seiten und schreibt eine Antwort mit Links zu den Quellen.

Diese Methode heißt Retrieval-Augmented Generation (RAG): Das Modell erzeugt Text auf Grundlage gerade abgerufener Dokumente. OpenAI dokumentiert seine Crawler auf seiner Entwicklerplattform: OAI-SearchBot für die Suche, GPTBot für das Training und ChatGPT-User für Seiten, die im Auftrag eines Nutzers geöffnet werden. Laut OpenAI werden Websites, die OAI-SearchBot in der robots.txt sperren, in den Antworten von ChatGPT search nicht angezeigt.

Wo liegen die Grenzen von ChatGPT?

• Halluzinationen: Es kann falsche Fakten, erfundene Zitate oder nicht existierende Quellen selbstsicher behaupten, weil es plausiblen Text vorhersagt.
• Wissensstichtag: Ohne Websuche kennt es nichts, was nach seinen Trainingsdaten geschah.
• Kontextgrenzen: Sehr lange Dokumente oder Gespräche übersteigen, was es gleichzeitig berücksichtigen kann.
• Abhängigkeit von der Formulierung: Eine leicht andere Anfrage kann eine andere Antwort oder eine andere Liste empfohlener Marken liefern.
• Quellenauswahl: Bei einer Suche liest es nur eine Handvoll Seiten, also zählt es, dazuzugehören.

Was bedeutet das, um von ChatGPT zitiert zu werden?

Aus dieser Funktionsweise ergibt sich eine klare Checkliste für jede Marke, die in Antworten von ChatGPT erscheinen will:

1. Crawler zulassen: Erlauben Sie OAI-SearchBot in der robots.txt und liefern Sie Inhalte als HTML aus, das ohne schweres JavaScript funktioniert.
2. In der klassischen Suche ranken: ChatGPT search startet bei Suchergebnissen, daher werden gut rankende Seiten für die zugrunde liegenden Anfragen eher gelesen.
3. Extrahierbare Abschnitte schreiben: eine direkte Antwort unter jeder Überschrift, kurze eigenständige Absätze, Definitionen, Tabellen und belegte Zahlen.
4. Dort präsent sein, wo es liest: Bewertungen, Vergleichsartikel, Foren, Medien und Wikipedia prägen, was das Modell über Ihre Marke sagt, in den Trainingsdaten wie in der Live-Suche.
5. Konsistent bleiben: derselbe Name, dieselbe Beschreibung und dieselben Fakten auf Ihrer Website und in externen Profilen helfen dem Modell, Ihre Marke als eine Entität zu erkennen.
6. Messen: Stellen Sie die Fragen Ihrer Kunden und prüfen Sie, ob Sie zitiert werden. Der kostenlose ChatGPT-Sichtbarkeitscheck liefert in einer Minute eine erste Antwort.

ChatGPT sagt Text aus dem Gelernten voraus und, bei aktuellen Fragen, aus den wenigen Webseiten, die es liest: Zitiert werden Marken, deren Seiten leicht zu finden, leicht zu extrahieren und von anderen Quellen bestätigt sind. Um Ihre Präsenz in ChatGPT, Gemini und Claude dauerhaft zu verfolgen und zitierfähige Inhalte zu veröffentlichen, verfolgt Sorank Ihre Prompts und schreibt optimierte Artikel im Autopilot, mit 3 Tagen kostenlosem Test.