KI-Zitationsstudie: Wird Stack Overflow von KIs zitiert?

Stack Overflow ist ein öffentliches Archiv mit einem klaren Format: eine präzise technische Frage, mehrere Antworten, Bewertungen und oft eine akzeptierte Lösung. Jeder Eintrag verbindet ein Problem mit einer Lösung, die andere Entwickler geprüft haben, genau die Art von Material, aus der ein Sprachmodell gut lernt.

Drei Merkmale machen die Plattform als Quelle nützlich:

• Fehlermeldungen im Wortlaut, die genau dem entsprechen, was Nutzer in einen Chatbot kopieren.
• Codebeispiele mit Erklärungen und Kommentaren zu Sonderfällen.
• Signale der Community (Bewertungen, akzeptierte Antworten, Überarbeitungen), die zeigen, welche Lösung tatsächlich funktioniert.

Beiträge stehen unter einer Creative-Commons-Lizenz, die eine Namensnennung verlangt. 2024 kündigte Stack Overflow Vereinbarungen mit Google und OpenAI über die Nutzung seiner Inhalte in deren KI-Produkten an, mit Verweis auf die ursprünglichen Beiträge.

Zitate erscheinen, wenn eine Frage eng und technisch ist: "TypeError: cannot read properties of undefined in React", "letzten Git-Commit rückgängig machen", "Python List Comprehension mit zwei Bedingungen", "Warum liefert mein SQL-Join doppelte Zeilen?". Sucht der Assistent im Web, gehört ein Stack-Overflow-Eintrag oft zu den passendsten Treffern.

Fragen zu Unternehmen, Produkten oder Dienstleistungen führen fast nie dorthin. "Welches CRM für eine kleine Agentur?" oder "Ist dieser Webhoster zuverlässig?" haben auf Stack Overflow keine Antwort, denn die Regeln der Plattform schließen Anfragen nach Werkzeug- oder Produktempfehlungen.

Die Fragen hinter diesen Daten betreffen überwiegend Unternehmen und ihre Märkte, deshalb wird Stack Overflow hier selten zitiert. Das sagt viel mehr über die Art der Fragen aus als über die Autorität der Seite.

Ein großer Teil des Werts von Stack Overflow ist über das Training in die KI-Modelle gelangt. Das Stack-Exchange-Netzwerk veröffentlicht seit Jahren Datenabzüge seiner öffentlichen Inhalte, und die Modelle haben gängige Lösungen so gründlich verinnerlicht, dass sie sie aus dem Gedächtnis schreiben. Eine Antwort aus dem Gedächtnis hat keinen Link, den sie anzeigen könnte.

Den Rest bestimmen die Suchgewohnheiten. Perplexity sucht bei jeder Frage und zeigt seine Quellen, sodass ein Eintrag erscheinen kann, wenn eine Fehleranfrage genau passt. Gemini, gestützt auf die Google-Suche, und ChatGPT mit aktivierter Websuche bringen Einträge vor allem bei seltenen oder neuen Fehlern hervor. Grok kann Beiträge von Entwicklern auf X ergänzen, während Claude die Lösung meist selbst formuliert und nur bei aktiver Websuche auf einen Eintrag verlinkt.

Diese Entwicklung hat die Plattform selbst verändert. Die Zahl neuer Fragen ist deutlich gesunken, seit Chat-Assistenten verbreitet sind, denn viele Entwickler fragen zuerst eine KI. Das Archiv bleibt, doch aktuelle Frameworks und Versionen sind durch weniger neue Einträge abgedeckt.

Eine niedrige Zitierquote macht Stack Overflow nicht bedeutungslos. Bei einem Entwicklerwerkzeug, einer API oder einem technischen Produkt prägen die Einträge weiterhin, wie Modelle das Produkt beschreiben und Probleme damit lösen, auch wenn kein Link erscheint.

Für die Zahlen gelten zwei Einschränkungen. Gezählt wird nur stackoverflow.com, während Schwesterseiten des Stack-Exchange-Netzwerks wie Super User oder Server Fault eigene Domains haben. Und für ein Unternehmen ohne technisches Publikum liegt die Plattform schlicht außerhalb der Quellen, die Kundenfragen beantworten.