AI引用調査：Stack OverflowはAIに引用されるか？

Stack Overflowは、ひとつの形式で構成された公開アーカイブです。具体的な技術的質問、複数の回答、投票、そして多くの場合は採用された解決策が含まれます。各スレッドでは、問題と、他の開発者が確認した修正方法が組み合わされており、まさに言語モデルがよく学習する題材です。

情報源として役立つ理由は3つあります：

• エラーメッセージをそのまま引用しており、ユーザーがチャットボットに貼り付ける内容と一致します。
• 説明付きのコードスニペットで、例外的なケースを指摘するコメントも含まれます。
• コミュニティの評価（投票、採用された回答、編集）により、実際に機能する解決策が分かります。

投稿は、帰属表示を求めるクリエイティブ・コモンズ・ライセンスのもとで公開されています。2024年、Stack Overflowは、GoogleおよびOpenAIとの間で、AI製品におけるコンテンツの利用に関する契約を発表しました。元のスレッドへのクレジット表記を伴うものです。

質問が限定的で技術的な場合に引用が現れます。例えば「TypeError: cannot read properties of undefined in React」、「how to undo the last git commit」、「Python list comprehension with two conditions」、「why does my SQL join return duplicates」などです。アシスタントがWeb検索を行うと、Stack Overflowのスレッドが最も近い候補として挙がることがよくあります。

企業、製品、サービスに関する質問は、そこにつながることはほとんどありません。「Which CRM for a small agency」や「is this web host reliable」といった質問には、Stack Overflowに答えがありません。同サイトのルールでは、ツールや製品の推薦を求める依頼は締め切られるためです。

このデータセットの背景にある質問の多くは企業とその市場に関するものなので、ここではStack Overflowが引用されることはほとんどありません。これはサイトの権威性よりも、質問の種類を強く反映しています。

Stack Overflowの価値の多くは、学習を通じてAIモデルに取り込まれています。Stack Exchangeのネットワークは長年にわたり公開コンテンツのデータダンプを公開してきており、モデルは一般的な修正方法を非常によく吸収しているため、記憶から書き出せるようになっています。記憶から生成された回答には、表示すべきリンクがありません。

回答の出し方は、検索の傾向によって異なります。Perplexityはすべての質問で検索を行い、その情報源を表示するため、デバッグのクエリに近い内容であればスレッドが現れることがあります。Google検索を基盤とするGeminiや、検索を有効にしたChatGPTは、主に珍しいエラーや最近のエラーの場合にスレッドを表示します。Grokは、Xの開発者による投稿を加えることがあります。一方、Claudeは通常、修正方法を自分で書き、Web検索を使った場合にのみスレッドへのリンクを載せます。

この関係により、サイト自体も変わりました。会話型アシスタントが一般的になり、多くの開発者がまずチャットボットに質問するようになったため、新規の質問数は著しく減少しています。アーカイブは残っていますが、最新のフレームワークやバージョンについては、新しいスレッドが少なくなっています。

引用率が低いからといって、Stack Overflowが無関係になるわけではありません。開発者向けツール、API、技術製品の場合、リンクが表示されなくても、そのスレッドはモデルが製品をどう説明し、トラブルシューティングするかに影響を与え続けます。

この数値には2つの制限があります。集計対象はstackoverflow.comのみで、Super UserやServer FaultなどStack Exchangeネットワークの姉妹サイトは、それぞれ独自のドメインを持っています。また、技術的な読者層を持たない企業にとっては、このサイトは単純に、顧客の質問に答える情報源の範囲外にあります。