ChatGPTの仕組み：学習からウェブ検索、出典の引用まで

ChatGPTの仕組みを知ると、その強みと誤りの理由がわかり、どんなサイトが回答で引用されやすいかも見えてきます。OpenAIは2022年11月にChatGPTを公開しました。名前はGPT（Generative Pre-trained Transformer）に由来します。

ChatGPTの背後にあるモデルとは？

ChatGPTは大規模言語モデル（LLM）で動いています。LLMは数十億のパラメータを持つ統計モデルで、テキストから単語、事実、文体の関係を学んでいます。学んだパターンを保持し、それを使ってどんなテキストにももっともらしい続きを生成します。ページそのものがそのまま保存されているわけではありません。

アーキテクチャはtransformerで、2017年にGoogleの研究者が論文Attention Is All You Needで発表しました。中核となる仕組みであるアテンションにより、モデルは入力の各単語を他のすべての単語と照らし合わせて重み付けできます。そのため、文中の「それ」が3行前の名詞を指すことを理解できます。

ChatGPTはどのように学習したのか？

1. 事前学習

モデルは非常に大きなテキストコーパス（公開ウェブページ、書籍、コード、ライセンスを受けたデータ）を読み、次のトークンを予測するという一つのタスクを学びます。この単純なタスクを何十億回も繰り返すことで、文法、事実、推論のパターン、多くの言語を身につけます。結果は強力なテキスト予測器ですが、この段階ではまだ指示にうまく従えません。

2. 教師ありファインチューニング

人が依頼に対する良い回答の例を書き、モデルはそれを模倣するよう学習します。質問に答える、回答を構造化する、必要なら確認を求めるといった、役に立つアシスタントの形を学びます。

3. 人間のフィードバックによる強化学習

評価者が同じ依頼への複数の回答を比較し、順位を付けます。報酬モデルがその好みを学び、言語モデルは高く評価される回答を出すよう最適化されます。OpenAIはこの手法（RLHF）をInstructGPTの研究論文で説明しています。ChatGPTが丁寧で整理された回答をし、有害な依頼に慎重になるのはこのためです。

メッセージを送ると何が起きるのか？

トークンとコンテキストウィンドウ

トークンはテキストの断片です。英語では1トークンは平均して約4文字、つまり単語の4分の3ほどです。日本語は換算が異なり、1文字が1トークン以上になることもよくあります。コンテキストウィンドウは、会話、文書、読み込んだウェブページを含めて、モデルが一度に考慮できるトークン数です。会話が長くなりすぎると、古い部分から視野の外に出ていきます。

1語ずつの生成

各ステップで、モデルは次に来うるすべてのトークンの確率を計算し、制御された範囲のランダム性で一つを選びます。そのため同じ質問でも少しずつ違う回答が返り、間違っているときでもChatGPTは流暢に書きます。出典で事実を確かめることなく、もっともらしい続きを目指しているからです。

ChatGPTはどのようにウェブを検索し、出典を引用するのか？

モデルが知っているのは、ある時点までの学習データだけです。時事、価格、製品について答えるために、ChatGPTはウェブ検索を行えます。OpenAIはこの機能を2024年10月にChatGPT searchとして発表しました。アシスタントは質問を一つまたは複数の検索クエリに言い換え、検索プロバイダーやOpenAI独自のクローラーから結果を取得し、ページを読んで、出典へのリンク付きで回答を書きます。

この手法は検索拡張生成（RAG）と呼ばれます。モデルは取得したばかりの文書をもとにテキストを生成します。OpenAIは開発者向けプラットフォームでクローラーを公開しています。検索用のOAI-SearchBot、学習用のGPTBot、ユーザーの依頼で開くページ用のChatGPT-Userです。OpenAIによると、robots.txtでOAI-SearchBotをブロックしたサイトはChatGPT searchの回答に表示されません。

ChatGPTの限界は？

• ハルシネーション：もっともらしいテキストを予測するため、誤った事実、作られた引用、存在しない出典を自信を持って示すことがあります。
• 知識のカットオフ：ウェブ検索なしでは、学習データ以降の出来事を知りません。
• コンテキストの制限：非常に長い文書や会話は、一度に考慮できる範囲を超えます。
• 言い回しへの敏感さ：少し違う聞き方をすると、別の回答や別のおすすめブランドの一覧になることがあります。
• 出典の選び方：検索時に読むページはわずかなので、その中に入れるかどうかが重要です。

ChatGPTに引用されるには何が必要か？

この仕組みを理解すると、ChatGPTの回答に登場したいブランドのための明確なチェックリストが得られます。

1. クローラーを受け入れる：robots.txtでOAI-SearchBotを許可し、重いJavaScriptなしで読めるHTMLでコンテンツを提供します。
2. 従来の検索で上位に入る：ChatGPT searchは検索結果から出発するため、関連クエリで上位のページほど読まれやすくなります。
3. 抽出しやすい段落を書く：各見出しの直下に直接の答え、短く独立した段落、定義、表、出典付きの数字を置きます。
4. 読まれる場所に存在する：レビュー、比較記事、フォーラム、メディア、Wikipediaは、学習データでもリアルタイム検索でも、モデルがブランドについて語る内容を形づくります。
5. 一貫性を保つ：自社サイトと外部プロフィールで同じ名称、説明、事実を使うと、モデルがブランドを一つのエンティティとして認識しやすくなります。
6. 測定する：顧客が尋ねる質問を投げかけ、引用されているかを確認します。無料のChatGPT可視性チェッカーなら1分で最初の答えがわかります。

ChatGPTは学んだ内容から、そして最新の質問では自ら選んで読む少数のウェブページからテキストを予測します。引用されるのは、ページが見つけやすく、抽出しやすく、他の情報源に裏付けられたブランドです。ChatGPT、Gemini、Claudeでの存在感を継続的に追跡し、引用されるためのコンテンツを公開したい場合は、Sorankがプロンプトを追跡し、最適化された記事をautopilotで執筆します。3日間の無料トライアルがあります。