トークン：2026 年に AI がコンテンツを読む基本単位

トークンとは、AI の言語モデルが読み込み、生成する基本単位です。モデルがテキストを扱う前に、トークナイザーがそのテキストをトークンに分割します。トークンは単語全体の場合もあれば、単語の一部、1 文字、句読点の場合もあります。モデルは人間のように文字そのものを見ることはありません。トークンの並びを見て、トークン同士の統計的な関係を学習し、1 トークンずつ回答を生成します。

トークンを理解することは、理論だけでなく実務にも役立ちます。トークンは、AI へのリクエストのコスト、モデルが一度に考慮できるテキストの量、処理の効率を決めます。AI 検索に向けてコンテンツを最適化する人にとって、ChatGPT、Claude、Gemini などのモデルがテキストをどのようにトークンに分割するかを知ることは、それらがあなたの公開したコンテンツをどう読み、要約し、引用するかを理解する大きな手がかりになります。

トークンとは何ですか？

トークンとは、モデルが学習した固定の語彙から取り出される、よく使われる文字の並びです。モデルが知っているすべての一意なトークンの集合が語彙で、その数は何千、何万にも及ぶことがあります。完全な単語のトークンもあれば、単語の一部のトークンもあり、その最適な組み合わせはトークナイザーの作り方によって決まります。

簡単な例でこの考え方がわかります。「I heard a dog bark loudly at a cat」という英文は、各単語がそれぞれ別のトークンに分かれるかもしれませんが、「darkness」のような長い単語は「dark」と「ness」に分かれることがあります。モデルはこうした断片を単位に処理するため、文章のトークン数が単語数と一致することはまれです。これは、多くの人が詳しく調べたときに最初に驚く点です。

トークン化の仕組み

トークン化には大きく分けて、単語単位、文字単位、サブワード単位の 3 つの方式があります。単語単位のトークン化は区切り文字で分割し、文字単位のトークン化はテキストを 1 文字ずつに分け、サブワード単位のトークン化はその中間として、テキストを単語の一部に分割します。GPT シリーズを含む現代のモデルの多くは、バイトペアエンコーディングと呼ばれるサブワード方式を使っており、語彙の大きさと柔軟性のバランスをとっています。

このトレードオフは現実的なものです。小さなトークンを使うと、モデルは未知の単語、誤字、複雑な構文に対応できますが、同じ文章がより多くのトークンになるため、計算量が増え、固定の上限の中で使える余地が減ります。大きなトークンは文章あたりの効率は高いものの、より大きな語彙が必要になり、まれな単語の扱いが苦手になります。このトークン化のステップは、現代のシステムにおける自然言語処理の土台です。

AI モデルによるトークンの使い方

テキストがトークン化されると、モデルは一意なトークンごとに数値の ID を割り当てるため、文は数字の並びになります。次に、これらの ID はエンベディングに対応づけられます。エンベディングとは、トークンがどれだけ頻繁に一緒に、あるいは似た文脈で現れるかをとらえた多次元の数値ベクトルです。モデルは、エンベディングによって綴りだけでなく意味を表現します。

生成は反復的に行われます。出力を作るとき、モデルは次のトークンのベクトルを予測し、語彙から最も確率の高いトークンを選び、それを並びに追加する、という処理を繰り返して、1 トークンずつ回答を組み立てます。この段階的な予測はあらゆる LLM の中核となるループであり、AI の推論において、長い出力ほど生成に時間とコストがかかる理由もこれで説明できます。

トークン、学習、規模の役割

トークンは学習の単位でもあります。事前学習の間、モデルは膨大なトークンの並びを与えられ、次のトークンを予測することを学び、多くの反復を通じて精度を高めます。学習データセットはトークン数で測られ、その規模は数十億から数兆に及ぶことも多く、スケーリング則はトークン量の多さとモデルの品質の高さを結びつけています。

そのため、トークンは AI の通貨と呼ばれることがあります。学習においてトークンはモデルの知能への投資を表し、推論においてはコストと収益の両方を左右します。モデルがどれだけ学んだかを測る単位が、使うのにどれだけコストがかかるかを測る単位でもあり、AI の学習データの経済性はトークンに直結しています。

コンテキストウィンドウとトークンの上限

どのモデルにも一度に扱えるトークン数の上限があり、通常は入力と出力の両方を含むコンテキストウィンドウとして表されます。コンテキストウィンドウが 100 トークンのモデルで入力に 9 トークン使うと、回答に使えるのは 91 トークンです。より細かいトークン化を選ぶと、同じ入力でも上限をはるかに多く消費する可能性があります。

この上限は実際に影響を及ぼします。長い文書や長いマルチターンの会話はウィンドウを超えることがあり、その場合モデルは前の内容を削除または圧縮せざるを得ず、細部を見失います。コンテキストウィンドウが大きければこの問題は和らぎ、モデルは長い入力を踏まえて推論し、一貫性を保てます。だからこそ、コンテキストウィンドウの大きさは、あらゆるモデルの主要な仕様として扱われています。

トークン単位の料金と効率

トークンは作業の単位であるため、課金の単位でもあります。多くのプロバイダーはトークン単位で料金を設定し、入力と出力を別々に価格設定しています。出力トークンのほうが高いことも少なくありません。短いプロンプトを送って長い回答を求めるリクエストでは出力のコストが大半を占める一方、大きな文書の要約では入力のコストのほうが重くなります。

プロバイダーは 1 分あたりのトークン数で表されるレート制限も設けており、これがアプリケーションの処理速度を左右します。実務上の結論は、トークンの効率が重要だということです。簡潔なプロンプト、出力の長さの制御、丁寧なコンテキスト管理は、いずれもコストとレイテンシを下げます。ここでの最適化の効果は劇的なこともあり、より優れたエンジニアリングによってトークンあたりのコストを大きく削減したと報告するチームもあります。AI を大規模に呼び出すキーワード調査とコンテンツ計画のワークフローを計画するときには、これが現実的な課題になります。

マルチモーダルのトークンと GEO にとってトークンが重要な理由

トークンはテキストに限りません。現代のマルチモーダルモデルは、画像を視覚トークンに、音声を音声トークンに、動画をトークンの並びに変換し、単語と同じ方法で処理します。この共通の表現によって、多様な入力がトークンの並びに標準化され、1 つのシステムでテキスト、画像、音声をまとめて扱えるようになります。

生成エンジン最適化（GEO）にとって、トークンは AI があなたのページをどう読むかを説明してくれます。モデルはコンテンツをトークンとして取り込み、質問と一緒にコンテキストウィンドウに収め、1 トークンずつ回答を生成します。そのため、明確で分割しやすいコンテンツが有利になります。重要な事実を簡潔で自己完結した形にページを構成すると、モデルはトークンの予算内でそれを表現しやすくなります。だからこそ、LLM に対応したコンテンツとしっかりした AI コンテンツ戦略は、AI の回答で成果につながります。

まとめ

トークンは AI による言語処理の構成要素です。トークナイザーが生成する単語、サブワード、文字であり、それぞれが ID とエンベディングに対応づけられ、モデルはそれを使ってテキストを読み、生成します。トークンは AI の通貨でもあり、学習の規模を測り、コンテキストウィンドウを定め、あらゆるリクエストの価格を決めます。トークンを理解すると、簡潔で整った構造のコンテンツがなぜモデルにとって扱いやすく、低コストなのかがはっきりします。

可視性の面での教訓は、AI はあなたのコンテンツをトークンとして見ているので、明快さと構造があれば、AI はそれを収め、理解し、引用しやすくなるということです。質の高い LLM に対応したコンテンツと明確な AI コンテンツ戦略を組み合わせ、Sorank の調査・コンテンツ計画ツールを使って、AI が効率よく読めるコンテンツを計画しましょう。参考情報源：NVIDIA、Microsoft Learn。