取得のカバー率は、RAG のシステムが答えに必要な関連情報をすべて取得しているかを測ります。その測り方と改善の方法を学びましょう。

要約
取得のカバー率とは、検索(取得)システムが質問に必要な関連情報をすべて見つけられているかを測る指標です。通常は再現率、つまり利用可能なすべての文書のうち、取得システムが実際に拾い上げた関連文書の割合として数値化されます。
さらに詳しく知るには、こちらに質問
取得のカバー率とは、ある質問について存在する関連情報を、取得システムが一部だけでなくどれだけ網羅的に捉えているかを表す度合いです。検索拡張生成のパイプラインでは、根本的な問いに答えるものです。ナレッジベースの中で質問への回答に役立つパッセージのうち、取得システムが実際にいくつ拾い上げたのか、という問いです。モデルは与えられた情報についてしか推論できないので、カバー率はその後のすべての処理の前提条件になります。
これが重要なのは、AI の回答の完全さは、その裏付けとなる根拠の完全さを超えられないからです。取得の段階で重要な情報源を取りこぼすと、モデルはその情報源を一度も目にしません。どれほど高性能なモデルでも、回答は不完全になるか誤ったものになります。RAG のシステムに取り組む人にとっても、そうしたシステムに引用されたい人にとっても、回答の質は取得のカバー率から始まります。
取得のカバー率は、取得システムが質問に関連する素材をどれだけ徹底して集めているかを表します。これは再現率と適合率の両方の土台です。カバー率がなければ、評価すべき関連情報がそもそも存在しないので、どちらも成り立ちません。検索拡張生成(RAG)のシステムでは、カバー率によって、生成側が正確な回答を作るのに欠かせない知識を手にできるかどうかが決まります。
考え方は直感的です。ある質問に関わるパッセージが、ナレッジベースに 10 件あるとします。カバー率の高い取得システムはそのほとんど、あるいはすべてを拾い上げますが、カバー率の低いシステムは 2、3 件しか返さず、残りを取り残します。するとモデルは部分的な視点から回答を書くことになります。正しい情報がデータベースに存在していたのに、自信はあるが不完全な回答が生まれるのはこのためです。
カバー率を数値化する主な方法は再現率です。AutoRAG によると、再現率とは、データセット内の関連文書の総数に対する、取得された関連文書の比率であり、システムがすべての関連文書を見つけ出す能力を測るものです。再現率が 0.5 であれば、取得システムは利用可能な関連素材の半分しか捉えておらず、実際に情報が失われていることを示します。
実務では、上位 k 件の結果に含まれる関連文書の割合である「recall@k(上位 k 件の再現率)」として測定します。Redis はわかりやすい例を挙げています。関連文書が 10 件あり、そのうち 7 件が上位 10 件に入っていれば、上位 10 件の再現率は 0.7、つまり 70% です。再現率が高いほど、モデルにとって重要な文脈を取りこぼす可能性が低くなります。これこそがカバー率の本質です。
カバー率と適合率は、互いに逆方向に引っ張り合う関係にあります。適合率は取得した文書のうち実際に関連している文書の割合で、カバー率の指標である再現率は、すべての関連文書のうち取得できた文書の割合です。AutoRAG は、適合率を「返したものの正確さ」、再現率を「見つけたものの網羅性」と位置づけています。この 2 つは、両者の調和平均である F1 スコアとしてまとめて示されることがよくあります。
このトレードオフは現実的で、実務に直結します。Redis は、チャンクのサイズによって適合率と再現率のトレードオフが生じると指摘しています。小さいチャンクはノイズを減らしますが、情報が多くの結果に分散しやすく、完全なカバー率を確保しにくくなります。一方、大きいチャンクはより多くの文脈を保持します。カバー率を最大化しようとすると、重要度の低いパッセージがモデルにあふれかねません。目指すべきは、シグナルを埋もれさせずに網羅性を確保できる十分なカバー率です。このバランスは取得の評価の中心にあります。
単純な再現率には盲点があります。関連性は通常、文書ごとに判定されるため、同じことを述べている 2 つのパッセージがどちらも関連ありと判定されることがあります。そのため、再現率が高くても、質問のあらゆる異なる側面がカバーされているとは限りません。カバー率が文書単位ではなく、アイデア単位で測られることがあるのはこのためです。
サブトピック再現率は、取得された上位 k 件の文書がカバーしている異なるサブトピックの割合を測ることで、この問題に対処します。関連文書の数を数えるだけよりも、きめ細かな見方です。幅広い質問の場合、本当のカバー率とは、1 つの側面についてほぼ重複した 10 件のパッセージを集めることではなく、意味のある各側面を拾い上げることです。強力なトピッククラスターを構築するのと同じように、異なるサブトピックを軸にコンテンツと取得を設計すると、このより深いカバー率が向上します。
パイプラインのいくつかの選択がカバー率を左右します。まずはチャンク化です。区切り方によって一貫したアイデアが複数の断片に分かれてしまうと、取得システムは 1 つの断片だけを拾って残りを取りこぼすかもしれません。そのため、よく考えたコンテンツのチャンク化は、情報をどれだけ完全に見つけられるかに直接影響します。エンベディングモデルも重要です。質の低いエンベディングは、関連するパッセージをベクトル空間上で遠くに配置してしまい、再現率を下げます。
もう 1 つの大きなレバーは取得方法です。純粋なベクトル検索では、用語の完全一致を取りこぼすことがあります。キーワード検索とセマンティック検索を組み合わせるハイブリッド方式がカバー率を高めるのはこのためです。Redis は、ハイブリッド検索によって単一の方式と比べて再現率が 15〜30% 向上すると報告しています。k を大きくしてもカバー率は上がりますが、レイテンシと適合率が犠牲になるため、最大化するのではなく調整する必要があります。
AI アシスタントは取得したパッセージから回答を組み立てます。そのため、カバー率は、コンテンツが目に留まるために通過しなければならない関門です。AI の取得セットに自社のページが一度も含まれなければ、コンテンツの権威性がどれほど高くても、引用されることも、要約されることも、推薦されることもありません。AI 側のカバー率が高いことは、自社のコンテンツが集められる情報源の一つになるチャンスでもあります。
こう考えると、最適化の焦点は、関連する質問とサブトピックの全範囲で取得されやすくすることに移ります。明確で自己完結したパッセージで、トピックを包括的に扱うコンテンツほど、カバー率の穴を埋めるチャンクになりやすくなります。これが実践における生成エンジン最適化です。規律あるキーワード調査とコンテンツ企画と組み合わせれば、AI がカバーすべきサブトピックを洗い出せます。
システム側では、まずチャンク化とエンベディングから始め、次にハイブリッド取得を加えて、ベクトル検索だけでは取りこぼす一致を拾いましょう。カバー率が十分になるまで k を上方向に調整し、クエリ拡張も検討してください。そうすれば、1 つのユーザーの質問を、関連するパッセージで使われていそうな複数の言い回しに対応づけられます。ラベル付きのセットに対して recall@k を測定すれば、こうした変更で実際に穴が埋まったかどうかがわかります。
コンテンツ側では、ページが完全な形で取得されやすいように書きましょう。異なるサブトピックを明示的に扱い、各パッセージを焦点の絞られた自己完結したものにし、重要な事実を、チャンク化しにくい長くて雑多なセクションに埋もれさせないようにしてください。このようにAI のグラウンディングを強化すれば、AI が根拠を探しに来たときに、自社のコンテンツが見つかりやすい構造になります。
カバー率は、正解データがなければ測定が困難です。再現率を出すには関連文書の全体像を把握する必要がありますが、そのラベル付けにはコストがかかり、主観的になりがちです。そのため、カバー率のスコアは評価セットの質に左右されます。手薄なテストセットで出た見栄えのよい再現率は、本番環境での実際の穴を隠してしまうことがあります。
適合率についても、うまい話はありません。カバー率の最大化を追い求めると、ノイズとコストを増やす重要度の低いパッセージまで取り込みがちです。Redis は、取得が最初のトークンが出るまでのレイテンシのほぼ半分を占めることがあり、関連性の高い 5 件のパッセージが重要度の低い 20 件のパッセージを上回ることが多いと指摘しています。実務上の目標は、アプリケーションに必要な適合率と速度とのバランスを取りながら、重要なサブトピックをすべて十分にカバーすることです。
取得のカバー率は、取得システムが質問に必要な関連情報をすべて見つけられているかを測るもので、主に再現率によって、そしてより細かくはサブトピックのカバー率によって数値化されます。モデルは与えられた情報からしか回答できないため、カバー率は RAG の品質の土台であり、チャンク化、エンベディング、取得方法、k によって形づくられます。
さらに理解を深めるには、取得の評価や、より広い検索拡張生成(RAG)のアーキテクチャと結びつけて考えましょう。また、Sorank の調査とコンテンツ企画のツールを使って、AI が取得するサブトピックをカバーしましょう。参考情報源:Redis、Meilisearch、AutoRAG。
出典
カバー率は再現率で測り、存在する関連情報をすべて見つけたかを問います。適合率は、見つけたものが実際に関連しているかを問います。システムは、いくつかのすっきりした結果を返しても、ほかの重要な文章を取りこぼしていれば、適合率は高くてもカバー率は低いことがあります。優れた RAG には、モデルに全体像を与えるのに十分なカバー率が必要で、ノイズに埋もれないよう適合率とのバランスも必要です。
標準的な尺度は再現率で、多くの場合 Recall@k、つまり上位 k 件で取り出した関連文書の数を関連文書の総数で割ったものを使います。関連文書が 10 件あり、システムが上位 10 件で 7 件を取り出せば、Recall@10 は 0.7 です。サブトピックの再現率はこれを広げ、取り出した集合がいくつの異なるサブトピックをカバーしているかを問うもので、カバー率をより細かく見られます。
AI 回答エンジンは取り出したかたまりから応答を合成するので、コンテンツがその取り出された集合に一度も入らなければ、引用されることはありません。エンジン側のカバー率が高いということは、関連する情報源を幅広く集めるということで、それはあなたがその一つになる機会です。異なるサブトピックに対応する、明確で網羅的でよく構成されたコンテンツを書けば、取り出される可能性が高まります。
先行導入企業のご紹介
