設定
当社はプライバシーを重視しており、ウェブサイトの基本機能に必要のない特定のストレージを無効にするオプションを提供しています。カテゴリーをブロックすると、ウェブサイトでの体験に影響が出る可能性があります。詳細はこちら
当社はプライバシーを重視しており、ウェブサイトの基本機能に必要のない特定のストレージを無効にするオプションを提供しています。カテゴリーをブロックすると、ウェブサイトでの体験に影響が出る可能性があります。詳細はこちら
取得の評価は、RAG のシステムが適切な文脈をどれだけうまく見つけて使っているかを測ります。指標、RAG トライアド、ベストプラクティスを学びましょう。
ツール
要約
取得の評価とは、取得システムが正しい文書をどれだけうまく見つけるか、そしてモデルがそれをどれだけ忠実に使うかを測定する取り組みです。recall@k、precision@k、MRR、NDCG、忠実性（faithfulness）といった指標を使って、RAG パイプラインの品質を判断します。
さらに詳しく知るには、こちらに質問
取得の評価とは、取得システムが正しい情報を拾い上げているか、そして生成された回答がその情報を実際にうまく活用しているかを測定する分野です。検索拡張生成のパイプラインで良い回答を得るには、2 つのことがうまくいく必要があります。取得システムが関連する文脈を見つけること、そしてモデルがその文脈に忠実であり続けることです。取得の評価はこの両方を数値化するので、チームは推測に頼らず、失敗の原因を診断して品質を改善できます。
これが重要なのは、RAG のシステムが気づかれないまま失敗することがあるからです。回答は流暢に聞こえても誤ったパッセージに基づいていることがありますし、モデルが必要としていた重要な情報源を取得システムが取りこぼすこともあります。RAG のシステムを構築する人にとっても、そうしたシステムに引用される情報源になりたい人にとっても、これらのシステムがどのように採点されているかを理解すれば、取得されやすい良質なコンテンツとは何かが正確に見えてきます。
取得の評価は、RAG パイプラインの 2 つの部分を、個別にも全体としても評価します。取得の部分では、システムが意味的に関連する情報を見つけたかを問います。生成の部分では、回答が意味のあるもので、根拠に基づき、トピックから外れていないかを問います。両者を切り分けて評価することで、取得の問題と生成の問題を区別できます。これがどちらかを修正するための第一歩です。
これはLLM の評価の専門的な一分野です。一般的なモデル評価が流暢さや推論を判断するのに対し、取得の評価は根拠に焦点を当てます。正しい文脈が取得されたか、そしてモデルがそれを尊重したか、という点です。RAG の回答の質はその裏付けとなるパッセージの質を超えられないため、この根拠中心の視点は、人々が信頼できるシステムを構築するうえで欠かせません。
取得側の柱となるのは 4 つの指標です。recall@k（上位 k 件の再現率）は、すべての関連文書のうち上位 k 件に含まれる割合で、langcopilot は重要な質問では 80% 以上を目標にすることを勧めています。precision@k（上位 k 件の適合率）は、上位 k 件のうち実際に関連している文書の割合で、適合率が高いほどモデルにとってのノイズが少なくなります。この 2 つは、取得のカバー率と品質を測るうえでの基盤です。
順位も重要です。平均逆順位（Mean Reciprocal Rank、MRR）は、最初の関連結果の順位の逆数を平均したもので、それが 1 位なら 1.0、2 位なら 0.5、下位に埋もれていればほぼゼロになります。質問応答での目標は 0.7 以上です。正規化割引累積利得（Normalized Discounted Cumulative Gain、NDCG）は段階的な関連度を扱い、順位に応じて結果を割り引きます。そのため、1 位にある関連項目は 10 位にある場合よりも高く評価されます。langcopilot は、明確に定義された領域では 0.85 以上を目標として挙げています。複数の関連する回答がある状態でパッセージランキングを評価する場合には、NDCG が自然な選択肢です。
モデルが取得結果を誤用すれば、優れた取得も無駄になります。そのため、生成側には独自の指標があります。忠実性は、回答が裏付けのない主張を持ち込まずに、取得した根拠にどれだけ沿っているかを測るもので、文脈によって裏付けられている記述の割合として算出されることがよくあります。医療や法律のようにリスクの高い領域では、目標はほぼ 100% です。裏付けのない主張は、AI のハルシネーションになりかねないからです。
回答の関連性は、回答が実際に質問に答えていて、トピックから外れていないかを問うものです。回答と質問のエンベディングの類似度や、言語モデルによる判定で測定されることがよくあります。主張が情報源で裏付けられているかを示す引用カバー率が、全体像を補完します。これらを組み合わせることで、システムがうまく取得するだけでなく、適切な情報源の引用を伴う、根拠のある有用な回答を生成していることを確認できます。
実践的な出発点は RAG トライアドです。Qdrant はこれを取得の有効性、回答の関連性、一貫性として整理しており、ほかのガイドでは文脈の関連性、忠実性、回答の関連性として表現されています。この 3 つのチェックで、最もよくある失敗のパターン、つまり質の低い取得、ハルシネーションを含む生成、トピックから外れた回答を捉えられるという考え方です。
3 つを合わせて読むと、診断に役立ちます。文脈の関連性が低ければ、問題は取得システムにあります。文脈は良いのに忠実性が低ければ、モデルが根拠から逸れています。どちらも問題ないのに回答の関連性が低ければ、システムは根拠に基づいているものの、ユーザーの実際の意図を捉え損ねています。この切り分けこそが、より細かい指標を加える前の最初の視点として、トライアドが非常に有用である理由です。
大きく 2 つのアプローチがあります。正解データによる評価では、元の文書から質問と回答のペアを作り、0 から 1 のスケールの類似度スコアと正確性スコアを使って、生成された回答を期待される回答と比較します。厳密ですが、何が関連していて何が正しいのかを誰かがラベル付けしなければならないため、手間がかかります。
もう一つの方法は、言語モデルを判定役として使うことです。フレームワークが忠実性、関連性、文脈の質を自動で採点するので、人手によるレビューよりもはるかに拡張しやすくなります。Qdrant は回答の品質を評価する LLM-as-a-judge（判定役としての LLM）の手法を紹介しています。実務では、チームは両者を組み合わせることがよくあります。信頼できるベンチマークのためのラベル付きの中核セットと、幅広く頻繁にカバーするための自動判定です。
RAGAS は、RAG の評価に特化して作られた人気のオープンソースのフレームワークです。文脈の適合率、文脈の再現率、忠実性、回答の関連性といった参照不要の指標を言語モデルの判定で算出するので、ラベル付きの正解データが不要な場合も多くあります。すぐに使えて、自社の文書から合成のテスト用の質問を生成することもできるため、体系的な評価へのハードルを下げてくれます。
その手法は、回答を最小単位の記述に分解し、それぞれを取得した文脈と照らし合わせるというもので、だからこそ忠実性を精密に採点できます。langcopilot によると、RAGAS の指標は人間の判断とよく相関しており、汎用モデルによる単純なゼロショット採点を上回っています。この信頼性こそが、評価を形式化しようとする多くのチームにとって、RAGAS が定番の出発点になった理由です。
RAG のシステムを採点する指標は、コンテンツが AI アシスタントにどのように発見され、使われるかも表しています。忠実性は、AI が自信を持って主張の根拠にできる情報源を評価し、MRR や NDCG のような順位の指標は、早い段階で明確に浮かび上がるコンテンツを評価します。これらのシステムが何を最適化しているかを理解すれば、抽出しやすく信頼できるコンテンツとは何かを内側から把握できます。
そう考えると、取得の評価は生成エンジン最適化のための目立たない設計図です。引用されるパッセージになりたいなら、AI の暗黙のチェックで高く評価されるコンテンツを書きましょう。正確で、自己完結していて、出典を示しやすいコンテンツです。この考え方を規律あるキーワード調査とコンテンツ企画と組み合わせれば、強い根拠が引用を勝ち取る質問を狙えます。
評価の質は、そのデータの質で決まります。正解データのラベルはコストがかかり主観的で、手薄なテストセットや偏ったテストセットは、実際の問題を隠す見栄えのよいスコアを生みかねません。言語モデルによる判定はそのコストを減らしますが、独自のバイアスを持ち込むため、その判定は定期的に人間のレビューと照らし合わせて確認する必要があります。
また、単一の数値ですべてがわかるわけでもありません。システムは再現率が高くても忠実性が低いことがあり、無関係な回答で忠実性が高いこともあります。だからこそ、これらの指標はスコアボードではなく、指標のパネルとして使われます。AI ベンチマークの分野全体にも同じ注意が当てはまります。指標は改善の指針になりますが、組み合わせて解釈し、人間による監督で誠実さを保つ必要があります。
取得の評価は、RAG のシステムが正しい文脈を見つけているか、そしてその文脈を忠実に使っているかの両方を測定するもので、再現率、適合率、MRR、NDCG といった取得の指標と、忠実性や回答の関連性といった生成の指標を組み合わせます。RAG トライアドは素早い最初の診断を可能にし、RAGAS のようなフレームワークは体系的な評価を身近なものにします。
さらに理解を深めるには、取得のカバー率や、より広い検索拡張生成（RAG）のアーキテクチャと結びつけて考えましょう。また、Sorank の調査とコンテンツ企画のツールを使って、これらのシステムが取得し信頼するコンテンツを作りましょう。参考情報源：Qdrant、LangCopilot、Redis。
出典
取得の側では、中核の指標は Recall@k（関連文書を見つけたか）、Precision@k（取り出した結果が関連しているか）、MRR（最初の関連する結果が早く順位付けされているか）、NDCG（掲載順位で重みづけした段階的な関連性）です。生成の側では、忠実性と答えの関連性が最も重要です。多くのチームは、文脈の関連性、忠実性、答えの関連性からなる RAG トライアドから始めます。
RAGAS は、RAG のシステムを評価するために特に作られたオープンソースのフレームワークです。文脈の適合率、文脈の再現率、忠実性、答えの関連性など、参照を必要としない指標を、言語モデルを審査役として計算するので、ラベル付きの正解データが不要なことがよくあります。そのまま使え、文書から合成のテスト用の質問を生成でき、そのスコアは人の判断とよく相関しています。
AI 回答エンジンはコンテンツを取り出して合成するので、そのパイプラインを採点するのと同じ指標が、コンテンツがどう見つけられ使われるかを表しています。忠実性は、エンジンが主張の根拠にできるコンテンツを評価し、順位の指標は、早く明確に表示されるコンテンツを評価します。評価を理解すれば、取り出されて引用されやすい、抜き出しやすく正確でよく構成されたページを書く助けになります。
先行導入企業のご紹介
“2年間、クライアントの100%がLinkedIn経由でした。毎日の投稿、コメント、DMでのフォローアップ…完全にアルゴリズム頼みでした。SEOに取り組むべきだとわかっていても、時間がかかる、技術的すぎる、自分の仕事ではないと、いつも後回しにしていました。Sorankでようやく一歩を踏み出しました。4か月で、何も投稿しなくても毎月15件のオーガニックリードを獲得しています。まだLinkedInと半々ではありませんが、自動で育つ2つ目のリード源ができたことで安心して眠れるようになりました。”
Valentin Thomyコールドメール専門エージェンシー“Sorankは、クライアントに提供する成果を大きく変えてくれました。AIが実際に使っているキーワードを特定し、特定の競合が引用される理由を理解し、以前は完全に見落としていたチャンスを見つけられるようになりました。クライアントは、より早い順位上昇、AIの回答での可視性向上、そしてすべての施策のROIがより明確になったことを実感しています。”
Benjamin Rouxovirank.com
“私はマーケターではなく開発者です。私のShopifyテーマは口コミと広告だけで売れていました。Sorankのおかげで、SEOの組み立て方と上位表示される記事の書き方がようやくわかりました。監査で商品ページが遅すぎることも判明しました。2か月でオーガニックトラフィックは2倍になり、ShopifyテーマについてChatGPTで検索されたときの回答にも表示され始めています。しかも、週に約2時間の作業だけです。”
Thème FullStackthemefullstack.com“Sorankのおかげで、私たちのSEOエージェンシーの働き方は大きく変わりました。すべてが一元化・自動化されたため、クライアント1社あたりにかける時間が大幅に減りました。以前は何時間もかかっていた作業が今では数分で終わり、ようやくビジネスの中で働くのではなく、ビジネスそのものに取り組めるようになりました。”
Océane Bondismaison-leverage.com
