偏好设置

我们非常重视您的隐私,因此您可以选择禁用某些对网站基本功能并非必要的存储类型。屏蔽某些类别可能会影响您的网站使用体验。更多信息 (Cookie 政策)

接受所有 Cookie

检索评估:2026年如何衡量RAG质量与可信的AI答案

检索评估衡量RAG系统找到并使用正确上下文的能力。了解相关指标、RAG三要素和最佳实践。

Sorank 用户照片Sorank 用户照片Sorank 用户照片Celio FabianoSorank 用户照片客户 Xavier Breull 的头像
+ 9,000 位订阅者
评估仪表盘,展示某个RAG系统的召回率、精确率、MRR和忠实度等检索指标得分。
上传界面元素

工具

Sorank 创始人 Thibault Besson-Magdelain

关于作者

Thibault Besson-Magdelain

Sorank 创始人,拥有 7 年以上 SEO 经验,GEO 爱好者。
本页内容
用 AI 总结本文:
分享至

摘要

检索评估是衡量一个检索系统找对文档的能力、以及模型忠实使用这些文档的程度的实践,它借助前k召回率、前k精确率、MRR、NDCG和忠实度等指标,来判断一条RAG流程的质量。

想深入了解?请询问

检索评估是一门衡量检索系统是否呈现了正确信息、以及生成的答案是否真正用好了这些信息的学问。在检索增强生成流程中,一个好答案取决于两件事都做对:检索器找到相关上下文,模型对这份上下文保持忠实。检索评估给两者都赋予了数字,让团队能够诊断故障、改进质量,而不是靠猜。

这一点之所以重要,是因为RAG系统会悄无声息地失败。一个答案可能听起来很流畅,实际上却建立在错误的段落之上,也可能检索器漏掉了模型所需的关键来源。对于任何在构建RAG系统的人,或任何希望成为它们所引用来源的人来说,弄清这些系统是如何被打分的,就等于看清了优质、可被检索的内容究竟长什么样。

什么是检索评估?

检索评估会分别、也合并地评估一条RAG流程的两个半边。检索这一半问的是系统是否找到了语义上相关的信息。生成这一半问的是回应是否有意义、有依据、切题。把它们分开评估,才能把检索问题与生成问题区分开来,而这正是修好其中任何一个的第一步。

它是大语言模型评估的一个专门分支。一般的模型评估可能会判断流畅度或推理能力,而检索评估聚焦于证据:正确的上下文是否被检索到了,模型是否尊重了它。由于RAG答案的好坏取决于它背后的段落,这种以证据为中心的视角,对于构建让人信得过的系统至关重要。

检索指标:召回率、精确率、MRR与NDCG

有四项指标为检索这一侧定下基准。前k召回率是所有相关文档中出现在前k条里的那一部分所占的比例,langcopilot建议在关键查询上把目标定在至少80%。前k精确率是前k条中真正相关的那一部分所占的比例,精确率越高,模型受到的噪声就越少。这两项是衡量检索覆盖率与质量的骨架。

排名位置同样重要。平均倒数排名,即MRR,取第一条相关结果的倒数排名的平均值,排在第一时得1.0,第二时得0.5,被埋得很深时接近零,问答场景的目标在0.7以上。归一化折损累计增益,即NDCG,处理的是分级相关性,并按排名对结果打折,因此位于第一位的相关条目比位于第十位的更值钱,langcopilot给出的目标是在界定清晰的领域中高于0.85。当要评估存在多个相关答案的段落排名时,NDCG是自然的选择。

生成指标:忠实度与答案相关性

如果模型误用了检索结果,再好的检索也白费,因此生成这一侧有自己的指标。忠实度衡量答案在多大程度上贴着检索到的证据走、不引入缺乏支撑的论断,通常以有上下文支撑的陈述所占的比例来计算。在医疗和法律这类高风险领域,目标接近100%,因为一条缺乏支撑的论断就是一次潜在的AI幻觉。

答案相关性问的是回应是否真的解决了问题、是否切题,常常通过答案与查询之间的嵌入相似度,或者通过一个语言模型评判者来测量。引用覆盖率,即论断是否有来源支撑,补全了整幅图景。这些指标合在一起,确保系统不只是检索得好,还能产出有依据、有用、并且带有恰当来源标注的答案。

RAG三要素

一个实用的起点是RAG三要素,Qdrant把它表述为检索有效性、回应相关性和连贯性,另一些指南则表述为上下文相关性、忠实度和答案相关性。其思路是,这三项检查能抓住最常见的失效模式:检索不佳、生成出现幻觉,以及答非所问。

把它们放在一起读,就有了诊断价值。如果上下文相关性低,问题出在检索器。如果上下文没问题而忠实度低,说明模型正在偏离它的证据。如果两者都还好而答案相关性低,那么系统有依据,却错过了用户真正的意图。正是这种拆分,让三要素成为在加入更细粒度指标之前非常好用的第一层视角。

检索评估如何开展

大体上有两种路径。标注真值评估从源文档构建问答对,再用0到1区间的相似度和正确性分数,把生成的回应与预期答案作比较。这种方式很严谨,但很耗人力,因为得有人来标注什么算相关、什么算正确。

另一种做法是让一个语言模型充当评判者。各类框架会自动为忠实度、相关性和上下文质量打分,这比人工评审的可扩展性好得多。Qdrant介绍了用大语言模型充当评判者来评估回应质量的方法,而在实践中,团队往往把两者糅合起来:用一个标注好的核心集合建立可信的基准,再用自动评判来做广泛而频繁的覆盖。

RAGAS框架

RAGAS是一个广受欢迎的开源框架,专为RAG评估而建。它提供上下文精确率、上下文召回率、忠实度和答案相关性等无需参考答案的指标,由语言模型评判者来计算,因此您往往不需要标注好的真值。它开箱即用,甚至能从您的文档生成合成测试查询,降低了系统性评估的门槛。

它的方法是把一个答案拆成原子化的陈述,再逐条对照检索到的上下文进行核对,这正是它能把忠实度打得如此精细的原因。据langcopilot,RAGAS的指标与人工判断的相关性很好,胜过通用模型朴素的零样本打分。正是这份可靠性,让它成为许多团队把评估正规化时的默认起点。

检索评估对SEO与GEO为何重要

为RAG系统打分的那些指标,同样描述了您的内容如何被AI答案引擎发现和使用。忠实度奖励那些能让引擎放心地为论断提供依据的来源,而MRR和NDCG这类排名指标,则奖励那些出现得早、呈现得清楚的内容。弄清这些系统在优化什么,就等于从内部看清了易于提取、值得信赖的内容长什么样。

这让检索评估成了生成式 AI 优化的一张隐形蓝图。如果您想成为被引用的那个段落,就要写出能在引擎隐含检查中拿高分的内容:准确、自成一体、便于标注出处。把这种思路与有章法的关键词研究与内容规划结合起来,能帮您瞄准那些靠扎实证据赢得引用的查询。

挑战与局限

评估的好坏取决于它的数据。标注真值成本高昂且带有主观性,而一个单薄或有偏的测试集,会跑出漂亮的分数,掩盖真实存在的问题。语言模型评判者降低了这份成本,却带来了自身的偏差,因此它们的裁决需要定期与人工评审做对照检查。

也没有任何单一数字能讲清全部故事。一个系统可能召回率很高而忠实度很低,也可能在一个不相关的答案上忠实度很高,这正是这些指标要作为一整组面板而非一块计分牌来使用的原因。更广义的AI基准测试领域面临同样的告诫:指标可以指引改进,但必须合在一起解读,并靠人工监督来保持诚实。

结论

检索评估同时衡量一个RAG系统是否找到了正确的上下文,以及它是否忠实地使用了这份上下文,它把召回率、精确率、MRR和NDCG这类检索指标,与忠实度、答案相关性这类生成指标结合起来。RAG三要素提供了一次快速的初步诊断,而RAGAS这样的框架让系统性评估变得触手可及。

要更进一步,请把它与检索覆盖率以及更宏观的检索增强生成架构联系起来,并使用Sorank的研究与内容规划工具,去打造这些系统会检索并信任的内容。参考来源:Qdrant、LangCopilot和Redis。

来源

常见问题

最重要的检索评估指标有哪些?

在检索这一侧,核心指标是前k召回率(您是否找到了相关文档)、前k精确率(检索到的结果是否相关)、MRR(第一条相关结果是否排得靠前)以及NDCG(按位置加权的分级相关性)。在生成这一侧,最重要的是忠实度和答案相关性。许多团队从RAG三要素入手:上下文相关性、忠实度和答案相关性。

RAGAS框架是什么?

RAGAS是一个专为评估RAG系统而建的开源框架。它提供上下文精确率、上下文召回率、忠实度和答案相关性等无需参考答案的指标,由语言模型充当评判者来计算,因此您往往不需要标注好的真值。它开箱即用,还能从您的文档生成合成测试问题,其分数与人工判断的相关性也很好。

检索评估对GEO为何重要?

AI答案引擎会检索并综合内容,而为这些流程打分的那些指标,同样描述了您的内容如何被找到和被使用。忠实度奖励那些能让引擎为论断提供依据的内容,排名指标则奖励那些出现得早、呈现得清楚的内容。理解评估,能帮您写出易于提取、准确、结构良好的页面,更有可能被检索和引用。

我们为雄心勃勃的企业打造的博客

他们已先于您体验了 SORANK

来自雄心勃勃的创始人的评价

自然增长电子商务

5个月内从0增至10000访客

Celio Fabianomonrobotlavevitre.fr
自然增长软件

8个月内客户从0增至5000

Thibault BMsorank.com
自然增长休闲与航空

4个月从0增至1104次点击

Dominiqueflight-sensations-idf.com
自然增长音乐软件

4个月点击增长至30倍

Valentin Cordiertiger-sounds.com
自然增长健康养生

4个月点击增长至30倍

Rodrigue Bretonalthevia.com