Evaluating RAG Metrics in Applied Contexts: An Experiment, Its Findings and Its Limitations

背景

检索增强生成（Retrieval-Augmented Generation, RAG）系统在工业界和学术界得到广泛应用，但如何有效评估其输出质量仍是挑战。现有多种 RAG 评估指标和库（如 Ragas、DeepEval、RAGChecker、Opik），它们从不同维度衡量检索相关性、生成忠实度等。然而，这些指标在实际业务场景中的表现——尤其是与人工评估的一致性——尚缺乏系统验证。本文基于一份法文原稿（发表于 EvalLLM 研讨会，Brabant, 2026）的英文翻译，通过一项实证研究，对若干 RAG 指标在应用语境下的相关性进行了评估，并指出了方法论局限与未来方向。

核心内容

本文报告了一项实证研究，旨在评估若干 RAG 指标的相关性。实验基于一个由人工标注员从业务数据中创建的问答数据集。论文使用来自四个评估库（Ragas、DeepEval、RAGChecker、Opik）的指标，对 RAG 系统生成的响应以及检索到的文本片段（spans）进行打分。这些指标得分被与两位人工评估员给出的评分进行比较，同时也与标准指标（如召回率 recall）进行比较。研究进行了相关性分析。最后，论文强调了该方法论的一些局限性，将其与文献中使用的其他方法进行了对比，并提出了若干未来研究的方向。本文最初以法文发表于 EvalLLM 研讨会（Brabant, 2026），此处为英文翻译版本。

关键要点

• 实验设置：使用人工标注的业务数据构建问答数据集，确保评估场景贴近真实应用。
• 评估指标来源：覆盖四种主流开源库（Ragas、DeepEval、RAGChecker、Opik），这些库提供了多种针对 RAG 系统的评估指标（如忠实度、答案相关性、上下文精确度等）。
• 对比基准：除了与人工评分（两位评估员）对照，还纳入了标准指标（如 recall），以衡量 RAG 检索环节的覆盖度。
• 相关性分析：通过计算指标得分与人工评分之间的相关性，判断自动指标能否替代或辅助人工评估。
• 方法论局限：作者明确指出实验的局限性，包括数据集规模、标注一致性、指标选择范围以及业务场景的特定性，并建议未来研究应扩展数据集、引入更多指标或考虑多轮对话等更复杂场景。
• 与文献对比：研究将自身方法与现有 RAG 评估文献（如 RAGAS 原始论文、DeepEval 等）的方法论进行对比，指出异同。
• 未来方向：提出改进指标、跨领域验证、动态评估等方向，以提升评估的普适性和可靠性。

意义与影响

本文为 RAG 系统的实际部署提供了一种可复现的评估框架，并首次在同一个实验中对多个主流指标库进行了横向对比。其发现有助于开发者和研究者理解不同自动指标在真实业务数据上的表现差异，从而更合理地选择或组合评估方法。同时，论文坦诚地指出了方法论局限性，为后续研究在实验设计、数据集构建和指标选择上提供了重要参考。由于原文来自法文研讨会，英文翻译版本使非法语读者也能获取该研究，促进了跨语言学术交流。该工作对评估 RAG 系统的标准化和实用化具有推动意义。