CanLegalRAGBench：评估检索增强生成在加拿大判例法中的表现

背景

基于检索增强生成（RAG）的法律助手近年来在业界和学术界日益普及。然而，大型语言模型（LLM）产生的“幻觉”（Hallucinations）问题依然是该领域面临的核心挑战，这不仅影响了系统的可靠性，更可能直接损害司法公正。

尽管目前已有多个基准测试（Benchmarks）被开发出来用于评估 RAG 系统的进展，但现有的评估体系存在两个主要缺陷：

1. 缺乏真实性：许多基准测试依赖于合成查询（synthetic queries），而非真实的法律场景，导致评估结果与实际应用存在偏差。
2. 地域代表性不足：加拿大法律体系在现有的评估数据集中代表性严重不足，限制了模型在特定法域下的泛化能力评估。

为了填补这一空白，研究人员提出了 CanLegalRAGBench，这是一个基于真实查询和专家标注答案的加拿大法律问答基准测试，其答案均扎根于判例法（Case Law）。

核心内容

本研究引入了 CanLegalRAGBench，旨在通过更贴近现实的法律场景来评估 RAG 系统在加拿大法律领域的表现。研究团队通过一系列实验，深入分析了检索性能、模型选择以及生成质量等关键维度。

1. 检索性能对设计选择高度敏感

评估结果显示，RAG 系统的检索性能并非固定不变，而是对系统的设计选择（如检索策略、索引方式等）高度敏感。这意味着在构建法律 RAG 系统时，微调检索组件至关重要。

2. 开源嵌入模型具备竞争力

研究发现，开源的嵌入模型（Embedding Models）在检索任务中的表现与闭源模型（Closed-source Models）相当。这一发现降低了法律 AI 系统的部署门槛，表明开发者不一定需要依赖昂贵的商业 API 即可获得高质量的检索效果。

3. 自动评估指标的局限性

研究揭示了一个重要问题：自动评估指标往往存在偏见。当系统检索到了与“黄金标准”（Gold Standard）不同但同样相关的文档时，自动评估系统可能会对其进行惩罚。这表明现有的自动化评估方法可能无法准确反映 RAG 系统在复杂法律场景下的真实检索能力。

4. 生成答案的质量隐患

在生成环节，研究发现了显著的质量问题：

• 偏离黄金答案：生成的答案经常与专家标注的黄金答案出现分歧。
• 幻觉与冗余：模型要么产生幻觉，要么输出过于详细或无关的内容。
• 缺乏依据：最严峻的问题是，8% 至 29% 的生成主张（Claims）无法从检索到的文档中得到支持。这意味着近三分之一的法律陈述可能是无中生有的，这在法律应用中是极具风险的。

关键要点

• 基准创新：CanLegalRAGBench 是基于真实查询和专家标注的加拿大法律 QA 基准，填补了现有评估在真实性和地域覆盖上的空白。
• 检索敏感性：RAG 系统的检索效果高度依赖于具体的系统设计选择，不能一概而论。
• 开源优势：开源嵌入模型在性能上已能与闭源模型抗衡，为法律 AI 的开源化部署提供了数据支持。
• 评估缺陷：自动评估工具倾向于惩罚检索到“替代性相关文档”的行为，这可能低估了系统的实际检索能力。
• 幻觉风险量化：生成的法律答案中，有 8-29% 的主张缺乏检索文档的支持，凸显了 LLM 在法律场景下幻觉问题的严重性。
• 目标愿景：该基准旨在推动学术界和工业界持续改进法律 RAG 系统的局限性，提升其在司法领域的可用性和安全性。

意义与影响

CanLegalRAGBench 的发布对于法律人工智能领域具有重要的里程碑意义。首先，它提供了一个更贴近现实的法律评估环境，使得研究人员能够更准确地衡量模型在真实司法场景中的表现，而非仅仅在合成数据上刷分。

其次，研究结果对法律科技产品的开发者具有直接的指导意义。它警示开发者，不能盲目信任自动评估指标，也不能忽视检索组件的设计优化。同时，开源嵌入模型的表现证明，构建高性价比的法律 RAG 系统是可行的。

最后，该研究量化了法律生成中的幻觉风险（8-29% 的主张无依据），这为法律 AI 的安全护栏（Safety Guardrails）设计提供了紧迫性和必要性依据。通过推动对这一基准的使用，有望加速解决法律 RAG 系统在可靠性、准确性和公正性方面的核心痛点，从而更好地服务于司法实践。