RAG系统引文完整性与事实基础新研究发布

背景

Retrieval-Augmented Generation（RAG）已成为科学问答（Scientific QA）领域的主流范式，它通过检索外部知识库中的文档片段来辅助大语言模型生成答案，同时期望模型引用所依据的源材料以增强可信度。然而，现有评估体系往往侧重答案的流畅性与相关性（如 BLEU、ROUGE 等传统自然语言指标），对引用完整性（Citation Integrity）和事实依据（Factual Grounding）的关注不足。CLEF 2026 的 LongEval Task 4 专门聚焦于 RAG 系统的评估，DS@GT ARC 团队提交了一项工作，旨在揭示传统评估指标与引用忠实性之间的脱节，并提出一种可提升依据质量的校正管道。

核心内容

本文描述了 DS@GT ARC 向 CLEF 2026 LongEval Task 4（RAG 子任务）的参赛方案。团队首先指出现有的 RAG QA 系统评估中存在一个关键分歧：传统自然语言评估指标（如答案相关性、流畅度）并不等同于引用完整性，即一个答案可能在字面上看起来流畅合理，但生成过程中并未实际使用检索到的相关文档，或者其声称的事实并未严格绑定于所引用的材料。

为了验证这一分歧，团队设计了对比实验：

• 基线与前沿模型（Frontier Models）：使用标准的 RAG 流程，评测其答案相关性（Answer Relevance）和流畅度（Fluency）得分。前沿模型在这两项指标上取得了最高分。
• 校正管道（Corrective Pipeline）：采用 Corrective RAG（CRAG） 与 CiteFix 两个模块组合。CRAG 在生成前对检索到的文档块进行过滤与修正，剔除不相关的噪声；CiteFix 在生成后对答案中的每一个声称（claim）进行严格检查，确保其与所引用材料之间满足蕴含（entailment）关系，若违反则进行修复或删除。

团队使用 RAGAs（LLM-as-Judge） 诊断框架对两组系统进行细粒度评测。结果发现：

1. 前沿模型虽然获得了最高的答案相关性和流畅度得分，但在引用忠实性（Citation Faithfulness）上表现不佳。诊断表明，这些模型能够正确识别出相关文档，但在生成答案时却没有真正利用这些文档的上下文内容，导致其声称的事实与引用脱节。
2. 校正管道在答案相关性指标上略有牺牲，但显著提升了引用忠实性和答案依据（Answer Grounding）。具体表现为：生成前过滤减少了无依据的幻觉；生成后的蕴含检查确保了每个被引用的声明都能在原文中找到支持。

基于上述发现，团队提出：对可信 RAG QA 系统的评估，必须采用能够奖励严格答案依据（strict answer grounding）的指标，而非仅仅关注表面流畅度。

关键要点

• 传统自然语言指标（如相关性与流畅度）无法反映 RAG 系统在实际引用文档内容方面的表现，与引用完整性存在系统性的偏差。
• 前沿模型（如 GPT-4 类）能够精确检索到相关文档，但在答案生成中倾向于忽视检索内容，导致“有引用之名、无引用之实”。
• 校正管道通过 CRAG（生成前过滤） 与 CiteFix（生成后引用蕴含校验），以轻微牺牲流畅度为代价，换取了引用忠实性与答案依据的显著提升。
• RAGAs（LLM-as-Judge）作为一种细粒度诊断工具，能够有效区分模型是否真正依赖于检索上下文，而非仅从表面打分。
• 未来评估体系应引入专门衡量“严格答案依据”的指标，例如引用准确性（Citation Accuracy）和事实蕴含率（Factual Entailment Rate）。

意义与影响

该工作为 RAG 系统的可信评估提供了重要启示。在科学问答等对准确性要求极高的场景中，仅仅追求答案通顺是不够的；模型必须被强制要求“说出来的话都有据可查”。DS@GT ARC 提出的校正管道（CRAG + CiteFix）展示了无需大幅改变基座模型架构即可提升引用质量的可行方案，具有实用价值。

此外，作者呼吁社区重新审视 RAG 评估框架，推动采纳能够捕捉引用完整性维度的指标。这有助于防止模型通过“pseudo-RAG”（伪检索增强）获取高分的现象，从而提升 RAG 系统在科研、法律、医疗等高风险领域的可信度。该工作对 CLEF 2026 LongEval 任务本身以及更广泛的 RAG 研究社区均具有参考意义。