双置信度对比解码提升多文档RAG效果

背景

Retrieval-augmented generation（RAG）技术正日益成为主流方法，允许大语言模型通过检索外部文档来增强回答质量，从而弥补其内部知识的局限性。在实际应用中，模型需要从多个检索到的文档中回答问题，这些文档中只有部分内容与问题相关，且文档集合可能包含过时信息、噪声数据或相互冲突的证据。

现有对比解码（contrastive decoding）方法主要针对模型内部记忆与检索上下文之间冲突进行解决。然而，本文研究了多文档RAG中另一个互补问题：上下文内部冲突（intra-context conflict）。即如何从多个检索文档中筛选出可靠的证据，以避免上下文自身带来的干扰。

为了系统评估这一设置，作者提出了DRQA基准，这是一个事实冲突问答数据集，源自企业深度研究场景。DRQA中的问题答案严格基于合成企业特定事实，这些事实刻意设计为无法从模型内部记忆中恢复，因此必须依赖检索文档。DRQA为评估RAG中上下文冲突提供了高质量、现实导向的测试环境。

核心内容

为应对多文档RAG中的上下文内部冲突，作者提出了一种训练-free的解码方法——双置信度对比解码（Dual-Confidence Contrastive Decoding, DCCD）。DCCD结合了两个层面：文档级置信度（document-level confidence）和令牌级置信度（token-level confidence）。

文档级置信度评估单个文档是否足够回答给定问题。它通过判断检索文档是否提供了完整、充分的信息来决定该文档是否值得参与生成过程。

令牌级置信度则评估该文档是否支持一个高度自信的下一个令牌预测。它基于文档条件下的模型输出概率分布，量化当前令牌生成的确定性。

DCCD的工作流程如下：首先，使用双置信度信号选择正向（positive）和负向（negative）文档条件流（document-conditioned streams）。正向流包含高置信度的文档条件路径，负向流则包含低置信度或冲突路径。随后，通过两个流在对比解码框架下进行操作，并根据文档级置信度的边际（margin）放大文档级对比强度。

这种设计使得DCCD能够精细地过滤噪声和冲突证据，避免模型被误导。DCCD完全无需训练，仅通过修改解码阶段的对比过程即可应用。

实验验证了DCCD在DRQA基准及标准多文档问答数据集上的有效性。结果显示，DCCD在全上下文和对比解码基线中平均性能最佳，在DRQA上提升最为显著。这些结果表明，当检索证据与内部记忆冲突时，源感知、置信度门控的解码策略是提升RAG质量的关键。

关键要点

• DRQA基准专门针对企业深度研究场景设计，答案必须依赖合成企业事实，无法从模型内部记忆恢复，用于评估多文档RAG中的上下文内部冲突。
• DCCD是训练-free方法，融合文档级置信度（评估文档是否足够回答问题）和令牌级置信度（评估文档对自信令牌预测的支持度）。
• DCCD通过双置信度信号选择正负文档条件流，并按文档级置信度边际放大对比强度，实现精细证据过滤。
• 在DRQA和标准多文档QA基准上，DCCD整体平均性能优于全上下文和对比解码基线，DRQA场景提升幅度最大。
• 研究强调源感知、置信度门控的解码对于RAG中内部证据冲突场景至关重要。

意义与影响

DCCD为多文档RAG提供了一个简单有效、零训练成本的解决方案，特别适合企业级深度研究场景，其中证据质量和内部一致性直接影响最终回答的可靠性。相比现有方法，DCCD的源感知机制和置信度门控显著提升了模型对噪声文档的鲁棒性，减少了误导性响应的生成。

该工作的提出进一步凸显了对比解码在RAG中的潜力，并为未来研究指明了方向：如何更精细地整合多源证据、优化置信度信号设计，以及在不同任务中扩展类似策略。其结果为实际RAG部署提供了实用指导，尤其在要求高准确性和事实性的企业应用中，DCCD有望成为标准解码范式的一部分，推动RAG技术从简单检索增强向智能证据过滤演进。