从“上下文感知”到“冲突感知”： generalized 对比解码以解决大语言模型中的知识冲突

背景

在大语言模型（LLMs）的实际应用中，检索增强生成（RAG）已成为提升模型事实准确性和时效性的主流范式。然而，当模型结合检索到的外部上下文（External Context）与模型内部参数化先验知识（Parametric Priors）进行生成时，两者之间往往存在不一致性，即“知识冲突”。

这种冲突构成了当前大模型可靠性的核心瓶颈。现有的对比解码（Contrastive Decoding）方法主要遵循一种**“上下文感知”（Context-Aware）**的范式。这种范式假设检索到的上下文总是优于或等同于模型内部的知识，因此单方面地放大上下文的影响，压制参数化先验。

然而，这一假设存在致命缺陷：当检索到的上下文包含错误信息时，这种单向放大会导致模型覆盖掉其内部正确的先验知识，从而产生“幻觉”或错误输出。简而言之，现有方法缺乏对“上下文是否可信”的动态判断能力。

核心内容

本文提出了一种新的范式转变：从“上下文感知”转向**“冲突感知”（Conflict-Aware）**。该范式不再预设上下文的可信度，而是基于冲突信号，动态地在参数化先验和外部上下文之间分配话语权（Authority）。

1. 对数几率的仿射组合与“幂族”特性

作者从数学角度分析了现有对比解码方法的本质。现有的对比解码方法可以被视为参数化先验对数几率（Logits）与上下文对数几率的仿射组合（Affine Combination）。这种组合形成了一个**“幂族”（Power Family），该家族具有内在的“机制不对称性”（Regime Asymmetry）**：

• 外推（Extrapolation）：当先验正确而上下文错误时，外推机制会无限制地放大错误，导致模型偏离正确路径。
• 插值（Interpolation）：当上下文正确而先验错误时，插值机制往往修正不足，无法完全纠正先验的错误。
• 静态机制的局限：没有任何一种静态的混合机制能够同时完美覆盖上述两种情况。

现有的对比解码方法大多属于外推机制，因此在面对错误上下文时表现不佳，而在面对正确上下文时修正能力有限。

2. TriState-Bench：模型感知的评估协议

为了全面评估模型在不同冲突方向下的表现，作者提出了 TriState-Bench。这是一个模型感知的评估协议，旨在校准每个模型自身的先验知识，并测量三种冲突状态：

1. 修正（Correction）：上下文正确，先验错误。模型应采纳上下文，纠正自身错误。
2. 抵抗（Resistance）：上下文错误，先验正确。模型应抵抗错误上下文的干扰，坚持正确的先验知识。
3. 一致（Agreement）：上下文与先验一致。模型应正常生成，不受冲突机制的负面影响。

3. Adaptive Regime Routing (ARR)：解决不对称性

为了解决上述机制不对称性问题，作者提出了自适应机制路由（Adaptive Regime Routing, ARR）。

• 动态路由：ARR 在每个生成步骤中，根据冲突信号动态地在不同的机制（如外推、插值等）之间进行路由选择。
• 性能提升：实验结果显示，ARR 在不牺牲“修正”和“一致”性能的前提下，显著提升了模型在“抵抗”状态下的 EM（Exact Match，精确匹配）得分，从低于 6 提升至 16--33 的区间。这意味着模型在面对错误上下文时，能更有效地坚持正确的内部知识。

关键要点

• 范式转变：从假设上下文永远可信的“上下文感知”，转变为基于冲突信号动态分配权重的“冲突感知”。
• 理论洞察：现有对比解码方法是先验与上下文对数几率仿射组合的特例，属于“幂族”，且存在固有的外推/插值不对称性。
• 评估创新：提出 TriState-Bench，通过校准模型先验，量化评估模型在“修正”、“抵抗”和“一致”三种冲突场景下的表现。
• 技术突破：提出 ARR 方法，通过步骤级的动态机制路由，解决了静态机制无法兼顾不同冲突方向的问题。
• 实证效果：ARR 显著增强了模型对错误上下文的“抵抗力”（Resistance EM 提升显著），同时保持了在正确上下文下的“修正能力”和一致场景下的正常表现。

意义与影响

这项工作对大语言模型的可信度和鲁棒性研究具有重要意义：

1. 打破“唯检索论”迷思：它挑战了 RAG 系统中“检索内容优于模型内部知识”的默认假设，指出在检索内容错误时，盲目信任检索内容会导致更严重的错误。
2. 提供更精细的控制粒度：通过引入“冲突感知”和动态路由，研究者可以更精细地控制模型在多大程度上依赖外部信息，从而在“创新性/灵活性”与“事实准确性/稳定性”之间找到更好的平衡。
3. 推动评估体系完善：TriState-Bench 提供了一种标准化的方法来评估模型处理知识冲突的能力，填补了现有基准测试在“抵抗错误信息”这一维度上的空白。
4. 通用性潜力：虽然本文聚焦于对比解码，但其提出的“冲突感知”框架可以推广到其他结合多源信息的生成任务中，为构建更可靠、更抗干扰的 AI 系统提供了理论基础和技术路径。

随着大模型在关键领域（如医疗、法律、金融）的应用加深，能够智能识别并处理知识冲突的能力将成为衡量模型成熟度的关键指标。ARR 及其背后的冲突感知范式，为这一目标的实现提供了有力的工具。