高效检测大模型幻觉的新方法Diversion Decoding

背景

大型语言模型（LLM）在通过自然、类人交互进行知识检索方面展现出强大能力。然而，尽管其文本生成能力先进，LLM 仍存在幻觉倾向——生成事实性错误陈述或编造知识，这严重损害了其可靠性和可信度。已有多种研究探索如何评估 LLM 的不确定性并检测幻觉，但现有方法往往基于概率且计算开销大，限制了实际应用。本文提出了一种名为 “diversion decoding” 的新方法，旨在通过在解码阶段主动挑战模型生成的响应，开发一种高效的不确定性启发式指标。

核心内容

论文引入 diversion decoding，这是一种新颖的 LLM 不确定性评估方法。其核心思想是在 LLM 的解码过程中，通过主动引导模型尝试生成替代答案，来观察模型对自身初始输出的“抵抗程度”。具体而言，该方法从 diversion decoding 过程中提取一系列特征，这些特征捕捉了 LLM 在面临替代答案时的抵抗强度（即模型是否倾向于坚持原始输出，还是容易转向其他答案）。然后，利用这些特征训练一个机器学习模型，从而得到一个关于 LLM 不确定性的启发式度量。

实验结果表明，diversion decoding 在检测幻觉方面优于现有方法，同时显著降低了计算复杂度。这使得它成为一种高效且鲁棒的 LLM 幻觉检测方案。

关键要点

• 创新方法：diversion decoding 通过在解码阶段主动挑战 LLM 的当前输出，而非被动分析概率分布，来提取不确定性信号。
• 特征提取：从 diversion 过程中提取模型对替代答案的抵抗特征，这些特征作为训练机器学习模型的输入。
• 低计算复杂度：相比传统基于概率或多次采样的方法，diversion decoding 的计算开销显著降低，更适合实际部署。
• 性能提升：实验表明，该方法在幻觉检测任务上优于现有基线方法，实现了更准确的不确定性评估。
• 通用性：该方法不依赖于特定 LLM 架构，可应用于多种主流模型。

意义与影响

该研究为 LLM 幻觉检测提供了一条新路径。传统方法（如基于熵的度量、多次采样或 logit 分析）通常计算昂贵且难以实时应用，而 diversion decoding 通过主动干扰解码过程，以更低的成本获得了更可靠的 uncertainty 信号。这有助于提升 LLM 在关键任务（如事实问答、医疗咨询、法律分析）中的可信度，也降低了部署幻觉检测模块的门槛。此外，该工作将不确定性估计转化为一个可训练的机器学习问题，为后续研究提供了新的思路——即通过设计对抗性解码策略来揭示模型内部的不确定性状态。