Mitigating Factual Hallucination in Large Reasoning Models via Mixed-Mode Advantage Regularization

背景

大型语言模型在需要复杂推理的问答任务中，通常通过生成显式思考轨迹（explicit thinking traces）来提升最终答案的准确性。这种“先思考再回答”的模式，即大型推理模型（Large Reasoning Models, LRMs），在事实性问答（factuality-oriented QA）中表现出色，因为它能帮助模型回忆相关知识并优化答案。然而，研究人员发现，这一优势并非在所有样本上一致：显式思考有时反而会推翻正确的“不思考”答案，导致事实偏离——即所谓的“思考诱发幻觉”（thinking-induced hallucination）。这一现象揭示了LRM在事实性任务中的潜在风险，即思考过程可能引入不支持的关联，而非增强事实准确性。

核心内容

本文针对上述问题，提出了一种新的框架——MARGO（Mixed-Mode Advantage Regularization for Grounded Optimization，混合模式优势正则化接地优化）。MARGO是一个强化学习框架，其核心思想是在优势估计（advantage estimation）中，将非思考轨迹（non-thinking rollouts）作为同一模型自身的参考。具体而言，MARGO通过构建混合模式 rollout 组，同时包含思考轨迹（thinking trajectories）和非思考轨迹，从而评估显式思考是否在直接回答之外增加了事实价值。如果思考轨迹在事实性上优于对应的非思考轨迹，则给予正向奖励；如果思考导致事实漂移，则抑制该行为。通过这种方式，MARGO能够抑制容易产生幻觉的思考行为，同时保留有益的思考行为。

在实验部分，作者在多个事实性问答基准测试上进行了评估，结果显示MARGO相比强基线显著提升了事实可靠性。同时，在数学推理基准上的评估表明，MARGO不会损害通用推理能力，即它在提升事实性的同时保持了原有的推理性能。

关键要点

• 思考诱发幻觉：显式思考在事实性问答中可能将正确的“不思考”答案推翻，导致事实漂移，这是LRM中的一种失败模式。
• 公式化解释：将显式思考视为模型直接回答倾向上的“思考残差”，该残差可以恢复缺失的知识，也可能引入不支持的关联。
• MARGO框架：一种基于强化学习的方法，通过混合模式（思考与非思考）的 rollout 组进行优势估计，以判断思考是否增加了事实价值。
• 训练目标：在强化学习中，使用非思考轨迹作为同一模型的基线参考，从而抑制导致幻觉的思考，鼓励有益思考。
• 实验结果：在多个事实性问答基准上，MARGO显著提升了事实可靠性；在数学推理基准上，未损害通用推理能力。

意义与影响

本研究的贡献在于首次系统性地识别并命名了“思考诱发幻觉”这一现象，并提出了一个针对性的解决方案。通过将非思考轨迹作为同模型参考，MARGO巧妙地实现了对思考行为的事实性评估，而不需要外部知识库或额外标注。这一方法不仅提升了LRM在事实性任务上的可靠性，还为后续研究提供了新的思路：如何在不牺牲推理能力的前提下，防止推理过程引入事实错误。此外，MARGO的框架设计具有通用性，未来可扩展至其他需要显式思考的模型或任务。对于AI安全与可信赖性而言，这项工作有助于减少模型在复杂推理场景中的事实幻觉风险，推动大型推理模型在实际应用中的落地。