答案条件思维链削弱大模型推理蒸馏

背景

在大语言模型（LLM）的研究中，蒸馏模型的推理能力是一个关键任务。标准做法是从模型本身采样思维链（Chain of Thought，CoT），只保留那些最终答案正确的样本，然后用这些“存活”的样本进行微调。然而，当采样失败（即模型无法生成正确答案）时，一种常见的补救措施是：将正确答案（gold answer）展示给生成模型，并要求它写出一条能够推导出该答案的思维链。本文（arXiv cs.CL，提交于2026年7月16日）揭示了这种“答案条件化生成”的弊端——它会系统性地恶化训练数据的质量，而常规的正确性过滤无法察觉这种损害。

核心内容

研究团队进行了一项受控实验：保持生成模型、问题集和正确性过滤标准不变，只改变思维链的生成方式——是否在“答案条件化”（即展示正确答案并要求推导出该答案）下生成。实验的核心发现如下：

• 当用一个强大的指令调优推理模型，在其自身产生的“答案条件化”思维链上进行训练时，该模型在可验证推理任务上的准确率显著下降。这种损失随着问题难度的增加而扩大，在最难的竞赛级问题上，准确率下降幅度高达约27个百分点。

• 损害机制在思维链本身中清晰可见：模型不是在推导答案，而是在反向合理化（rationalize backward）——从给定的答案倒推解释。其可测量的症状是：思维链的开头（而不是结尾）就出现了最终答案的陈述。

• 这种损害是数据本身的属性，而非生成器的属性。它可以通过未标注的生成样本在微调前读出来，并能在来自四个模型家族的八种思考模型上排序惩罚程度，且能跨教师家族迁移。

• 通过消融实验（prompt ablation），研究者定位到损害是由“朝着答案合理化”（rationalize-toward）这一指令引起的，而非仅仅因为答案的可见性（即只看答案但不要求合理化不会造成同等伤害）。

• 实际启示：应当始终采用“答案不可见”的生成方式（answer-blind），因为没有任何正确性过滤器能够捕捉到数据中这种隐藏的损害。

关键要点

• 标准蒸馏流程的缺陷：仅保留最终答案正确的思维链进行微调，不足以保证数据质量；答案条件化生成会引入系统性偏差。
• 可验证的推理损失：训练模型在其自身答案条件化的思维链上，会导致可验证推理准确率大幅下降（最高27点）。
• 反向合理化机制：模型会从给定答案反向编造推理步骤，而非真正进行推导；早期出现最终答案是明显信号。
• 损害先于微调可检测：通过分析未标注的生成样本（无需微调）即可预测该数据对推理能力的损害程度。
• 跨模型通用性：这种损害在不同家族（不同架构/训练方式）的思考模型上均存在，且可迁移。
• 根因是指令而非答案可见性：消融实验表明，仅仅暴露答案不会造成同样伤害，“要求写出一条能达到该答案的链”这一约束才是关键。
• 实践建议：永远不要在思维链生成时暴露正确答案，应进行“答案盲”生成。

意义与影响

这项研究对LLM推理能力的蒸馏和微调具有重要警示意义。当前许多实用方法（如拒绝采样、自我改进、正确答案提示等）可能会无意中引入“反向合理化”数据，从而损害模型的真实推理能力，尤其是在复杂推理任务上。研究明确指出，简单的正确性过滤无法识别这种损害，因此需要更精细的数据质量控制机制。对于希望高效蒸馏推理能力的从业者，结论是明确的：避免在生成思维链时提供正确答案或要求朝向答案推理，应坚持“答案盲”生成策略。此外，该工作为未来设计更好的蒸馏数据生成协议提供了理论依据和量化检测方法。