潜在推理忠实度随训练阶段变化，最终检查点不足

背景

近年来，语言模型中的潜在推理（Latent Reasoning）方法逐渐受到关注。这类方法不通过显式的中间文本步骤（如Chain-of-Thought），而是在模型的连续隐藏状态中完成多步推理，从而有望实现更紧凑、更高效的推理过程。然而，由于这些隐藏状态对用户完全不透明，一个关键问题随之浮现：这些潜在推理步骤是否真的因果性地驱动最终答案？即所谓的忠实性（Faithfulness）问题。先前的工作仅在模型收敛后的最终检查点（final checkpoint）上进行考察，发现了一些不忠实的行为（例如，替换潜在推理步骤后答案不变），但从未探究这些行为在训练过程中是如何逐步形成的（how these behaviors form during training）。为了填补这一空白，本研究沿着训练轨迹（training trajectories）系统地追踪忠实性的演化。

核心内容

该研究来自arXiv cs.CL（计算机科学 > 机器学习），由一佚名团队提交（2026年7月7日）。他们针对不同的潜在推理范式，在训练过程中保存的各个检查点上分析忠实性的变化。具体方法包括：

• 输入层面的反事实编辑（Counterfactual edit on the input）：对输入施加可验证的因果改动，观察最终答案是否随之改变，以此衡量输出层面的忠实性。
• 激活层面的噪声消融修补（Noise-ablation activation patch on the latent reasoning steps）：在潜在推理步骤的激活值上注入噪声进行消融，然后测量该操作对最终答案的影响，从而量化每一步的因果贡献。

通过上述方法，研究者在训练的不同阶段（多个检查点）对两种典型潜在推理范式进行了对比分析，得出三个主要发现：

1. 输出层面：在收敛状态下，不同的潜在推理方法在反事实编辑下表现出相似的“不忠实”外观（即输出看起来都不太受输入变动的影响），但它们的演化轨迹在性质上截然不同。即，虽然最终表现类似，但一路走来的变化模式（qualitatively divergent trajectories）完全不同。
2. 激活层面：对于两种范式，潜在推理步骤对最终答案的因果贡献均随训练而衰减（decays across training）。值得注意的是，那些在输出层面“翻转”（即反事实编辑导致答案改变）的例子，正是那些因果贡献衰减最明显的例子——说明输出行为与内部因果贡献紧密关联。
3. 激活层面的轨迹因答案格式而异：对于二元选择（binary choice，例如是非题），因果贡献随训练递减；而对于开放式解码（open-ended decoding，如自由生成），因果贡献反而上升。这揭示出忠实性的演化不仅依赖训练阶段，还依赖于答案的输出格式。

这些发现突出表明：潜在推理的忠实性高度依赖于训练阶段和答案格式，仅凭最终检查点的评估无法揭示其全貌。

关键要点

• 忠实性不能仅由收敛检查点判定：不同的潜在推理方法在最终收敛时可能表现相似的不忠实，但其演化路径截然不同，说明最终结果可能掩盖训练过程中的重要差异。
• 潜在推理步骤的因果贡献随训练整体衰减：无论是哪种范式，训练越久，潜在推理步骤对答案的因果驱动力越弱，系统更倾向于依赖其他隐式路径（如捷径或捷径特征）。
• 输出层面翻转与激活层面衰减高度对应：那些对输入反事实编辑敏感（发生翻转）的例子，恰好也是因果贡献下降最剧烈的例子，说明内部因果关系的丢失直接反映在输出行为上。
• 答案格式调节忠实性演化方向：二元选择任务中因果贡献不断下降，而开放式解码任务中反而上升——这意味着模型在面对不同输出约束时，会采用不同的推理策略，导致忠实性动态不一致。
• 训练阶段和答案格式是评估忠实性时不可忽视的两个维度：任何关于潜在推理忠实性的结论，都必须注明是在哪个训练阶段和哪种输出格式下获得的。

意义与影响

该研究对潜在推理领域具有重要的方法论和理论意义：

• 方法论革新：首次将忠实性分析从静态的最终检查点扩展到时序动态，提出了沿训练轨迹追踪因果贡献的新范式。这为未来模型可解释性工作提供了更全面的评估框架——不仅看模型学会了什么，还看它是怎么学（或怎么丢失）忠实性的。
• 实践启示：对于部署潜在推理模型的工程师而言，盲目选择收敛后的检查点可能忽略内部忠实性问题。本研究建议根据具体任务（二元选择 vs. 开放式生成）选择最适合的截断点，并持续监控训练过程中的因果贡献变化。
• 理论挑战：因果贡献随训练衰减的现象暗示，模型的训练目标（如交叉熵损失）本身可能并不激励内部推理步骤的因果性——模型更倾向于学习统计捷径。这要求未来设计新的损失函数或正则化项来维护或增强潜在推理的忠实性。
• 研究边界：该发现强调忠实性不是模型的固有属性，而是训练状态与推理格式的函数。因此，所有比较不同潜在推理方法的实验都应在多个检查点和多种输出格式下进行，否则结论可能产生误导。

总之，本文提醒我们：只看最终结果，会错失训练过程中大量关于模型“如何思考”的关键信息。潜在推理的忠实性是一个动态演化的量，需要被更细致地量化和理解。