Post-Training Shifts Confidence: A Three-Stage Analysis of How SFT, RL, and OPD Shape Pre-, Intra-, and Post-CoT Calibration

背景

当前，大型语言模型（LLMs）的推理能力主要依赖于后训练阶段（post-training）的三大技术：监督微调（SFT）、强化学习（RL）以及在线策略蒸馏（On-Policy Distillation, OPD）。这些方法显著提升了模型在数学推理等复杂任务上的准确率，但现有评估几乎完全聚焦于最终答案的正确性，忽略了模型在推理过程中置信度（confidence）的变化。置信度不仅影响模型自身的决策（如是否提前终止推理、如何聚合多个推理路径），还关系到模型的可解释性和安全性。然而，不同后训练方法如何重塑模型的置信度分布，尤其是沿推理链不同阶段的行为差异，尚未得到系统研究。本文首次将后训练方法对置信度的影响分解为推理前（pre-CoT）、推理中（intra-CoT）和推理后（post-CoT）三个阶段，并提出了一个统一的三阶段校准框架，旨在揭示SFT、RL和OPD各自在置信度可靠性上的优劣及其位置依赖性。

核心内容

论文从三个维度刻画后训练方法对置信度的重塑：

1. 三阶段校准框架

   • Pre-CoT置信度：在模型生成推理链（Chain-of-Thought, CoT）之前，模型对问题难度的预判。对应难度估计（difficulty estimation）。
   • Intra-CoT置信度：在生成推理链的过程中，模型对当前局部推理步骤的自信程度。对应早期终止（early termination）——若模型对某个中间推导高度确定，可以提前停止并输出答案。
   • Post-CoT置信度：在完整生成推理链后，模型对最终答案的整体自信度。对应答案聚合（answer aggregation）——在采样多条推理路径时，利用置信度加权融合结果。

2. 受控实验设计
   在数学推理基准上（具体未在摘要中展开，但应包含如GSM8K、MATH等），对同一个基础模型分别进行SFT、RL和OPD训练，然后比较各阶段置信度的校准性（calibration）。关键发现如下：

   • OPD提供最优的Pre-CoT置信度：在线策略蒸馏使得模型在未生成任何推理链前就能准确评估问题难度，其置信度与后续正确率高度相关。
   • SFT提供最强的在线信号用于早期停止：在推理链生成过程中，SFT模型的中间置信度最可靠，能有效判断当前推导是否足以终止。
   • RL产生最可靠的Trace-Level信号用于聚合：在完整推理链生成后，RL模型对最终答案的置信度（基于整条轨迹）与真实正确率的一致性最好，适合作为加权投票的权重。

3. 位置依赖性与反向校准
   置信度的可靠性并非在整个推理链中都均匀一致。论文发现：

   • RL置信度在推理初期（路径承诺阶段之前）信息量不足，但在模型做出关键推导选择（commitment）后，后续置信度变得高度可靠。
   • OPD置信度在推理早期非常有用，但到了推理链的后半段，可能出现反向校准（inverse calibration），即高置信度对应的错误率反而更高。
     这一观察揭示了“位置感知”的必要性：不应盲目使用整个推理链上的置信度。

4. 提出PosConf（Position-Aware Confidence）策略
   基于上述位置依赖性，PosConf仅从可靠相对位置区间提取置信度：

   • 对于RL，在路径承诺阶段之后才使用其置信度进行答案聚合；
   • 对于OPD，在早期阶段（反向校准发生前）利用其置信度进行早期停止。
     实验结果：
   • 在RL答案聚合上，PosConf比多数投票（majority voting）提升6.1个百分点；
   • 在OPD早期停止上，在严格的token预算下，PosConf通过避开后期反向校准区域，获得了最高4.3个百分点的性能提升。
     论文强调：推理模型中的置信度应当阶段性地、位置感知地使用。

关键要点

• 首次将后训练方法（SFT、RL、OPD）对置信度的影响分解为Pre-CoT、Intra-CoT、Post-CoT三个阶段，对应难度估计、早期终止、答案聚合三个应用场景。
• 受控比较表明：OPD最适合预推理难度估计，SFT最适合在线早期停止，RL最适合轨迹级答案聚合。
• 置信度可靠性具有位置依赖性：RL置信度在路径承诺阶段后变可靠，OPD置信度早期可靠但后期可能出现反向校准。
• 提出PosConf（位置感知置信度策略），仅从可靠相对位置区间提取置信度，避免不可靠段落。
• PosConf在RL答案聚合上比多数投票提升6.1个百分点，在OPD早期停止上获得最多4.3个百分点的增益。
• 论文提供了公开代码，便于复现与进一步研究。

意义与影响

本文对后训练时代LLM推理的可信度与效率研究具有重要价值。传统上，后训练方法评估仅关注最终准确率，忽视了模型在推理过程中的不确定性表达。本工作揭示了不同训练范式（模仿学习、强化学习、蒸馏）会塑造截然不同的自信模式，且这些模式随推理位置动态变化。PosConf策略的提出，为实践中更高效地使用置信度（如动态early exit、置信度加权投票）提供了可落地的方案：不仅节省推理计算资源，还能提升聚合精度。此外，位置依赖性的发现提醒研究者，在部署推理模型时应避免盲目信任整个推理链的置信度，而应考虑阶段特异性。该工作也为未来设计更好的后训练目标函数（如主动调控置信度位置分布）提供了理论依据和实证基础。结合可复现的代码，该成果有望推动LLM在数学推理、逻辑问答等对可靠性要求高的场景中更安全、更高效地应用。