强化学习后训练让模型学会组合推理策略

背景

大语言模型（LLM）的后训练阶段（post-training）被广泛用于提升推理能力，尤其是强化学习（RL）方法在数学、代码等复杂推理任务上表现出色。但一个核心问题始终存在：RL 后训练仅仅是将基础模型中已经存在的原始技能（primitive skills）放大，还是能够真正将这些原始技能组合成全新的、更高级的推理策略？这个问题直接关系到 RL 后训练的本质——是“激活”已有能力，还是“创造”新能力。

为了回答这个问题，该论文设计了一个完全可观测的、受控的实验环境：一个重写语法（rewrite-grammar）环境，其中预训练分布已知，且每次生成的符号重写（rewrite）都可以被审计。这使得研究者能够精确追踪模型内部推理步骤的变化，而无需依赖黑箱分析。

核心内容

实验设置

研究者使用一个 Transformer 模型，首先在原始符号重写链（primitive symbol-rewrite chains）上进行预训练，使其掌握基本的归约（reduction）操作。然后，在后训练阶段，模型被置于一个基于 Trace 的推理任务（Trace-based reasoning task）中，该任务仅提供二元最终答案奖励（binary final-answer reward），即只判断最终输出是否正确，不提供中间步骤的监督信号。

主要发现

1. RL 解决新问题，拒绝微调（RFT）早期改善但停滞
   RL 后训练能够成功解决那些即使在预训练模型上使用更大采样预算也难以解决的待解决问题（hold-out problems）。相比之下，拒绝微调（rejection fine-tuning, RFT）虽然能在早期提升性能，但很快陷入平台期，无法继续进步。

2. Trace 分析揭示组合机制
   通过分析模型生成的符号重写轨迹（Trace），研究者发现 RL 通过一个分阶段的组合机制（phased compositional mechanism）来重组原始能力：

   • 第一阶段：强化原始归约操作（primitive reductions），使模型更可靠地执行基础步骤。
   • 第二阶段：发现并执行有效的组合过程（composed procedures），包括：
     • 顺序组合（sequential composition）：将有序的多个原始归约链压缩为一步完成。
     • 并行组合（parallel composition）：将独立的原始归约合并到同一步骤中执行。

3. 组合过程被重用并固化
   这些组合过程并非孤立的样本，而是被模型反复使用，并逐渐固化为一个稳定的策略库（repertoire）。模型学会在遇到新问题时从中调用合适的组合策略。

4. RL 与 RFT 的关键差异：选择性而非探索量
   对比 RL 和 RFT 的轨迹发现，两者在探索量上差异不大，但选择性截然不同：RFT 产生了大量类似捷径（shortcut-like）的重写，其中许多是无效的；而 RL 则将探索集中在有效的、可重用的结构上。这意味着 RL 的成功不仅在于生成更多样本，更在于能够筛选和巩固那些有意义的推理步骤。

5. 预训练的重要作用：组织原始能力为可压缩的程序
   通过预训练消融实验，研究者发现，组合策略的出现并非仅仅依赖于原始暴露（primitive exposure）——即模型是否见过足够多的原始操作。更关键的是，预训练阶段是否将原始能力组织成一种“归约程序”（reduction procedures）的形式，使得 RL 后续能够将其压缩（compress）为更高层的策略。如果预训练只是随机排列原始操作，而缺乏这种程序化结构，即使暴露量足够，RL 也无法形成有效的组合策略。基础模型提供了“弱程序成分”（weak procedural ingredients），而 RL 则将这些成分构建为可靠的高层策略。

关键要点

• RL 后训练能创造新策略：RL 并非仅仅放大原始技能，而是能组合原始技能形成新的、更高级的组合策略（顺序组合和并行组合）。
• 组合策略是分阶段涌现的：先强化原始归约，再发现组合过程，最后固化为可重用的策略库。
• RL 与拒绝微调（RFT）的本质区别在于选择性：RFT 产生大量无效的捷径式重写，而 RL 探索更集中在有效结构上，使模型能识别和巩固有用步骤。
• 预训练的结构组织至关重要：仅靠原始操作暴露不足以保证组合策略的出现，预训练必须将原始能力组织成可压缩的归约程序，RL 才能在此基础上进行高层抽象。
• 基础模型提供弱程序成分，RL 负责构建可靠策略：基础模型已经蕴含了部分推理过程，但需要 RL 后训练来将其整合为稳定、可复用的高级策略。

意义与影响

该研究为理解 RL 后训练在推理能力提升中的角色提供了关键实验证据。它表明，RL 不仅仅是“微调”或“放大”已有能力，而是能够真正实现组合创新——将简单操作组装成复杂的推理策略。这一发现对当前大语言模型后训练策略的设计具有指导意义：

• 强化学习（尤其是基于奖励信号的方法）比单纯基于拒绝采样的微调更有可能培养出结构化的推理能力，因为 RL 能够通过选择性探索和巩固来构建可重用的策略模块。
• 预训练阶段的设计不应只关注原始技能的覆盖，更应注重技能的组织形式，使其具备可组合性。这暗示了预训练目标（如预测下一个 token）可能隐式地组织知识，但针对组合推理的预训练数据设计值得进一步优化。
• 该研究的可审计环境（每步重写都可追踪）为未来研究提供了一个方法论