零强化学习扩至万亿参数涌现推理能力

背景

近年来，无需人工标注数据的可验证奖励强化学习（Verifiable Reward RL）——通常被称为 Zero RL——已成为激发链式思维推理（Chain-of-Thought Reasoning, CoT）的强大范式。然而，受限于计算资源，现有研究多局限于小规模模型，对大规模训练动态和涌现能力尚缺乏探索。为了有意义地拓展这一前沿，研究者尝试从模型中激发出高质量的推理行为，但发现直接进行规模扩展往往面临可读性差、token 冗余以及自适应推理深度不足等问题。为此，该论文提出了一套稳定高效的训练流程，并结合算法与系统优化（如裁剪重要性采样、训练-推理比例修正、混合精度控制），成功将 Zero RL 扩展至万亿参数级别。

核心内容

论文通过 Ring-Zero 训练方法，在包含 1 万亿参数的模型（称为 Ring-2.5-1T-Zero）上验证了 Zero RL 的规模扩展效果。其训练流程引入了以下关键优化：

• 裁剪重要性采样（Clipped Importance Sampling）：稳定策略更新；
• 训练-推理比例修正（Training-Inference Ratio Correction）：平衡训练与推理阶段的分布；
• 混合精度控制（Mixed-Precision Control）：提高计算效率。

实验在七个数学基准上评估了 Ring-2.5-1T-Zero 的最终答案正确性，取得了有竞争力的性能。此外，为评估 CoT 质量（超越最终答案正确性），论文提出了一个结构化评估框架，涵盖三个维度：可理解性（Comprehensibility）、可复现性（Reproducibility） 和 效率（Efficiency）。结果表明，该模型在生成结构清晰、简洁的推理轨迹方面具有明显优势。

论文主要发现验证了规模扩展的“苦涩教训”（bitter lesson of scaling）：

1. 扩展至 1T 参数显著提升了样本效率和性能上限；
2. 训练过程依次经历“初始发现阶段”和“锐化阶段”；
3. 模型自发发展了高级认知行为，包括拟人化（anthropomorphism）、结构化格式（structured formatting）、自我验证（self-verification）、并行推理（parallel reasoning）和上下文焦虑（context anxiety），这使得手工设计的启发式规则变得多余。

关键要点

• 规模扩展效果：将 Zero RL 从以往的小模型成功扩展至 1 万亿参数，样本效率与性能天花板均大幅提升。
• 训练阶段划分：训练过程呈现出清晰的阶段性——先进入“发现阶段”（模型探索推理模式），后进入“锐化阶段”（优化已有模式）。
• 涌现的认知行为：模型自发产生了多种高级行为，包括拟人化表达、结构化输出格式、自我验证步骤、同时探索多条推理路径（并行推理）以及“上下文焦虑”（即对上下文敏感的自适应调整），这些行为以往常需人工编码的启发式规则。
• 评估框架：提出超越正确率的 CoT 质量评估，从可理解性、可复现性和效率三个维度衡量推理轨迹的结构性与简洁性。
• 技术优化贡献：裁剪重要性采样、训练-推理比例修正、混合精度控制等算法与系统优化保证了大规模训练的稳定性与效率。

意义与影响

该项工作首次将 Zero RL 在万亿参数规模下进行系统验证，为大规模强化学习推理提供了重要的实践证据。其核心意义在于：

• 验证苦涩教训：证明了单纯增加模型规模与数据（结合合适的训练方法）仍能带来性能与行为上的根本性提升，手工设计不再是最优路线。
• 揭示涌现属性：高级认知行为（如自我验证、并行推理）的自然涌现说明，大规模 Zero RL 训练可能自动发展出比人类启发式更优的推理策略，这为未来人工智能通用推理范式的设计指明了方向。
• 提供评估新视角：提出的三维 CoT 质量框架弥补了仅关注最终答案正确率的缺陷，推动了推理过程透明性与可靠性的评估研究。
• 开源与社区贡献：论文通过分享观察到的涌现现象（如拟人化、上下文焦虑等），希望为社区提供关于万亿规模扩展行为的深层洞察，助力后续研究规避盲目调参，聚焦于规模与算法协同演化的理解。

总之，Ring-Zero 工作为 Scaling Laws 在复杂推理任务上的应用树立了新的里程碑，展示了超越传统监督微调的强化学习路径在超大规模下的潜力。