GFlowRL: Scaling Distribution-Matching RL to Large Language Models
AI 深度解读
背景
大型推理模型（如数学、代码领域的模型）的后训练阶段，通常依赖于强化学习（RL）来优化推理路径。传统 RL 方法采用奖励最大化策略，但容易导致模式坍塌——模型倾向于重复少数高奖励的推理路径，缺乏多样性。Generative Flow Networks（GFlowNets）作为一类替代方案，通过匹配奖励分布而非最大化奖励来鼓励多样化的推理路径。GFlowNet 风格的 RL 已在数学和代码任务上展现出潜力，但当模型规模、rollout 长度、奖励噪声以及分布式系统复杂度同步增长时，将其扩展到现代后训练流程面临严峻挑战：一个学习到的 prompt 条件分区函数（learned partition function）会带来梯度不稳定和工程开销，而非起到有效的归一化作用。
核心内容
本文提出 GFlowRL，一种精简的 GFlowNet 风格 RL 算法，核心创新是移除以往被视为关键的学习分区网络，转而借助训练中已有的 rollout 分组，通过 in-batch Monte Carlo 估计来近似分区函数。该估计直接利用 rollout 组内样本计算，完全避免了额外网络的学习与维护。
为确保在移除分区网络后仍能稳定保持奖励分布匹配目标，GFlowRL 引入两个稳定器：
- 重要性采样校正（importance-sampling correction）：用于缓解 rollout 分布与训练器分布之间的漂移（rollout/trainer drift），确保梯度估计无偏。
- 非对称流间隙裁剪（asymmetric flow-gap clipping）：对异常残差（outlier residuals）进行裁剪，防止极端值破坏训练稳定性。
在实验评估中，GFlowRL 在数学、代码以及 adversarial red-teaming 基准测试上全面超越现有方法。在 14B 规模下，模型在 Codeforces 上的 Elo 评分达到 2048（与 o3-mini 差距在 25 Elo 以内）；在 AdvBench 和 HarmBench 上取得了最高的平均 ASR@1（攻击成功率第一位），超越了此前 SOTA 的多轮攻击方法。而在同等条件下，先前 GFlowNet 风格方法 FlowRL 出现发散。
该算法进一步被验证可迁移至所有评估的 MoE（混合专家）配置，最高达 235B 参数规模。在此规模下，FlowRL 再次无法收敛。据作者所知，GFlowRL 是首个能在密集和稀疏架构上稳定扩展的 GFlowNet 风格 RL 算法。代码即将开源。
关键要点
- 移除学习分区网络：用 in-batch Monte Carlo 估计替代，大幅降低梯度不稳定和系统复杂度。
- 两个稳定器：重要性采样校正与非对称流间隙裁剪，共同保障分布匹配目标的稳定优化。
- 全面超越基线：在数学、代码和 adversarial red-teaming 任务上均优于现有方法，包括 FlowRL 和 SOTA 多轮攻击。
- 规模可扩展性：成功应用于 14B 密集模型及最高 235B 的 MoE 稀疏模型，而 FlowRL 在同等规模下发散。
- Codeforces 表现：14B 模型获得 2048 Elo 评分，仅比 o3-mini 低约 25 分，接近前沿推理能力。
- 安全性领先：在 AdvBench 和 HarmBench 上获得最高平均 ASR@1，证明生成多样有害路径的能力优于之前的方法。
意义与影响
GFlowRL 的提出为大规模语言模型的后训练提供了一种新的帕累托改进：它不仅保持了 GFlowNet 风格 RL 在多样性上的优势，还通过消除学习分区网络解决了阻碍其规模化应用的稳定性问题。这意味着，在强化学习驱动的推理模型训练中，分布匹配目标可以像传统奖励最大化方法一样被可靠地扩展到百亿甚至千亿参数级别，同时获得更丰富的推理路径。
从工程角度看，in-batch Monte Carlo 估计和轻量稳定器的设计降低了实现复杂度，使得 GFlowNet 方法更易集成到现有 RL 训练框架中。从应用角度看，其在红队测试上的优异表现提示该技术可用于生成覆盖更广攻击面的对抗样本，从而提升模型安全性评估的完备性。此外，跨架构（密集和 MoE）的稳定扩展表明该方法具有通用性，可能适用于未来更复杂的模型结构。
该工作也间接引发了一个问题：在学习分区函数被移除后，GFlowNet 的理论基础是否需要重新审视？本文通过实证证明了替代方案的可行性，但理论上的等价性以及最佳稳定器配置仍有待深入探索。总体而言，GFlowRL 为分布匹配 RL 在大语言模型后训练中的实际部署铺平了道路。