极简方案刷新扩散模型推理纪录，阿里清华论文入选ICML杰出论文

背景

近年来，扩散模型（Diffusion Models）在图像生成领域取得了巨大成功，研究者们开始将其引入自然语言处理，催生了扩散大语言模型（dLLM）这一新兴方向。与主流自回归大语言模型（如 GPT、Qwen）从左到右逐 token 生成文本不同，dLLM 允许模型在生成过程中任意选择 token 的顺序，理论上拥有更大的生成解空间，被认为有可能突破自回归模型的固有局限。Google 的 Gemini Diffusion、中国人民大学的 LLaDA 等均属于这一方向，学术界的关注度在近一两年迅速攀升。

然而，这种任意顺序生成机制是否真能提升模型在通用推理任务（如数学、代码）上的表现，仍是一个开放问题。阿里巴巴与清华大学合作的论文《The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models》首次对这一问题提出了系统性质疑，并给出了极简的解决方案。该论文入选了国际机器学习大会 ICML 2026 的杰出论文（Outstanding Paper），获奖率仅为接受论文的千分之一。

核心内容

该论文的核心发现可概括为：在解决数学推理、代码生成等通用推理任务时，dLLM 的任意顺序生成非但不能带来性能提升，反而会陷入“灵活性陷阱”——模型倾向于绕过不确定性高的关键逻辑节点（如“因此”、“所以”），优先处理容易的部分。这些关键节点相当于推理路径中的分叉口，当模型回头再填充时，上下文已被锁定，原本需要主动选择的推理转折变成了被动填空，导致模型从未真正学会在分歧点上做出正确决策。作者将这一现象命名为 “熵退化”。

实证数据充分支持了这一论断。在 HumanEval 代码生成任务中，从左到右的顺序能解出、而任意顺序解不出的题目占比高达 21.3%；反向（任意顺序能解出而自回归顺序不能）仅为 0.6%。并且，顺序的自由度越大（即模型可以更随机地选择生成位置），推理性能越差。

基于上述发现，团队提出了一种极其简洁的解决方案——JustGRPO。其核心思想是在强化学习训练阶段放弃任意顺序，强制模型采用从左到右的自回归顺序进行生成，从而直接使用主流强化学习算法 GRPO（Group Relative Policy Optimization）。GRPO 的工作原理是让模型对同一道题生成多组答案，通过组内优劣对比来优化策略。此前，为 dLLM 设计强化学习算法面临诸多工程难题，例如生成顺序不固定导致无法准确归因每个 token 的贡献，各团队不得不引入各种复杂机制。JustGRPO 则通过回归最自然的顺序，一举解决了这些困难。

实验结果显示，JustGRPO 训练完成后，模型推理速度不受影响，推理效果大幅提升。在 GSM8K（标准多步推理测试集，含约 8500 道小学数学应用题）上达到了 89.1% 的准确率，全面超越了 d1、ESPO、SPG、GDPO 等所有专门为扩散模型设计的复杂强化学习算法。

关键要点

• 现象发现：任意顺序生成在通用推理任务中会导致“熵退化”——模型避开关键逻辑节点，优先处理容易部分，最终推理路径被上下文锁死，丧失主动选择能力。
• 实证证据：HumanEval 上自回归顺序相比任意顺序在解题率上具有 21.3% 的绝对优势；顺序自由度越高，性能越差。
• 极简方案：JustGRPO 放弃任意顺序，强制使用从左到右生成，直接套用标准强化学习算法 GRPO，避免了复杂的顺序归因工程。
• 效果优越：GSM8K 准确率 89.1%，超越所有现有针对扩散模型的强化学习方法。
• 训练与推理解耦：训练阶段采用固定顺序，推理时仍可保持原 dLLM 的任意顺序（但论文建议推理中也使用自回归顺序以获得最佳效果）；训练后推理速度不受影响。
• 获顶会最高荣誉：该论文获 ICML 2026 杰出论文奖，获奖率极低，代表当年最具影响力的研究工作之一。

意义与影响

这篇论文的核心意义在于对 dLLM 领域的“默认假设”进行了关键性纠偏。此前学术界普遍认为，更大的生成自由度必然带来更好的模型能力，而该工作首次从理论和实证层面证明：在推理类任务中，任意顺序生成反而构成一种灵活性陷阱。这一发现不仅解释了为何 dLLM 在语言建模上的表现一直未显著超越自回归模型，也为下一代理模型架构的设计指明了方向——即不应盲目追求“任意顺序”，而应回归任务本质，保留必要的生成约束。

JustGRPO 的提出更是一种“大道至简”的工程实践示范。它表明，当研究者们纷纷为 dLLM 设计复杂且昂贵的强化学习算法时，一个更简单、更直接的方法可能反而更有效。这种“化简为繁”的思维模式，有望推动 dLLM 领域的训练流程标准化和效率提升。

从产业应用角度看，dLLM 若想在大规模推理任务中替代自回归模型，必须首先解决顺序选择的合理性问题。JustGRPO 提供了一条低门槛的迁移路径——只需在训练阶段改变生成顺序，即可获得显著提升。这降低了 dLLM 实际部署的技术难度，有望加速 dLLM 从学术研究走向工业落地。

此外，该论文获得 ICML 杰出论文奖，也从侧面反映了顶会评审团对“质疑主流趋势、回归本质思考”的研究风格的肯定。未来，更多研究者可能会追随这种思路，深入审视生成式模型的各种“默认假设”，从而推动整个领域更加理性、高效地发展。