阿里清华论文揭示扩散大模型推理陷阱获ICML杰出论文

背景

近年来，扩散模型在图像生成领域取得巨大成功，研究者开始将其迁移到语言建模中，形成了扩散大语言模型（dLLM）这一新兴方向。与主流自回归LLM（如GPT、Qwen）从左到右逐个生成token的方式不同，dLLM允许在生成文本时任意选择token的顺序，理论上拥有更大的生成解空间。Google的Gemini Diffusion、中国人民大学的LLaDA等都是这一方向的代表性工作。然而，这种任意顺序生成是否真的能带来性能提升，尤其在推理任务上，一直缺乏系统性验证。

2026年7月，阿里巴巴与清华大学合作的论文《The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models》（灵活性陷阱：重新审视扩散语言模型中任意顺序生成的价值）入选AI顶会ICML的杰出论文（Outstanding Paper）。ICML杰出论文是该会议最高荣誉，通常每年仅授予2-3篇，获奖率仅占接受论文的千分之一。该论文首次对dLLM的任意顺序生成能力提出系统性质疑，并给出了简洁有效的解决方案。

核心内容

论文的核心发现是：在解决数学、编程等通用推理任务时，任意顺序生成非但不能提升模型能力，反而会成为陷阱。研究中观察到，文本中存在不确定性高的关键逻辑节点（如“因此”“所以”），这些节点类似于推理路径上的分叉口。若采用从左向右的自回归顺序，模型必须在这些分叉口当场作出选择，生成下一个token，无法跳过。而采用任意选择生成顺序时，模型会倾向于绕过这些难点，优先处理容易的部分。等回头再填充这些关键节点时，前后文已经确立，原本的推理分叉口变成了填空题——答案被上下文锁定，模型失去了真正的选择权。

研究者将这一现象命名为“熵退化”（Entropy Degradation），即模型在自由选择顺序的过程中，实际上提前消解了推理所需的决策空间。实证数据有力支撑了这一结论：在HumanEval代码生成任务上，从左往右顺序能解出、而任意顺序解不出的题目占21.3%，反向（任意顺序能解出、从左往右解不出）仅0.6%。且顺序的自由度越大，推理性能越差。

基于这一发现，团队提出了一个极简解决方案——JustGRPO。核心思想是：在强化学习训练阶段放弃任意顺序，强制模型从左到右生成，直接使用标准的GRPO（Group Relative Policy Optimization）算法即可。GRPO是一种主流强化学习算法，让模型对同一道题生成多组答案，通过组内优劣对比来优化策略。此前，为dLLM设计强化学习算法面临一系列工程难题，例如生成顺序不固定导致无法准确归因每个token的贡献，各团队不得不引入各种复杂手段。JustGRPO则是一种“大道至简”的方法：既然从左到右顺序天然更优，为什么不直接用它训练？

训练完成后，模型推理速度不受影响，推理效果大幅提高。在GSM8K（业界衡量大模型推理能力的标准测试集，包含约8500道多步推理小学数学应用题）上，JustGRPO达到89.1%准确率，全面超越d1、ESPO、SPG、GDPO等所有为扩散模型专门设计的复杂强化学习算法。论文还提供了完整的实验设置和消融分析，证明JustGRPO在不同模型规模和任务类型上的有效性。论文下载地址：https://arxiv.org/abs/2601.15165

关键要点

• 扩散语言模型（dLLM）的任意顺序生成在推理任务中会陷入“灵活性陷阱”：模型倾向于绕过关键逻辑节点，导致推理路径被提前锁死，实际选择权被消解。
• 研究者将这一现象称为“熵退化”，并通过HumanEval任务证明：从左往右顺序相对任意顺序的优势比例高达21.3%，而反向优势仅0.6%。
• 任意顺序的自由度越大，推理性能越差，说明顺序本身对推理质量有决定性影响。
• 提出的解决方案JustGRPO极为简洁：放弃任意顺序，强制模型在强化学习训练阶段采用从左到右生成，直接使用标准GRPO算法。
• JustGRPO无需任何针对扩散模型的复杂改造，训练后推理速度不变，推理性能显著提升。在GSM8K上达到89.1%准确率，超越所有现有的扩散模型专属强化学习算法。
• 该工作首次质疑了dLLM“任意顺序生成必然更好”的普遍假设，为后续扩散语言模型研究提供了重要的理论校正和实用指导。

意义与影响

这项研究对扩散大语言模型领域具有里程碑式的意义。首先，它打破了dLLM领域一个未经检验的“常识”——即任意顺序生成是扩散模型的天然优势。通过严谨的实验和理论分析，论文揭示了这一优势在推理任务中可能转化为劣势，促使学界重新思考dLLM的设计哲学。

其次，JustGRPO的“大道至简”思路极具实践价值。在众多团队为dLLM设计复杂强化学习算法时，该工作指出简单地回归自回归顺序就能取得更好效果，大幅降低了dLLM在推理任务上的工程门槛。这可能会引导业界重新审视dLLM与自回归LLM的关系：在推理场景下，自回归顺序的“决策即时性”恰恰是优势，而扩散模型的自由度反而成为负担。

最后，作为ICML杰出论文，该工作获得了顶级学术社区的认可，其核心发现有望推动dLLM在推理密集型应用（如代码生成、数学解题、逻辑推理）上的技术路线调整。未来，研究者可能需要针对不同任务类型设计混合顺序策略，或者探索如何在保留扩散模型其他优势（如并行生成、可控性）的同时规避顺序陷阱。该论文为这一方向的后续研究奠定了重要基础。