Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding

背景

近年来，大语言模型（LLM）的发展主要沿着两条技术路线演进：自回归（Autoregressive, AR）模型和扩散（Diffusion）模型。自回归模型（如 GPT、Llama 系列）通过逐 token 从左到右生成，在文本质量上占据优势，但推理时因串行依赖而吞吐受限。扩散模型（如 MDLM、SSD-LM）则通过迭代去噪实现并行生成，在推理速度上具有潜力，但通常难以匹配 AR 模型的语言连贯性。此外，为提高推理效率，推测解码（Speculative Decoding）方法被提出，利用一个草稿模型快速生成候选 token，再由目标模型验证。然而，这些方法通常需要独立训练两个模型，或依赖多 token 预测（MTP）等辅助任务，存在架构复杂、兼容性差的问题。

2026 年 7 月，一篇来自 arXiv cs.CL 的论文《Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding》提出了一种全新的三模式语言模型 Nemotron-Labs-Diffusion，将自回归生成、扩散生成以及自我推测解码（self-speculation decoding）统一在一个架构内。该模型通过联合训练一个 AR-diffusion 目标，能够根据部署场景和并发需求灵活切换模式，在保持高吞吐量的同时实现与最先进模型相当甚至更优的准确性。

核心内容

Nemotron-Labs-Diffusion 是一种三模式语言模型（tri-mode LM），其核心设计是使用单一的 Transformer 架构，同时支持三种生成模式：

1. 自回归模式（AR mode）：以标准的从左到右逐 token 方式生成文本，利用左侧上下文预测下一个 token。
2. 扩散模式（Diffusion mode）：从随机噪声开始，通过迭代去噪过程并行生成整个序列，适用于需要高吞吐量的场景。
3. 自我推测模式（Self-Speculation mode）：模型自身同时扮演草稿模型和验证模型。在此模式下，扩散模式作为草稿器快速生成候选 token，自回归模式作为验证器对候选进行逐 token 校验，从而在无需额外模型的情况下实现推测解码加速。

模型通过联合训练一个 AR-diffusion 损失函数来学习两种生成能力。训练时，对于每个输入序列，模型同时优化自回归的 next-token prediction 损失和扩散的 denoising 损失，使得参数能够同时适应两种条件分布。切换模式时，仅需改变推理时的采样策略和输入输出方式，无需修改模型权重。

论文通过一系列实验揭示了三个关键发现：

• AR 与扩散互补：扩散模式擅长全局规划（lookahead planning），能够提前组织长程语义结构；而自回归模式提供了从左到右的语言先验，确保局部流畅性。两者结合后，在多个基准上均优于单独使用任一模式。
• 自我推测的优势：在自我推测模式下，扩散草稿 + AR 验证的组合，在 token 接受率（acceptance rate）和实际设备效率上均优于多 token 预测（MTP）方法。MTP 需要模型预测多个未来 token，但常因分布偏移导致接受率下降；而扩散草稿能生成更自然的候选，AR 验证则能保证质量。
• 扩散的长期潜力：通过“光速分析”（speed-of-light analysis），论文评估了扩散模型在理想采样器下的理论极限。结果显示，在最优采样器下，扩散模式每前向传播（forward pass）可生成的 token 数量比自我推测模式多 76.5%。这表明扩散模式在吞吐量上的天花板远高于当前实践。

论文将 Nemotron-Labs-Diffusion 扩展到 3B、8B 和 14B 三种参数规模，并发布了基础模型（base）、指令微调模型（instruct）以及视觉语言模型（vision-language）。在多项基准测试中，Nemotron-Labs-Diffusion 系列在准确性和速度上均持续优于最先进的开源自回归模型和扩散语言模型。例如，Nemotron-Labs-Diffusion-8B 每前向传播的 token 数量是 Qwen3-8B 的 6 倍，同时在相似准确率下，在 GB200 GPU 上通过 SGLang 推理框架运行的 SPEED-Bench 测试中，吞吐量高出 4 倍。

关键要点

• 统一架构，三模式切换：Nemotron-Labs-Diffusion 是首个将 AR、扩散和自我推测解码统一在单一模型中的语言模型，通过联合训练实现了模式间的无缝切换，无需额外模型或适配层。
• AR 与扩散互补增益：实验表明，扩散的全局规划能力与 AR 的局部语言先验相互补充，联合训练后模型在多个任务上性能优于单独训练的 AR 或扩散模型。
• 自我推测优于多 token 预测：在推测解码中，使用扩散模型作为草稿器、AR 模型作为验证器，相比 MTP 方法在 token 接受率和实际设备效率上均有显著提升，且无需额外训练辅助头。
• 扩散的吞吐量上限极高：在理想采样器下，扩散模式每前向传播可生成比自我推测模式多 76.5% 的 token，说明扩散在吞吐量优化上仍有巨大潜力。
• 多规模与多模态覆盖：模型已训练 3B、8B、14B 三个规模，并支持基础、指令和视觉语言三种用途，表明该架构具有良好的可扩展性和通用性。
• 实际部署优势明显：在 GB200 GPU 上，Nemotron-Labs-Diffusion-8B 相比同量级 Qwen3-8B，吞吐量提升 4 倍，同时准确率相当，展现了在推理效率上的实质进步。

意义与影响

Nemotron-Labs-Diffusion 的提出对语言模型领域具有多方面的意义：

1. 范式融合：它打破了自回归和扩散生成之间的壁垒，证明两者可以在同一模型中协同工作。这为未来语言模型的设计提供了新思路——不再需要二选一，而是根据场景动态选择最优模式，兼顾质量与效率