DeLS-Spec：解耦长短上下文并行推测草稿

背景

大语言模型（LLM）推理中的一个关键瓶颈是自回归生成的低效性——一次只能生成一个 token，使得长序列生成延迟较高。投机解码（Speculative Decoding）通过先由轻量级草稿模型并行预测多个 token，再由目标模型一次性验证这些 token 的正确性，从而加速推理。早期方法如 DFlash 采用块并行草稿（block-parallel drafting）策略，一次性预测整个 token 块，显著提升了草稿效率。然而，DFlash 的预测是位置独立的（position-wise predictions），缺乏块内 token 之间的显式因果依赖关系（intra-block causal conditioning）。后续方法如 Domino 和 DSpark 尝试在块并行草稿中引入这种因果依赖性，但它们需要从头训练草稿模型，这不仅增加了训练成本，也牺牲了灵活性——无法直接利用已训练好的草稿模型，也不便于在推理时进行模块化调整。针对这些不足，本文提出 DeLS-Spec：一种解耦长短上下文的投机解码方法，通过引入一个轻量级局部头（local head）作为短上下文专家，与已有的 DFlash 长上下文专家协同工作，实现低成本、高灵活性的并行草稿。

核心内容

DeLS-Spec 的核心思想是将投机解码中的草稿过程解耦为两个互补的专家：

1. 长上下文专家：直接采用现成的 DFlash 模型（不做修改）。DFlash 本身是一个块并行草稿模型，它利用较长的上下文（例如整个提示或之前生成的序列）来预测一个 token 块中每个位置的分布。由于其位置独立预测的特性，DFlash 能够快速生成一个粗略的候选块。

2. 短上下文专家：引入一个轻量级的局部头（local head），它是一个小型神经网络模块，专门利用局部上下文（即当前位置之前最近的一些 token）来预测下一个 token。该局部头的设计目标是捕捉块内的因果依赖关系——即每个 token 的生成应该依赖于块内先前 token 的信息，而不仅仅是全局上下文。

关键创新点在于训练与推理的分离：

• 训练：局部头可以独立地使用标准的 next-token prediction 目标（标准语言模型训练）进行训练，不需要与目标模型或 DFlash 主干网络联合训练。训练数据可以是任意文本，无需针对特定目标模型或 DFlash 检查点。这使得训练成本极低，并且训练好的局部头可以跨不同 DFlash 版本复用。

• 推理：在生成时，DeLS-Spec 将两个专家的 logits（即概率分布的对数）进行组合：先由 DFlash（长上下文专家）生成块中每个位置的粗粒度 logits，再由局部头（短上下文专家）根据局部 token 序列输出细粒度的 logits。两者通过加权融合（文中提及“combines long-context and short-context logits”，具体融合方式可参考原论文）得到最终的草稿 token 分布，用于采样候选块。随后目标模型对该块进行并行验证。由于局部头与特定 DFlash 检查点解耦，整个框架具有高度的模块化性和灵活性——可以随时更换 DFlash 版本而不需要重新训练局部头。

实验在 Qwen3 系列模型上进行，评估了数学、代码和对话三种类型的基准测试。结果一致表明，与基准方法 DFlash 相比，DeLS-Spec 在加速比（speedup）和平均接受长度（average acceptance length）上均有显著提升。具体来说，DeLS-Spec 通过引入短上下文因果依赖，使得草稿的准确率更高，从而在并行验证时接受更多的 token，进一步减少了目标模型的调用次数。

关键要点

• 问题导向：块并行草稿模型 DFlash 缺乏块内因果依赖，导致草稿质量受限；Domino/DSpark 通过训练专门草稿模型引入因果性但代价高。
• 解耦策略：将草稿任务分解为长上下文专家（DFlash）和短上下文专家（局部头），两者独立工作，互补优劣。
• 低成本训练：局部头仅需 standard next-token prediction 训练，无需联合训练目标模型或 DFlash 主干，极大降低训练开销。
• 模块化与灵活性：局部头与 DFlash 检查点解耦，推理时可灵活替换或组合不同的 DFlash 版本，无需重新训练。
• 推理融合：在推理阶段组合长、短上下文 logits，生成更精准的候选 token 块，提高验证通过率。
• 实验验证：在 Qwen3 模型的数学、代码、对话任务上，DeLS-Spec 在加速比和平均接受长度上一致优于 DFlash。
• 无需修改目标模型：DeLS-Spec 完全在草稿侧进行改进，目标模型保持不变，兼容现有投机解码验证流程。

意义与影响

DeLS-Spec 为投机解码中的并行草稿提供了一种高效且灵活的改进路径。其意义体现在以下几个方面：

1. 降低训练门槛：通过解耦长短上下文，用户无需像 Domino/DSpark 那样训练一个完整的草稿模型，只需训练一个轻量级局部头（参数量小、训练成本低），即可显著提升 DFlash 的草稿质量。这使得更多研究者和工程团队能够轻松地将该方法集成到现有推理系统中。

2. 增强模块化设计：局部头与 DFlash 解耦的特性，使得整个草稿系统具备“即插即用”能力——可独立升级 DFlash 版本，或针对不同任务训练专门的局部头，而不影响其他组件。这种模块化设计有助于在实践中快速迭代和部署。

3. 推动投机解码的实用化：投机解码虽然理论上能加速，但实际应用中对草稿模型的训练和维护是主要障碍。DeLS-Spec 提供了一种“增量改进”的思路，利用现有 pretrained 草稿模型（如 DFlash）作为基础，通过轻量级补丁（局部头）解决其关键缺陷，平衡了性能与成本。

4. 潜在扩展方向：该方法基于因果依赖的解耦思想，可能扩展到其他类型的块并行草稿方法（如非 DFlash 的模型），甚至可用于将长上下文模型与短上下文模型在其他推理任务（如分块生成、句子补全）中组合。此外，融合方式的优化（如动态加权、自适应选择）也是未来可研究的方向。

5. 性能实证价值：在 Qwen3 上的一致提升表明，即使在较新的大规模模型上，该方法也能稳定带来收益。这意味着 DeLS-Spec 并非局限于特定架构或规模，具有一定的通用性。