D-cut: Adaptive Verification Depth Pruning for Batched Speculative Decoding

背景

大型语言模型（LLM）的推理效率是实际部署中的关键瓶颈。投机解码（Speculative Decoding）通过使用一个轻量级的草稿模型生成候选 token 序列，再由目标模型并行验证，从而在不改变输出质量的前提下显著加速推理。近年来，并行草稿方法（parallel drafting methods）进一步将草稿长度与草稿生成延迟解耦，使得单请求场景下能够采用更长的草稿并提升平均接受 token 数（Mean Accepted Tokens, MAT）。然而，当请求并发度较高时，长草稿会导致大量被拒绝的 token 被浪费计算资源，验证成本随之攀升，甚至可能使投机解码比自回归解码更慢。这一矛盾在高并发部署环境中尤为突出，亟需一种能够自适应调节验证深度的方案。

核心内容

D-Cut 是一种针对批量投机解码的自适应剪枝方法，其核心思想是：在批次中联合选择草稿 token，将有限的验证预算集中分配给最可能被接受的 token。D-Cut 的提出基于两个关键观察：

1. 不同请求的接受长度差异显著：在高并发场景下，各请求的草稿 token 被目标模型接受的概率分布极不均匀。D-Cut 通过跨请求剪枝（cross-request pruning），根据草稿置信度动态分配验证预算，而不是对所有请求采用统一的固定深度。

2. 验证成本高度依赖部署环境：验证阶段的实际延迟受 GPU 架构、并行策略（如张量并行、流水线并行）等因素影响。D-Cut 引入了一个运行时成本模型（runtime cost model），能够根据目标环境实时调整剪枝深度，从而在最小化验证开销和最大化接受 token 数之间取得平衡。

具体而言，D-Cut 在每一步验证前，对批次内所有请求的草稿 token 按置信度排序，然后根据成本模型估算的验证预算，保留置信度最高的 token 进行验证，其余 token 则被跳过。这一过程完全不需要修改草稿模型或目标模型的结构，仅作为推理时的一个轻量级调度层。

实验在稠密模型（dense model）和混合专家模型（MoE model）上进行。结果表明：在高并发条件下，D-Cut 将平均加速比从 1.26× 提升至 1.65×；对于长草稿基线反而慢于自回归解码的稠密模型配置，D-Cut 恢复了加速效果；在 MoE 模型上，D-Cut 相对自回归解码实现了最高 3.0× 的加速。

关键要点

• 问题定位：高并发下长草稿导致验证成本失控，可能使投机解码失去优势。
• 自适应机制：D-Cut 基于草稿置信度对批次内所有请求的 token 进行联合排序，只验证概率最高的部分 token。
• 环境感知：运行时成本模型动态决定剪枝深度，适配不同的 GPU 架构和并行策略。
• 零模型侵入：不改变草稿模型或目标模型的架构，仅作为推理时调度策略。
• 效果显著：高并发下平均加速比 1.26× → 1.65×；稠密模型中恢复加速；MoE 上最高 3×。
• 适用性：兼容稠密模型和 MoE 模型，且与现有的并行草稿方法正交，可叠加使用。

意义与影响

D-Cut 首次从系统层面系统性地解决了批量投机解码中验证预算浪费的问题。其跨请求联合剪枝的思路，打破了传统每请求独立设置草稿长度的局限，使投机解码能够真正适应高并发的实际部署场景。此外，运行时成本模型的引入标志着投机解码优化从静态参数配置向环境自适应决策的转变，具有重要的工程价值。

对于 LLM 推理加速领域，D-Cut 的工作表明：在追求更长的草稿以提高单请求 MAT 之外，关注验证阶段的可变成本与批次内资源分配同样关键。未来，将 D-Cut 的思想与更细粒度的 token 级流水线、基于学习模型的成本预测等方法结合，有望进一步提升投机解码的鲁棒性和可扩展性。该研究也为大模型推理系统在云服务、边缘计算等多样化硬件环境下的部署提供了实用指导。