Less Experts, Faster Decoding: Cost-Aware Speculative Decoding for Mixture-of-Experts
AI 深度解读
背景
近年来，大规模语言模型（LLM）的规模持续增长，稀疏混合专家（Sparse Mixture-of-Experts, MoE）架构因其能够在保持推理效率的同时大幅扩展参数容量，成为主流方案。MoE 模型在每一层设置多个“专家”（expert），每个 token 仅激活部分专家，从而在计算量可控的前提下获得更高的模型容量。然而，MoE 的推理效率高度依赖于专家的激活模式——不同 token 会路由到不同的专家子集，导致专家的内存访问模式成为瓶颈。
投机解码（Speculative Decoding, SD）是一种加速自回归生成的技术：先由一个小型草稿模型快速生成多个候选 token（draft tokens），再由目标大模型并行验证，从而减少串行解码步数。现有投机解码方法在选择草稿 token 时，主要优化的是接受概率（acceptance likelihood），即尽量让草稿 token 更有可能被目标模型接受，以减少验证失败后回退的开销。
但在大规模 MoE 模型中，草稿 token 的选择不仅影响接受概率，还会决定验证阶段需要激活的专家集合。如果草稿 token 路由到大量不同的专家，会导致“专家分散”（expert scattering）问题：高概率的草稿 token 可能分别激活不重叠的专家，从而增加专家权重的内存流量，削弱投机解码带来的加速效果。这一观察揭示了 MoE 投机解码中一个被忽视的权衡——接受概率与专家激活成本之间的冲突。
核心内容
本文提出了一种成本感知的投机解码框架 EcoSpec，旨在 MoE 推理的非均匀内存成本结构下，重新设计草稿树（draft tree）的选择策略。核心思路是将预测的边际专家激活成本纳入草稿选择过程，使得所选草稿路径既能保持高接受概率，又能尽可能复用当前验证集已覆盖的专家，从而减少专家权重的加载开销。
EcoSpec 包含两个关键组件：
- 轻量级专家预测器（lightweight expert predictor）：用于预测每个候选 token 将激活哪些专家。该预测器独立于目标模型，运行代价极低。
- 动态专家缓存（dynamic expert buffer）：维护当前验证批次中已经加载的专家权重集合，作为草稿选择的软约束。
在草稿树生成阶段，EcoSpec 不再仅基于接受概率进行贪心或束搜索，而是采用一个联合评分函数，该函数平衡了候选路径的预期接受概率与新增专家权重的加载成本。具体地，每次扩展草稿树时，优先选择那些预期接受概率较高、且激活的专家大部分已存在于当前缓存中的分支。如果两条路径的接受概率相近，EcoSpec 会偏向于激活更少新专家的那一条。这一过程不修改目标模型的验证规则，只改变草稿树的构造方式，因此与现有验证算法完全兼容。
实验在三个大规模 MoE 模型上进行评估：DeepSeek-V3.1（671B 总参数量）、Qwen3-235B-A22B（235B 总参数量，22B 激活参数）以及 GPT-OSS-120B（120B 总参数量）。评测覆盖推理（reasoning）、代码生成（coding）、问答（question-answering）和对话（dialogue）等多种基准任务。结果表明，EcoSpec 在所有任务上均持续减少了激活的专家足迹（active expert footprint），并在端到端解码速度上取得了最高 1.62 倍的加速。相较传统的仅优化接受概率的草稿选择方法，EcoSpec 在保持甚至略微提升接受率的同时，显著降低了专家权重的内存访问量，从而实现了更稳定的加速。
关键要点
- 专家分散是 MoE 投机解码的独特瓶颈：基于置信度的草稿选择（confidence-driven SD）倾向于选择概率最高的 token，但这些 token 的路由专家可能互不相交，导致验证阶段需要加载大量不同专家权重，增加内存带宽压力，抵消投机解码的收益。
- EcoSpec 将专家激活成本显式建模：通过一个轻量级专家预测器预估每个候选 token 的专家激活集合，并利用动态专家缓存记录当前已加载的专家，在草稿树搜索时采用“接受概率-专家成本”联合评分。
- 不修改目标模型验证逻辑：EcoSpec 只影响草稿树的构造阶段，验证阶段仍沿用目标模型的标准并行验证，因此不增加目标模型的改动代价，易于集成到现有推理系统。
- 实验效果显著：在三种不同规模（671B、235B、120B）的开源 MoE 模型上，EcoSpec 均减少了激活专家数量，端到端解码速度提升最高达 1.62 倍，且在不同任务类型（推理、代码、问答、对话）上表现一致。
- 适用范围：该工作主要针对大规模 MoE 模型在离线或在线推理场景中的加速，特别是当专家权重存储于显存/内存且加载开销占主导时（如多 GPU 推理中的跨设备专家通信）。
意义与影响
这项工作首次在投机解码的框架下系统性地考虑了 MoE 模型特有的专家激活成本。传统投机解码优化将草稿 token 的选择视为一个纯概率问题，而 EcoSpec 揭示了一个关键实践：在 MoE 架构中，草稿路径的选择实质上同时决定了需要加载的专家集合，这一“隐藏成本”可以显著影响端到端吞吐。
该研究的直接贡献是为 MoE 推理提供了一种成本感知的草稿选择算法，且与主流投机解码流程兼容，不需要修改目标模型或验证逻辑，降低了部署门槛。另一方面，它也为更广泛的 MoE 系统优化提供了新思路：在模型设计（如专家路由策略）或推理系统调度中，显式建模专家激活的开销可能带来进一步的效率提升。
从研究趋势看，随着 MoE 模型（如 Mixtral、DeepSeek-V3、Qwen-MoE 等）的广泛应用，如何在保持生成质量的同时降低推理成本成为关键问题。EcoSpec 表明，投机解码本身并非“免费午餐”——草稿 token 的专家分散效应必须被纳入优化目标。未来工作可以沿两个方向深入：一是将成本感知策略扩展到多 token 验证的树形结构优化中；二是结合硬件特性（如 GPU 的共享内存与专家权重缓存）做出更细粒度的调度决策。
总体而言，EcoSpec 通过一个简洁且可落地的方案，弥合了投机解码理论与 MoE 推理工程之间的差距，对构建高效的大模型推理系统具有重要参考价值。