Director：在线主动专家放置加速分布式MoE服务
速览
现有专家放置在应对多样化快速变化的请求模式上存在不足。Director提出预测驱动的在线专家放置方法，使用级联预测器预测请求的专家激活模式，并通过在线迁移模块实现接近零停机的调整。其核心优化器在多项式时间内达到(1+ε)近似比。在Mistral、DeepSeek、Qwen等模型上，端到端延迟降低11%-55%。
AI 深度解读
背景
随着大规模 Mixture-of-Experts（MoE）模型（如 Mistral、DeepSeek、Qwen）在 AI 领域广泛应用，Expert parallelism（专家并行）已成为部署这些模型的主流范式。该范式的效率在很大程度上取决于 GPU 之间的通信延迟和计算延迟，而这两者又与专家（Expert）在 GPU 上的放置方式密切相关。现有工作主要利用历史请求的专家激活模式来优化专家放置，但在面对多样化且快速变化的请求模式时表现不佳。这促使研究者探索一种在线（online）且主动（proactive）的专家放置方法。然而，实现这一方法面临多项挑战：输入请求的专家激活模式具有不确定性、专家迁移存在成本、以及优化问题属于 NP-hard 的复杂难题。
核心内容
为此，本文提出了 Director，一种新型分布式 MoE 服务系统。Director 通过基于预测的在线专家放置来最小化端到端延迟。其核心机制包括三个组件：
-
轻量级级联预测器（lightweight cascaded predictor）或低比特量化副本（low-bit quantized replica）：用于预测即将到来的请求的专家激活模式。预测器以低开销运行，能够提前获知哪些专家会被激活，从而为主动放置提供依据。
-
在线迁移模块（online migration module）：负责执行专家重排。该模块将专家迁移操作安排在计算密集型阶段（compute-bound phases）中进行，从而实现近乎零停机（near-zero downtime）的迁移，确保服务不受明显中断。
-
基于松弛的专家放置优化器（relaxation-based expert placement optimizer）：在容量约束下运行，能够在多项式时间内求解，并达到 ((1+\epsilon)) 的近似比（approximation ratio）。该优化器将 NP-hard 的放置问题松弛为可解形式，使得在线调整成为可能。
系统原型实验表明，在主流 MoE 模型（如 Mistral、DeepSeek、Qwen）上，相比现有工作，Director 能够将端到端延迟降低 11% 到 55%。
关键要点
- Director 采用预测驱动（prediction-driven）方式，主动而非被动地调整专家放置，以应对请求模式的快速变化。
- 预测环节支持两种形式：轻量级级联预测器（适合完整模式预测）和低比特量化副本（适合资源受限场景）。
- 在线迁移利用计算密集型阶段执行迁移，使迁移开销几乎不影响正常推理。
- 放置优化器基于松弛技术，将 NP-hard 问题转化为多项式时间可解问题，并保证 ((1+\epsilon)) 近似性能。
- 实验覆盖多种流行 MoE 模型，延迟降低幅度显著（11%~55%），验证了方法的有效性和泛化能力。
- 论文代码、数据和相关媒体链接在 arXiv 页面提供（如 Hugging Face、GitHub 等），便于复现和进一步研究。
意义与影响
Director 首次在分布式 MoE 服务中实现了在线、主动的专家放置优化，突破了传统被动式方法在应对动态请求模式时的局限。其近零停机迁移机制和多项式时间优化器让在线调整成为实际可行的工程方案。这一工作不仅提升了 MoE 模型的服务效率，也为未来更大规模、更高动态性的 AI 推理系统设计提供了新的思路。随着 MoE 模型在对话、代码生成、多模态等场景中日益普及，Director 所代表的预测驱动、低开销重配置方法有望成为分布式推理基础设施的重要组成部分。