英伟达开源MoE新方案：一行import微调加速3.7倍

背景

随着生成式 AI 模型的规模不断膨胀，混合专家（Mixture of Experts, MoE）架构已成为当前前沿大模型的主流选择。然而，MoE 架构在带来参数规模扩展优势的同时，也给高效训练和微调带来了严峻的工程挑战。专家并行（Expert Parallelism）、通信融合以及底层 Kernel 优化等复杂基础设施，往往需要开发者投入大量精力进行适配。

Hugging Face 的 Transformers v5 版本目前被广泛用作 MoE 训练的通用底座，它增强了对 MoE 的原生支持，引入了 expert backends、dynamic weight loading 和分布式执行等基础能力。在此基础上，英伟达（NVIDIA）最新开源了 NeMo AutoModel，旨在解决上述痛点。该项目专为大规模构建和微调生成式 AI 模型而打造，其核心思路是站在 Hugging Face 的肩膀上，通过兼容 Transformers API，让开发者无需大幅修改代码，即可在 MoE 微调中获得更高的训练吞吐量和更低的显存占用。

核心内容

英伟达开源的 NeMo AutoModel 在 Hugging Face Transformers v5 的基础上，集成了三项关键技术：专家并行（EP）、DeepEP 和 TransformerEngine。这一组合拳使得用户只需添加一行 import 代码，即可实现性能的显著提升。

1. 专家并行（Expert Parallelism, EP） 专家并行技术主要致力于降低单卡内存压力。EP 技术将专家权重分布到多个 GPU 上，每张 GPU 不再完整持有所有 Expert 的参数，而是仅持有其中一部分。

• 机制：例如在 8 张 GPU 上设置 ep_size=8，专家权重被均匀分布至 8 块 GPU，使得每张 GPU 的 MoE 内存占用降至原来的 1/8。
• 效果：实验数据显示，对于 Qwen3 模型，该技术能将峰值内存从 68.2 GiB 降至 48.1 GiB（降幅 29%）；对于 Nemotron Nanomo 模型，内存占用从 62.1 GiB 降至 42.5 GiB（降幅 32%）。释放出的显存空间可用于支持更大的批次（Batch Size）或更长的序列长度。

2. DeepEP DeepEP 实现了计算与通信的深度融合。在传统训练流程中，Token 的分发和专家计算之间存在明显的通信成本。DeepEP 将 Token 的分发和组合操作整合进优化的 GPU Kernel 中，实现了通信过程与专家计算的重叠，从而减少了等待时间，提升了整体效率。

3. TransformerEngine TransformerEngine 为各类核心运算提供了底层加速支持。它提供了融合注意力机制、线性层和 RMSNorm 等实现的优化内核。这不仅加速了 MoE 层的运算，同时也加速了普通 Transformer 层的运算，提升了整体推理和训练效率。

性能实测数据 在单节点 8xH100 80GB GPU 的配置下，以 Qwen3-30B-A3B 模型为例：

• 吞吐量提升：NeMo AutoModel 将 TPS/GPU（每 GPU 每秒吞吐量）从 3075 提升至 11340，提升倍数达到 3.69 倍。
• 综合对比：相比 Hugging Face 原版 Transformers v5，NeMo AutoModel 在 MoE 微调中实现了 3.4-3.7 倍的训练吞吐提升，并减少了 29%-32% 的 GPU 显存占用。

此外，英伟达还展示了 Nemotron 3 Ultra 550B A55B 在 16 个 H100 节点（共 128 张 GPU）上的全参数微调结果。在该规模下，TPS/GPU 为 815，TFLOP/s/GPU 约为 293，峰值内存为 58.2 GiB。值得注意的是，由于 Transformers v5 在此规模下会因内存溢出（OOM）而无法运行，因此未进行直接对比，但这侧面印证了 NeMo AutoModel 在超大规模模型训练中的稳定性与优势。

关键要点

• 极简集成：用户只需在原有基于 Transformers v5 的代码中添加一行 import，即可无缝切换至 NeMo AutoModel，无需修改 API 调用逻辑。
• 显著提速：在 MoE 微调场景中，训练吞吐量提升 3.4-3.7 倍。
• 显存优化：GPU 显存占用降低 29%-32%，使得在同等硬件条件下可以训练更大规模的模型或处理更长的上下文。
• 三大技术支柱：
  • EP：通过权重分布降低单卡内存压力。
  • DeepEP：通过计算通信重叠减少延迟。
  • TransformerEngine：通过底层 Kernel 融合加速核心运算。
• 超大规模验证：已在 128 张 H100 GPU 上成功验证 Nemotron 3 Ultra 550B 模型的全参数微调，证明了其在极端规模下的可行性。

意义与影响

NeMo AutoModel 的开源标志着 MoE 模型训练基础设施的进一步成熟。对于开发者而言，它提供了一个“无痛升级”的方案，极大地降低了使用 MoE 架构进行高效微调的技术门槛。通过兼容 Hugging Face 生态，英伟达不仅保留了开发者现有的代码习惯，还通过底层优化释放了硬件潜力。

这一进展对于推动大规模生成式 AI 模型的普及具有重要意义。更高的吞吐量和更低的显存需求意味着企业可以用更少的硬件资源训练更强大的模型，或者在相同资源下获得更快的迭代速度。特别是在 MoE 成为主流架构的背景下，NeMo AutoModel 为社区提供了一套经过验证的高效工程实践，有助于加速 AI 模型的研发进程。

相关代码、配置及基准测试脚本已开源至 GitHub（NVIDIA-NeMo/Automodel），详细使用指南可在 NVIDIA NeMo 官方文档中获取。