美团万亿参数大模型 LongCat-2.0 正式开源

背景

随着大模型参数规模突破万亿，如何在高性能与低成本之间取得平衡成为行业核心挑战。尤其在国产算力芯片仍面临显存带宽与互联能力限制的背景下，万亿参数模型的推理部署往往需要依赖最新一代高端芯片，大量存量国产算力难以被有效利用。美团技术团队在长期实践中发现，若能在模型架构、芯片适配与部署策略三个层面进行深度协同优化，完全有可能让万亿参数模型在现有国产算力集群上实现稳定、高效的推理。基于这一思路，美团正式开源其万亿参数大模型 LongCat-2.0，并同步开放针对国产卡（NPU）的推理代码，旨在提供一条可复现的技术路径，盘活存量算力，释放国产算力生态的长期价值。

核心内容

LongCat-2.0 总参数达 1.6T，平均激活约 48B，专为真实的 Agentic Coding 任务设计。在架构上，它创新性地引入了 LongCat 稀疏注意力（LSA）和 N-gram Embedding，以提升长上下文处理效率与 Token 级表示能力，并结合动态激活机制强化代码理解、生成与执行表现。

为在显存、带宽和互联多重限制的国产芯片上实现流畅推理，LongCat-2.0 从三个方向逐一突破：

• 模型层面：Attention 采用 absorb 计算模式、Indexer 与 MLA prolog 并行处理，以及 KVP 切分 KV-cache，有效缓解超长上下文的 I/O 与显存压力。ScMoE 则利用国产芯片的控核能力，让 Dense 与 MoE 分支实现物理核心级并行执行，进一步压缩端到端延迟，实现百万上下文在国产芯片上的高效推理。
• 芯片适配层面：通过 Super Kernel 减少算子数量以降低启动开销，并以 Weight Prefetch 将 I/O 延迟隐藏在前序计算中；同时基于高速片间互联完成 layer-wise 的 KV-cache 传输，TP/SP/KVP 均在 scale-up 互联域内完成，在受限的显存和带宽条件下将硬件利用率最大化。
• 部署策略层面：采用 PD 分离部署兼顾 TTFT 与 TPOT。Prefill 端通过缩小 Expert-Parallel 域与序列并行分担长序列计算压力，Decode 端以 KV-cache 切分与高并行度降低单卡显存占用，配合异步化 Expert-Parallel Load Balancing 解决大 EP 度下的负载不均。上述并行方案均已适配 constrained decoding、multi-step scheduling 和 MTP 等推理优化特性，实现了万亿参数模型在国产算力上的稳定服务。

在模型能力升级方面，LongCat-2.0 围绕长上下文、代码任务和智能体场景做了三项关键优化：

1. LongCat 稀疏注意力机制（LSA）：面向智能体任务中的长输入场景，通过流感知索引、跨层索引和层级化索引三项策略减少碎片化访存和重复索引计算，在保持模型质量的前提下加速百万级长上下文的训练与推理。
2. N-gram Embedding：在 MoE 稀疏度已接近 97% 的情况下，将 135B 参数投入 N-gram Embedding 作为新的参数扩展路径，收益远超继续扩充专家。该模块占比控制在总参数 10% 以内，兼顾了参数收益与结构稳定性。
3. MOPD 架构与多教师在线蒸馏：后训练阶段采用多教师在线蒸馏，将专家分为 Agent、推理和交互三类，分别聚焦自主执行、自适应推理和安全对齐等核心能力，最终通过 MOPD 架构在国产算力集群上无缝融合，使模型兼具深度推理、自主执行与精准交互的综合表现。

开源方面，LongCat-2.0 同步提供 BF16、FP8 以及 INT8 等多精度版本，全面覆盖不同算力平台的部署需求。同时，针对国产算力极致优化的推理成果也已开源，包括 GPU 版本（基于 SGLang）和 NPU 版本（基于 SGLang-FluentLLM），让用户即使没有最新算力，也能基于现有硬件将 LongCat-2.0 稳定跑起来。

关键要点

• 万亿参数（1.6T）模型，平均激活仅 48B，采用稀疏 MoE 架构，兼顾参数量与推理效率。
• 创新引入 LongCat 稀疏注意力（LSA）和 N-gram Embedding，分别提升长上下文处理效率和参数利用效率。
• 模型、芯片适配、部署策略三个层面的协同优化，是攻克国产芯片显存、带宽、互联限制的核心思路。
• 芯片适配层面：Super Kernel 减少算子启动开销，Weight Prefetch 隐藏 I/O 延迟，layer-wise KV-cache 传输利用高速片间互联。
• 部署策略层面：PD 分离部署，Prefill 端缩小 Expert-Parallel 域与序列并行，Decode 端 KV-cache 切分与高并行度，配合异步化 Expert-Parallel Load Balancing。
• 后训练采用多教师在线蒸馏，专家分为 Agent、推理、交互三类，通过 MOPD 架构融合。
• 开源提供 BF16/FP8/INT8 多精度版本，并同步开源针对 GPU 和 NPU 的推理代码（SGLang 及 SGLang-FluentLLM）。
• 目标是让存量国产卡（包括老卡）也能流畅部署万亿参数大模型推理服务。

意义与影响

LongCat-2.0 的开源标志着国产算力在大模型推理领域迈出了关键一步。它验证了在非最先进硬件上，通过深度系统级优化同样可以承载万亿参数模型的复杂推理任务，为行业提供了一条可复现的技术路径。这一成果有望大幅降低大模型部署的硬件门槛，使更多企业能够利用现有存量国产算力，加速大模型在真实生产力场景（如 Agentic Coding）的落地。同时，开源的推理栈和多种精度版本将促进国产算力生态的繁荣，推动上下游芯片、框架、应用的协同创新。长远来看，LongCat-2.0 的技术思路和开源实践，对于构建自主可控的 AI 基础设施具有重要的示范价值和战略意义。