← 返回信息流
AI 资讯ReadHub 科技日报·1 小时前

美团开源万亿参数大模型LongCat-2.0

原标题:美团 LongCat-2.0 开源,同步开放国产卡推理代码

速览

美团正式开源万亿参数大模型LongCat-2.0,总参数1.6T,平均激活约48B。架构引入LongCat稀疏注意力和N-gram Embedding,提升长上下文处理效率与token级表示能力。同步开放BF16、FP8、INT8等多精度版本,并针对国产算力极致优化推理成果,覆盖不同算力平台部署需求。此举显著增强代码理解与生成能力,推动国产AI生态发展。

AI 深度解读

背景

2026年7月6日,美团正式开源其万亿参数大模型 LongCat-2.0,并同步开放针对国产算力极致优化的推理代码。此举延续了美团在2025年下半年以来密集的大模型开源节奏——从2025年9月发布的 LongCat 初代模型,到11月的 LongCat-Image 图像生成模型,再到12月基于国产算力集群完成万亿级模型训练,以及2026年4月启动的测试,此次 LongCat-2.0 的开源标志着美团在超大规模模型研发与国产算力适配领域进入新的阶段。

核心内容

LongCat-2.0 总参数规模达 1.6T(万亿),但采用混合专家(MoE)架构使得平均激活参数约 48B,即在推理时仅激活约 3% 的参数,兼顾了模型容量与计算效率。架构层面引入了两项关键创新:

  1. LongCat 稀疏注意力:旨在提升长上下文处理效率,降低长序列推理的计算复杂度。
  2. N-gram Embedding:增强 token 级别的表示能力,使模型能够更精细地捕获词语组合信息。

结合动态激活机制,模型在代码理解、代码生成及代码执行任务上获得了强化。为适配不同算力平台的部署需求,LongCat-2.0 提供了多个精度版本:BF16、FP8 和 INT8,覆盖从高精度到低精度的推理场景。同时,美团开源了针对国产算力(如华为昇腾等)极致优化的推理代码,使国产芯片能够高效运行这一万亿参数模型。

关键要点

  • 模型规模:总参数 1.6T,平均激活约 48B(MoE 架构)。
  • 架构创新:LongCat 稀疏注意力 + N-gram Embedding,提升长上下文处理能力和 token 级语义表示。
  • 动态激活:针对代码理解、生成与执行任务进行强化。
  • 多精度版本:同时提供 BF16、FP8、INT8 三种精度,适配高算力与低算力平台。
  • 国产算力适配:开源针对国产 GPU/NPU 极致优化的推理代码,降低对国际高端芯片的依赖。
  • 开源策略:模型权重与推理代码同步开源,延续美团近期大模型开源路线。

意义与影响

LongCat-2.0 的开源对 AI 产业和技术生态具有多重意义:

  1. 降低国产算力大模型门槛:通过公开针对国产芯片优化的推理代码,使国内企业、研究机构能够基于现有国产硬件部署万亿参数模型,推动自主可控 AI 基础设施的落地。
  2. 技术示范效应:LongCat 稀疏注意力与 N-gram Embedding 的创新为超长上下文场景(如代码库分析、文档理解)提供了高效方案,可能引发更多团队跟进或改进。
  3. 代码领域专注:强化代码能力的动态激活机制表明美团在大模型行业应用上的务实定位,有助于推动 AI 辅助编程、自动化测试等工具的发展。
  4. 开源社区贡献:多精度版本降低了不同算力条件下复现与实验的成本,促进研究社区对 MoE 架构和大规模稀疏注意力的进一步探索。
  5. 行业竞争格局:美团连续开源多款模型(图像、多模态、万亿参数)的节奏,显示出其意图在国产大模型开源生态中占据关键位置,与阿里、百度、字节跳动等形成差异化竞争。
查看原文 →readhub.cn