← 返回信息流
AI 资讯雷峰网·4 小时前3 源报道

蚂蚁灵波开源 LingBot-Video,全球首个面向具身的视频基模来了!

AI 深度解读

背景

视频生成模型在过去几年取得了显著进展,画质、流畅度和创意表达不断提升。但对于机器人领域而言,一个看起来逼真、动作流畅的视频并不足够——它必须反映真实的物理规律,能够支撑机器人的连续预测、规划与任务执行。现有的视频基础模型大多面向内容创作(即“服务于影院”),缺少对物理世界因果关系的建模,也不具备高效推理能力,难以适应具身智能对实时交互和控制闭环的需求。

正是在这一背景下,蚂蚁灵波于2025年7月9日正式开源了LingBot-Video,这是全球首个基于Mixture-of-Experts(MoE)架构、面向具身智能的开源视频生成基础模型。该模型重新设计了视频预训练范式,围绕机器人和具身智能的核心需求,在推理效率、物理合理性、动作理解和任务完成度等方面实现了系统性提升,为视频基础模型从数字内容创作走向具身智能提供了新的开源底座。

核心内容

LingBot-Video是蚂蚁灵波面向具身智能推出的视频生成基础模型,采用DiT(Diffusion Transformer)+ MoE(Mixture-of-Experts)架构。其总参数量为30B,但在推理时仅激活约3B参数,相比同等参数规模的Dense架构,推理效率提升约3倍。这种设计在扩大模型容量的同时控制了单次推理成本,使其既能获得大规模参数带来的视觉表达能力,又更适合具身智能场景对高效推理的要求。

在数据方面,LingBot-Video构建了数据画像引擎。除了海量互联网视频,还引入了VLA(Vision-Language-Action)、VLN(Vision-Language Navigation)、Ego(第一视角)等机器人相关数据,覆盖灵巧操作、机器人移动和第一视角交互等场景,总规模达7万小时的具身数据。这些数据帮助模型学习动作与环境的因果关系,而非仅仅学习视频的表面纹理和视觉风格。

在训练上,LingBot-Video引入了多维强化学习奖励系统。除美学质量、prompt跟随和运动一致性等常规指标外,模型还围绕物理合理性和任务完成度进行对齐,使生成结果更符合真实世界的物理规律,也更贴近机器人在真实世界中完成任务的需求。

性能方面,在北京大学联合字节跳动发布的基准RBench上,LingBot-Video总分为0.620,超越了Wan2.6(0.607)、Seedance 1.5 Pro(0.584)和Cosmos3 Super(0.581)。RBench是面向机器人操作视频的综合评测基准,重点考察模型能否生成符合真实物理规律的机器人行为。这一结果表明,LingBot-Video在生成机器人相关视频时,能更好地保持动作过程合理性和任务执行完整性。

此外,蚂蚁灵波在内部benchmark中从通用质量和具身领域两个维度进行了评估,对比了NVIDIA Cosmos 3、Wan 2.2 A14B、LongCat-Video、Hunyuan Video 1.5、LTX-2.3等五个开源模型。结果显示,LingBot-Video在具身领域表现优于主要基线模型。

LingBot-Video可应用于机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等多个方向。目前,该模型已正式开源。

关键要点

  • 模型定位:全球首个基于MoE架构、面向具身智能的开源视频生成基础模型。
  • 架构创新:采用DiT + MoE设计,30B总参数,推理时仅激活约3B参数,推理效率约为同等Dense架构的3倍。
  • 数据规模:构建数据画像引擎,包含7万小时具身数据,覆盖灵巧操作、机器人移动、第一视角交互等场景。
  • 训练策略:引入多维强化学习奖励系统,重点优化物理合理性和任务完成度。
  • 性能优势:在RBench上总分0.620,超越Wan2.6、Seedance 1.5 Pro、Cosmos3 Super等模型;在内部具身领域评测中优于NVIDIA Cosmos 3、Wan 2.2 A14B等开源基线。
  • 开源状态:LingBot-Video已正式开源。
  • 应用方向:机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等。

意义与影响

LingBot-Video的开源标志着视频生成模型在具身智能领域迈出了关键一步。此前,视频基础模型主要服务于内容创作(“服务于影院”),追求画质和创意表达,但忽略了物理世界的因果规律。LingBot-Video开辟了另一条技术路线——“服务于机器人”,专注于物理世界的理解、预测与交互。

其MoE架构的高效性(30B参数仅激活3B)为具身智能的实时应用提供了可能,降低了部署门槛。同时,7万小时具身数据和多维强化学习奖励系统的引入,使模型能够学习到真正的物理规律和行为因果关系,而非仅仅模仿视觉纹理。这对于机器人仿真数据生成、动作预测、世界模型研究等领域具有重要价值。

更重要的是,LingBot-Video作为开源项目,将推动整个具身智能社区的发展。研究者可以基于该模型进一步探索VLA(视觉-语言-动作)模型、机器人操作策略优化、闭环仿真训练等方向,加速从数字内容生成到物理世界交互的技术跃迁。随着更多团队在LingBot-Video基础上进行二次开发,未来具身智能的建模能力和推理效率有望得到持续提升。

查看原文 →leiphone.com