← 返回信息流
AI 资讯雷峰网·4 小时前2 源报道

蚂蚁灵波开源LingBot-Video,全球首个面向具身的视频基模

原标题:蚂蚁灵波开源 LingBot-Video,全球首个面向具身的视频基模来了!

速览

蚂蚁灵波开源LingBot-Video,这是全球首个基于MoE架构、面向具身智能的视频生成基础模型。该模型在RBench上超越Wan2.6等模型,在物理合理性和动作理解上表现优异。它采用DiT+MoE设计,30B参数仅激活3B,推理效率提升3倍。模型从架构、数据、训练三方面创新,可用于机器人动作预测、仿真数据生成等。

AI 深度解读

背景

近年来,视频生成模型在画质、流畅度和创意表达上取得了显著进步,但大模型生成的视频往往只关注视觉上的“逼真”,而忽略了真实物理规律。对于具身智能(Embodied Intelligence)——即机器人、自动驾驶等需要在物理世界中感知、推理和行动的系统来说,一个看起来流畅但不符合物理定律的视频无法支撑机器人进行连续预测、规划和执行任务。此外,具身智能对模型的推理效率有更高要求,以适应实时交互和控制闭环。这促使视频生成领域出现两种不同的演进方向:一条通向影院,服务于内容创作;另一条通向机器人,服务于物理世界的理解、预测与交互。蚂蚁灵波(Ant Lingbo)推出的 LingBot-Video 正是后一路径的重要探索,并于7月9日正式开源,成为全球首个基于 Mixture-of-Experts(MoE)架构、面向具身智能的开源视频生成基础模型。

核心内容

LingBot-Video 是蚂蚁灵波发布的开源视频生成基础模型,围绕机器人和具身智能的核心需求重新设计了视频预训练范式。该模型基于 DiT + MoE 架构,总参数为 30B,但推理时仅激活约 3B 参数,相比同等参数规模的 Dense 架构,推理效率提升约 3 倍。这一设计在扩大模型容量的同时,有效控制了单次推理成本,更适合具身智能对高效推理的要求。

在数据层面,LingBot-Video 构建了数据画像引擎,在海量互联网视频基础上,额外引入了 VLA(Vision-Language-Action)、VLN(Vision-Language Navigation)、Ego(第一视角)等机器人相关数据,覆盖灵巧操作、机器人移动和第一视角交互等场景,总计 7 万小时的具身数据。这些数据帮助模型学习动作与环境变化之间的关系,而非仅仅学习视频的表面纹理和视觉风格。

在训练层面,LingBot-Video 引入了多维强化学习奖励系统,除了常规的美学、prompt 跟随和运动一致性等指标外,还进一步围绕物理合理性和任务完成度进行对齐,使生成结果更符合真实世界规律,也更贴近机器人在真实世界完成任务的需求。

在性能评测上,北京大学联合字节跳动发布的基准 RBench(面向机器人操作视频的综合评测基准)中,LingBot-Video 总分为 0.620,超越了 Wan2.6(0.607)、Seedance 1.5 Pro(0.584)、Cosmos3 Super(0.581)等模型,表明其在生成机器人相关视频时,能更好地保持动作过程的合理性和任务执行的完整性。蚂蚁灵波内部 benchmark 从通用质量和具身领域两个维度进行评估,对比 NVIDIA Cosmos 3、Wan 2.2 A14B、LongCat-Video、Hunyuan Video 1.5、LTX-2.3 等五个开源模型,LingBot-Video 在具身领域表现优于主要基线模型,展现出更强的物理理解和动作一致性。

LingBot-Video 可用于机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等方向。目前该模型已正式开源。

关键要点

  • 全球首个面向具身智能的开源视频生成基础模型:基于 MoE 架构,专门为机器人和具身智能场景设计,区别于传统面向内容创作的视频生成模型。
  • 高效推理设计:30B 总参数,推理时仅激活约 3B 参数,相比同等 Dense 架构效率提升约 3 倍,满足具身智能对实时交互的需求。
  • 数据画像引擎:在通用互联网视频基础上,引入 7 万小时具身数据(VLA、VLN、Ego 等),覆盖灵巧操作、移动和第一视角交互,帮助模型学习动作与环境的因果关系。
  • 多维强化学习训练:除美学、prompt 跟随、运动一致性外,增加物理合理性和任务完成度对齐奖励,使生成结果更符合真实物理规律。
  • RBench 基准上最优:总分 0.620,超越 Wan2.6、Seedance 1.5 Pro、Cosmos3 Super 等模型,证明其在机器人操作视频生成上的领先性。
  • 内部评测优于多个开源模型:在具身相关场景中,物理理解和动作一致性表现超过 NVIDIA Cosmos 3、Wan 2.2 A14B、LongCat-Video、Hunyuan Video 1.5、LTX-2.3 等。
  • 应用方向广泛:可用于机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等,已正式开源。

意义与影响

LingBot-Video 的开源,标志着视频生成模型从“内容创作”赛道向“物理世界理解”赛道迈出了关键一步。传统视频生成模型追求视觉逼真,而具身智能需要的是能够反映真实物理规律、支持机器人连续预测和规划的视频基模。LingBot-Video 通过架构、数据和训练三方面的系统性创新,为具身智能提供了可复用的开源底座,降低了该领域研究者的进入门槛。

从行业影响来看,LingBot-Video 在 RBench 和内部评测中的优异表现,展示了 MoE 架构在具身智能场景下的潜力,尤其是高效推理与大规模参数能力的平衡,为未来更复杂的机器人学习任务提供了可行路径。此外,该模型所引入的物理合理性和任务完成度对齐方法,有望推动整个视频生成领域向更注重物理一致性的方向演进。

长远来看,LingBot-Video 作为全球首个面向具身智能的开源视频基模,将加速机器人仿真数据生成、世界模型构建、VLA 模型训练等关键技术的发展,为具身智能从实验室走向真实世界提供重要的基础设施。

查看原文 →leiphone.com