全球首个具身专属MoE视频模型开源

背景

视频生成领域正经历从内容创作向物理世界模拟的范式转变。通用视频模型优化的是画质、美学、语义对齐和运动连贯性，但机器人感知世界的方式截然不同——它不仅需要“看见”物体，还要理解物体在交互中的物理行为（如手伸向杯子后杯子如何移动、走过路面是否会碰撞障碍）。传统视频模型中常见的穿模、物体凭空消失、动作违背惯性等问题，对短视频创作或许只是瑕疵，但若用于机器人训练，则会教给机器人错误的世界规律，导致其无法在真实环境中可靠执行任务。

与此同时，机器人训练面临数据瓶颈：真实机器人数据需通过遥操作、真实设备和场地采集，成本高、速度慢；仿真数据则存在sim-to-real gap（仿真到现实的差距）。开发专为机器人设计的视频模型，使其能生成符合物理规律、可理解物体交互与状态变化的高质量视频，成为具身智能领域的关键需求。在此背景下，蚂蚁灵波（Robbyant）于近期正式开源了LingBot-Video——全球首个面向具身智能的大规模MoE视频基础模型，旨在为机器人提供视频物理引擎。

核心内容

LingBot-Video是一个30B参数、推理时仅激活3B的MoE（Mixture of Experts）视频模型，从架构、数据到训练目标均为机器人及人形智能体量身打造。

架构方面：采用稀疏MoE架构。传统Dense模型每处理一个任务需激活全部参数，成本高昂；MoE则像专家库，任务只激活最相关的一组专家。LingBot-Video总参数30B，但单次生成仅激活约3B参与计算，大幅降低推理成本。实验表明，MoE 30B-A3B在1M Token长度下，速度分别是Dense 6B、14B、30B的1.50×、2.59×和3.18×，同时保持接近3B规模模型的推理效率。这种设计使模型容量与推理成本更好平衡，适合机器人训练和策略评估中大量模拟试错场景。

数据方面：模型引入超过70,000小时的embodiment-oriented footage（面向具身数据的视频素材），涵盖机器人操作VLA（视觉-语言-动作）、导航、第一视角视频，以及真实机器人、仿真、开源、第三人称视角，涉及人形机器人、四足机器人等多平台。这些数据在训练流程的专门阶段被刻意“少筛选、多保留”，防止被海量普通互联网视频稀释。所有素材经过五维结构化标注，精准标记物体、材质、动作时间戳、受力交互关系。训练采用课程式五阶段渐进训练，从低清静态图像起步，逐步过渡到高清长时序视频。针对机械操作、精密抓取等长尾场景，通过分布感知采样做加权强化。

训练目标方面：引入多维奖励系统，将物理合理性、任务完成度纳入优化目标。具体包括分层强化学习奖励体系：

• 感知维度：保障画面清晰度、文字描述匹配度、动态流畅度；
• 物理维度：核心优化项，校验物体不穿透、无凭空消失、运动符合重力惯性、材质受力形变合理；
• 执行维度：校验机器人肢体结构完整、动作流程可落地、任务目标完整完成。 训练采用GRPO组相对策略优化方案，搭配负感知微调规避奖励黑客问题。同时原生支持Action-to-Video动作条件生成，输入机器人动作指令即可输出后续视觉变化，可直接对接机器人运动规划模块。模型还配套级联精炼方案，先生成480p基础时序画面保证运动逻辑，再精炼至1080p高清画质。

效果与评测：在TI2V（文本引导图像到视频）任务上，LingBot-Video在开源竞品中达到SOTA水平，在general quality和embodied domain两项得分中位居第一；在T2V（文本到视频）任务中，general quality排名第二，但embodied domain得分仍超过NVIDIA Cosmos3、LongCat-Video、LTX-2.3等竞争基线。此外，模型已在RBench上超越业内通用视频生成标杆模型。生成案例包括工业场景（机械臂抓取、放置、焊接等，确保末端执行器与工件相对关系连续稳定）、动态场景（滑雪第一视角、人形机器人雪道并行）、球类运动（机器人打排球、踢足球，动作与球轨迹对应关系明确）。

关键要点

• 全球首个具身专属MoE视频模型：LingBot-Video是首款面向具身智能的大规模MoE视频基础模型，旨在作为机器人的视频物理引擎。
• 30B参数，推理仅激活3B：通过稀疏MoE架构解耦总参数量与激活计算量，大幅降低推理成本，速度是同类Dense模型的1.5~3.18倍。
• 70,000小时具身相关视频数据：覆盖机器人操作VLA、导航、第一视角等场景，经五维结构化标注和课程式五阶段训练，确保模型掌握复杂物理交互逻辑。
• 分层强化学习奖励体系：从感知、物理、执行三个维度同步优化生成结果，核心校验物理规律（不穿透、无消失、符合惯性等）和任务可执行性。
• 原生支持Action-to-Video：可输入机器人动作指令直接生成后续视觉变化，对接运动规划模块。
• 多场景评测领先：在TI2V任务上开源SOTA，在embodied domain得分超越NVIDIA Cosmos3等竞品；在RBench上超越通用视频生成标杆。
• 开源发布：代码、技术报告、模型权重及演示页面已在GitHub、arXiv、HuggingFace、ModelScope等平台公开。

意义与影响

LingBot-Video的开源标志着视频模型正从内容生产工具向物理世界模拟器迈进。其价值可划分为三层：

1. Data Engine（数据引擎）：为机器人训练提供低成本、可反复试错的物理世界模拟数据，缓解真实数据采集瓶颈。
2. Policy Evaluator（策略评估器）：在虚拟视觉环境中预演机器人动作策略，提前观察结果，降低真实环境试错风险。
3. Action Planner（动作规划器）：辅助机器人预测“执行动作后会发生什么”，支持决策规划与异常预判。

这一方向与当前学界趋势高度吻合——李飞飞创办的World Labs押注空间智能，LeCun团队的V-JEPA 2探索视频自监督学习以理解物理世界。具身智能专属视频模型已成下一阶段兵家必争。尽管长时序一致性、柔性物体/液体等复杂交互的模拟，以及视频预测能力向真实机器人闭环的转化等挑战仍在演进，LingBot-Video至少证明了一条可行路径：视频模型的终点或许不是电影，而是下一代机器人大脑的起点。