← 返回信息流
AI 资讯量子位·2 小时前

全球首个具身原生预训练模型发布,为机器人造大脑

原标题:全球首个「具身原生」预训练模型发布,从物理世界出发为机器人造大脑!

速览

LingBot-VA 2.0作为全球首个具身原生预训练模型,直接从物理世界出发,为机器人构建认知与运动能力。该模型开源发布,标志着机器人AI从模拟环境走向真实物理交互。它将推动具身智能在工业、服务等领域的应用,降低机器人开发门槛。

AI 深度解读

背景

具身智能领域长期面临一个核心矛盾:机器人模型大多从数字世界(如互联网视频、仿真数据)预训练,再迁移到物理世界中微调。这种“先学数字、再学物理”的路线,导致模型在真实环境中难以适应动态变化、缺乏对物理规律的本能理解。传统的 Video-Action(VA)模型虽然试图让机器人“看到当下”并“预判未来”,但这类模型在架构设计上并未专门为机器人的交互闭环而优化——它们往往使用双向注意力机制、通用 VAE,训练目标与物理世界的因果时序脱节。蚂蚁灵波(Robbyant)此前已经发布了 LingBot-Depth 2.0(空间感知)、LingBot-VLA 2.0(动作执行)、LingBot-Video(视频生成效率)等一系列模型,逐步构建机器人大脑 2.0 的拼图。如今,LingBot-VA 2.0 的发布标志着这一拼图的关键收官:全球首个“具身原生”(Embodiment-Native)的预训练 VLM 基座模型,从架构、数据到训练目标,完全为物理世界的机器人量身定制。

核心内容

LingBot-VA 2.0 的核心创新在于抛弃了“先通用预训练、再手术式改造”的传统路线,而是从一开始就采用因果架构(causal architecture)进行从零训练,让模型只能根据过去推测未来,天然匹配机器人闭环控制中“当下无法预知未来”的物理现实。模型由四个关键技术支柱构成。

1. 语义视觉-动作分词器(Semantic Visual-Action Tokenizer)
传统的视频生成 VAE 仅仅追求像素重建的“像”,不关心语义和动作。LingBot-VA 2.0 的分词器在重建像素的同时,额外向一个冻结的视觉基础模型(如 CLIP 风格的模型)对齐语义特征,将语义信息注入 latent 空间。此外,团队单独训练了一个隐动作模块(latent action module),该模块不需要动作标签,只通过一对逆动力学模型和正向动力学模型,从连续两帧视觉 latent 中反推出中间发生的动作。这意味着即使是无标注的网络视频,也能为模型提供动作相关的监督信号。

2. 因果预训练(Causal Pretraining)
第一代 LingBot-VA 的做法是将双向注意力视频生成模型“手术式”改造为单向因果模型,再用机器人数据微调。但这种改造容易丢失预训练阶段学到的广泛先验知识。LingBot-VA 2.0 从第一天起就使用因果架构从零训练,训练目标设定为“next-latent prediction”(预测下一帧 latent)。这一目标既能利用海量网络视频进行自监督学习,又天然适配机器人的闭环控制时间结构,避免“先学双向、再改单向”带来的能力损失。

3. 稀疏 MoE(Sparse Mixture of Experts)
为了使模型在容量增大的同时保持实时推理效率,团队给负责视频预测的主干换上了稀疏 MoE 架构。总参数量约 13B,但每次推理只激活其中约 1.9B 的参数;算上动作解码和辅助训练模块后的完整模型参数量约 15.3B,推理时每个 token 实际激活参数约 2.5B。经过一致性蒸馏、低精度编译、长程注意力优化和运行时开销削减,模型的推理时间从基线 965ms/chunk 降至 142ms/chunk,异步控制频率从 33Hz 提升到 225Hz。也就是说,模型每 142ms 就能输出一个包含 32 个 action 的动作 chunk,最高异步控制频率可达 225Hz。

4. Foresight Reasoning 异步推理机制
传统串行工作模式下,模型的计算延迟直接变成机器人的动作延迟。LingBot-VA 2.0 设计了一套“预测-执行-纠偏”的闭环机制:机器人在执行当前动作片段的同时,模型并行地脑补当前动作执行完后的画面,并提前准备好下一步动作。但为了防止预测结果脱离真实物理世界(即漂移),模型会在每一次真实观测返回时,用真实画面校正脑补结果。这种机制让闭环控制的实时性大幅提升。

效果验证
在 RoboTwin 2.0 仿真基准上,LingBot-VA 2.0 在 Clean 场景、Randomized 场景和平均成绩分别达到 93.8%、93.4%、93.6%,全面超越第一代 LingBot-VA(92.9%、91.6%、92.2%)以及 π0.5、Motus 等基线模型。消融实验表明,自研分词器在 50 个任务的 Easy/Hard 平均成绩上分别为 86.6% 和 83.1%,远高于通用 WAN2.2 VAE 方案的 78.0% 和 76.0%。引入多步预测(MCP)辅助目标后,训练加速比达 2.3 倍:训练 5000 步的效果已超过无 MCP 版本 29.7 个百分点,用 20000 步即可达到无 MCP 版本 45000 步的准确率。

真实场景演示

  • 整理桌面:模型具备长程记忆,能对桌面物体进行任务拆解(左臂归置垃圾、右臂复位文具),双臂并行且避免空间冲突。视频预测分支携带时序状态记忆,不会出现“断片”返工。
  • 传送带抓取:物体持续移动,模型不只识别当前位置,而是预测抓取动作完成瞬间物体的所在位置,将执行时间开销提前计算,实现同步抓取。
  • 抓薯片:对薄脆薯片的抓取需要细粒度视觉伺服和力度控制。模型凭借保留局部细节的语义视觉分词器,完成了精确的轻柔抓取。

关键要点

  • 具身原生设计:LingBot-VA 2.0 是全球首个从第一天起就为机器人定制架构、训练目标和数据的 VA 基座模型,而非从通用视频生成模型改造而来。
  • 语义视觉-动作分词器:将语义信息和隐动作信号注入视觉 latent,使无标签视频也能提供动作监督,显著提升下游任务准确率(比通用 VAE 高出 8.6-7.1 个百分点)。
  • 因果预训练:采用 next-latent prediction 目标,匹配机器人闭环控制的因果时序,避免双向预训练后改造带来的知识损失。
  • 稀疏 MoE + 高效推理:13B 总参量仅激活 1.9B,推理延迟从 965ms 降至 142ms,异步控制频率最高达 225Hz。
  • Foresight Reasoning 异步推理:并行执行“脑补-执行-纠偏”循环,大幅提升实时闭环控制能力。
  • 任务性能领先:在 RoboTwin 2.0 基准上三科平均 93.6%,全面超越前代及基线;真实场景验证了长程记忆、时间对齐、精细操作三大核心能力。
  • 训练加速:多步预测(MCP)辅助目标带来 2.3 倍训练加速。

意义与影响

LingBot

查看原文 →qbitai.com