60000小时训练,蚂蚁灵波开源VLA 2.0兼容20多机器人
速览
蚂蚁灵波推出Lingbot-VLA 2.0,这是一个视觉-语言-动作(VLA)开源模型,经过6万小时训练。该模型兼容20多种不同类型的机器人,显著提升了机器人的泛化能力。此举降低了机器人智能部署的门槛,推动多模态AI在机器人领域的应用。
AI 深度解读
背景
随着具身智能领域的发展,机器人本体形态日趋多样化,从双臂机器人到人形机器人、移动机械臂等层出不穷。然而,如何让同一个智能模型适配不同机器人构型、不同任务场景,成为行业的核心挑战。传统的做法是为每一种本体和任务单独训练算法,成本高、规模化难。在此背景下,蚂蚁灵波(Robbyant)于1月发布了LingBot-VLA 1.0,迈出了通用VLA(视觉-语言-动作)模型的第一步。时隔半年,团队基于更大规模的真实物理数据和更丰富的动作空间,推出了LingBot-VLA 2.0,试图进一步推动具身基座的通用化进程。
核心内容
LingBot-VLA 2.0是蚂蚁灵波最新开源的通用VLA模型,面向复杂物理世界任务。其核心升级包括预训练数据规模、动作空间扩展、空间理解能力增强以及未来预测能力。具体如下:
- 数据规模:LingBot-VLA 2.0使用了总计60,000小时的预训练数据,其中50,000小时来自机器人轨迹数据(覆盖20种机器人构型),10,000小时来自第一视角人类操作视频。相比1.0版本的20,000小时,数据量直接增长了3倍。
- 动作空间:从1.0的双臂扩展至头部、腰部、移动底盘、灵巧手等更完整的自由度,使模型能协调多自由度完成长序列任务。
- 空间理解:默认融合LingBot-Depth(深度模型),使机器人获得更强的空间感知能力,包括深度热力图、物体边界Token掩码、余弦相似度热图等。
- 推理性能:在英伟达RTX 4090上推理延迟低于130ms,满足实时控制需求。
- 未来预测:引入未来深度预测和语义特征预测。模型在生成动作时,通过两组可学习的query token分别对应当前和未来时刻,并利用LingBot-Depth(几何信息)和自研视频表征模型DINO-Video(语义/时序信息)进行蒸馏监督,使其不仅理解当前场景,还能预判物体位置、空间关系和任务状态变化。
实际效果演示
团队展示了三个真实场景任务:
- 冰箱收纳:机器人从操作台拿起饮料、水果放进篮子,拎起篮子移动到冰箱前,打开冰箱门,将物品逐一放入,最后关门。整套长序列移动操作一气呵成。
- 清理灶台:面对炉灶、锅架、海绵等物品,机器人先挪开障碍物,精准拿起海绵擦拭灶台,再将物品归位。考验连续决策和精细交互。
- 调料收纳:考验双臂协同和空间关系处理能力,机器人需清楚每个物体放置位置、间距、桌面结构,依靠深度信息完成精准操作。
相关对比评测
在GM-100多任务Generalist Benchmark上,LingBot-VLA 2.0与GR00T N1.7、π0.5和LingBot-VLA 1.0进行对比。评测选取9个任务,此外还在两个长程移动操作任务上与π0.5对比:
- AgileX Cobot Magic平台:LingBot-VLA 2.0整体平均成绩为66.2(进度分)/34.4(成功率),高于GR00T N1.7的36.3/17.8、π0.5的59.1/32.2以及LingBot-VLA 1.0的58.2/30.0。
- Galaxea R1 Pro平台:LingBot-VLA 2.0整体平均34.6/15.6,进度分领先,成功率与LingBot-VLA 1.0持平,但高于GR00T N1.7和π0.5。
- 冰箱收纳任务(Astribot S1):ID设置下77.1/60.0,π0.5为65.3/46.7;OOD设置下37.0/13.3,π0.5为30.3/6.7。
- 清理灶台任务(Cobot Magic-ARX X5):ID设置下84.3/66.7,π0.5为79.9/60.0;OOD设置下67.5/40.0,π0.5为62.5/33.3。
这些结果验证了模型在同平台和跨平台上的通用能力,尤其在OOD(分布外)设置下,模型表现出更好的泛化性。
关键要点
- 预训练数据达到60,000小时,包含50,000小时机器人轨迹(20种构型)和10,000小时人类第一视角操作视频,数据多样性是核心优势。
- 动作空间从双臂扩展至头部、腰部、移动底盘、灵巧手等,支持多种自由度协同,提升长序列任务表现。
- 默认融合LingBot-Depth,增强空间理解能力;通过深度热力图、边界掩码等方式精准把握机器人自身与空间关系。
- 引入未来深度预测和语义特征预测,使模型具备前瞻式时序理解能力,超越纯反馈式执行。
- 推理延迟低于130ms(RTX 4090),满足实时控制需求。
- 在GM-100基准测试中,LingBot-VLA 2.0在多个任务上全面超越GR00T N1.7、π0.5和自身1.0版本,尤其在OOD设置下表现更优。
- 技术报告、项目页面、代码库、Hugging Face及ModelScope均已开源。
意义与影响
LingBot-VLA 2.0的发布标志着具身智能领域向通用大脑方向迈出了实质性一步。当前机器人硬件本体百花齐放,但每一种新本体、新任务都需要重新适配算法,成本高、周期长。LingBot-VLA 2.0通过大规模真实数据训练和统一动作空间表示,尝试抹平不同本体之间的差异,使得同一套算法能够迁移到20多种机器人构型上。这种“大脑通用化”的路径有望显著降低具身智能的落地门槛,加速机器人技术在现实世界中的应用。
从行业趋势看,未来机器人的身体将继续多样化,但通用大脑可能趋于收敛。LingBot-VLA 2.0的成功验证了数据规模和模型架构的通用性价值。同时,它引入了未来预测能力,让模型不仅理解当前状态,还能预判变化,这对于长序列任务和开放场景至关重要。整体来看,LingBot-VLA 2.0不仅是一个更强模型,更是一种范式:用数据驱动和统一表示来解决具身智能的碎片化问题。蚂蚁灵波在一天前发布了LingBot-Depth 2.0,紧随其后推出LingBot-VLA 2.0,后续可能还有更多动作,值得持续关注。
