← 返回信息流
AI 资讯爱范儿·1 小时前

星尘智能发布具身基础模型Lumo-2,机器人动作更快更准

原标题:机器人也开始修炼「见闻色」,星尘智能发布具身基础模型 Lumo-2,让动作更快更准了

速览

星尘智能发布Lumo-2具身基础模型和Philia物理AI智能体。Lumo-2通过隐式世界-动作模型先预测物理变化再生成动作,采用三阶段渐进训练,端到端延迟降至93ms。Philia构建Agent-机器人网关架构,支持长期人机共处。该方案标志着具身智能进入系统工程阶段,在22项家庭任务中优于基线模型。

AI 深度解读

背景

具身智能领域正从单一技能演示向系统性工程化方向演进。7 月 15 日,具身智能创业企业星尘智能(Star Dust Intelligence)发布第二代具身基础模型 Lumo-2,以及面向长期人机共处的物理 AI 智能体 Philia。这两项发布分别对应其技术框架中的「AI 模型」与「具身 OS」,与公司的绳驱机器人本体共同构成「AI 模型—具身 OS—绳驱本体」三层体系。在传统 VLA(视觉–语言–动作)模型仍以直接映射方式驱动机器人时,星尘智能试图通过引入隐式世界动态预测,改善机器人对物理变化的理解和动作生成效率,同时构建跨机器人的长期服务系统。

核心内容

Lumo-2 被星尘智能称为「家庭隐式世界—动作模型」(Latent World-Action Model)。其核心思路是在观察与动作之间加入一层「潜在世界动态」:模型先在压缩的隐空间中预测与任务有关的未来物理变化(如物体移动方向、容器是否倾倒、手与物体的接触状态等),再根据这份预测生成动作。这种预测并非生成完整视频(避免高算力消耗),而是保留与行动相关的「未来草稿」,使得 Lumo-2 位于传统 VLA 和完整视频世界模型之间——既保留了「先预测后行动」的思路,又将预测限制在更轻量、更接近控制需求的隐空间。

与上一代 Lumo-1 依赖显式文本推理不同,Lumo-2 将推理转移到隐空间,旨在减少 token 生成的同时捕捉更连续的时空变化。例如在倒水任务中,透明水倒出前后单帧图像可能非常相似,Lumo-2 通过引入短期动作历史(此前做了什么)来避免状态混淆。它还重新处理了动作表征,采用三阶段渐进式训练:

  1. 第一阶段:让动作与视觉世界变化对齐,从前后帧视觉变化中筛选物理运动信息,用动作约束视觉表示,减少无关因素干扰。
  2. 第二阶段:将动作与视觉和语言对齐,使动作 token 具有「拿起杯子」「继续倾倒」等语义关系,训练任务包括动作描述、动作预测、世界动态预测及一致性判断。
  3. 第三阶段:将视觉语言数据、互联网视频、第一人称人类视频和机器人数据联合训练,让模型同时学习世界知识、物理变化和动作生成。

为满足实时控制,Lumo-2 采用分块自回归生成,一次预测一组动作 token。论文数据显示,在单张 RTX 5090 上,端到端延迟从约 253.66 ms 降至 93.53 ms。在覆盖 22 项家庭任务(包括接球、倒水、煎蛋、打蝴蝶结、整理行李箱等)的实验中,Lumo-2 在时序推理、物理理解、动态场景、高精度等类别上整体优于 π0.5 和 Fast-WAM 等基线,且在未见语言指令和未见物体条件下成功率更高。

物理 AI 智能体 Philia 则解决「用户如何获得良好体验」的问题。它不直接操控机器人,而是将机器人定义为智能助理可调用的「物理执行者」。其架构分三层:用户界面层(飞书、微信、语音、网页等)、Agent 控制平面(理解意图、调用记忆、拆解任务、选择机器人)、机器人本地运行时(感知、导航、模型推理、轨迹执行和安全控制)。关键连接组件是 Robot Gateway(机器人网关),每台机器人通过网关公开标准能力(如观察场景、执行操作、导航等),类似软件 API——底层策略可替换,上层交互不变。Philia 支持长期记忆,例如记住用户早餐偏好,后续只需说「把平时早餐吃的食物放进托盘」即可。它还支持多台机器人统一管理,用户可同时给不同机器人下达任务,但始终与同一个助理身份交互。

关键要点

  • Lumo-2 在 VLA 和视频世界模型之间折中:通过隐空间预测物理变化(而非完整像素),兼顾轻量性和预测能力,称为「隐式推理」(latent reasoning)。
  • 引入短期动作历史解决单帧状态混淆问题,例如透明水倒水任务中判断是否继续倾倒。
  • 动作表征重新设计:认为单纯还原轨迹不够,需让动作 token 具备语义关系;采用三阶段渐进训练对齐动作、视觉、语言和世界知识。
  • 分块自回归生成显著降低延迟(253.66 ms → 93.53 ms),满足实时控制需求。
  • Philia 通过 Robot Gateway 标准化机器人能力接口,使上层交互、记忆和任务系统与底层策略解耦,便于升级。
  • 长期记忆是 Philia 区别于普通控制系统的重要特征:系统可存储用户偏好(如早餐习惯),实现个性化任务执行。
  • 多机器人统一管理:用户与同一智能体交互,智能体可将不同任务分派给不同机器人,并追踪执行状态,即「统一身份、多本体」设计。

意义与影响

Lumo-2 与 Philia 的同时发布,标志着具身智能从单一技能演示进入「系统工程」阶段。Lumo-2 向下深入——研究机器人如何通过隐式世界动态理解物理变化、利用更多数据并生成更稳定动作;Philia 向上扩展——研究如何将操作模型、导航、记忆、交互和多台机器人整合为长期服务用户的系统。两者互补,构成机器人「硬件性能」与「系统体验」的二元支撑。对于行业而言,这意味着进入家庭场景的准入门槛不再是一段漂亮的演示视频,而是一套可持续升级、可被打断、能够记忆并对真实世界负责的完整系统。这种「模型 + OS + 本体」的三层架构,也为具身智能未来的标准化和规模化提供了参考路径。

查看原文 →ifanr.com