原力灵机发布DW0.5:世界模型教练VLA,RL搬进虚拟世界
速览
原力灵机发布DW0.5模型,将强化学习(RL)迁移至虚拟世界,以世界模型作为VLA(视觉-语言-动作)的教练。该方法显著降低了对真实机器人数据的依赖,后训练中真机数据需求骤降60%。这标志着VLA训练范式的重大突破,有望加速具身智能的落地应用。
AI 深度解读
背景
具身智能(Embodied AI)的目标是让机器人在真实物理世界中执行复杂任务,并持续从经验中学习。然而,与代码 Agent 不同,代码 Agent 可以自动执行、自动验证、自动反馈,奖励信号清晰明确,从而在后训练(Post-training)阶段形成完美的自反馈闭环。具身智能面对的物理世界极为复杂,每一次真机试错都意味着高昂的人力与硬件损耗,且难以获得即时验证。VLA(视觉-语言-动作模型)作为早期技术路线,暴露出物理理解缺失、泛化能力弱、长时序与规划能力不足等问题。世界模型后来成为行业新宠,但同样不是万能解法。行业急需一种低成本、高频率、接近真实的训练反馈环境,让强化学习(RL)能够在虚拟世界中高效运转。
核心内容
原力灵机发布了旗下首款具身世界模型 DW0.5,并将其接入世界模型驱动的具身智能后训练框架 DFOL 2.0。DW0.5 基于上万小时真机、多视角数据联合预训练,能够支持多模态输入(任务指令、图片、视频),并可选定机器人类型。它利用历史动作预测后续视频状态,不仅能生成机械臂正常作业的视频,还能还原任务失败的场景,从而支撑 DFOL 2.0 框架的在线强化学习训练。
DW0.5 本质上是一个高保真仿真器,把强化学习搬进虚拟世界。流程如下:基座模型 DM0.5 先生成初始动作,推给 DW0.5 → DW0.5 在虚拟环境中预演这些动作会导向的未来,批量生成成功和失败的轨迹 → 强化学习教练员 CFG-RL 对每条轨迹的任务进度打分 → 打分和奖励实时回传,更新模型权重,迭代出更强的 DM0.5。据披露,这套流程可使后训练中真机数据需求骤降 60%,整体训练成本下降 40%。
DW0.5 由三大专家模块组成:
- Video Expert:负责预测动作执行后的未来视频状态,包括成功与失败轨迹。
- Action Expert:将动作作为结构性强先验,通过 MoT(Mixture of Tokens)注意力机制与视频序列帧级对齐,强制动作与视频帧一一对应,确保物理合理性。
- Value Expert:对当前状态、候选轨迹或整段 rollout 给出成功概率或任务价值评估,将稀疏的任务结果信号转化为密集的中间反馈。其 Value-Order Correlation 达到 95% 以上。
数据策略上,DW0.5 使用四类数据源:具身公开数据与自采机器人数据(含真机噪声)、互联网视频数据、第一人称人类活动数据、真机与仿真 rollout 数据(覆盖偏离、卡住、恢复等中间状态)。这种设计确保模型既能学习“应该怎么做”,也能学习“做错了世界会变成什么样”。
在工程化泛化表现上,DW0.5 展示了高阶指令与多步动作跟随、多维连续泛化、多视角强一致性、动作-视频生成高度一致性等能力。在 EWMBench、WorldArena 等基准测试中,分别以 4.73、73.54 的分数斩获全球 SOTA(数据截至 7 月 9 日)。实际部署中,DW0.5 已在内部跑通 DFOL 2.0 闭环,并接入原力灵机的 DexDev MaaS 平台。
关键要点
- 解决行业痛点:具身智能后训练飞轮难以运转,真机 rollout 成本高、人工反馈无法高频覆盖、传统仿真无法完整复刻真实物理特性。DW0.5 提供了一个介于两者之间的 Learned Environment,支持低成本大规模的数据生产与策略迭代。
- 核心创新:将世界模型作为后训练的一部分,而不是仅用于规划或预测。DW0.5 不仅模拟成功轨迹,还强制生成失败轨迹,为强化学习提供丰富的惩罚信号。
- 三大模块协作:Video Expert + Action Expert 共同预演动作后果,Value Expert 将后果转化为可优化的价值信号,三者构成完整的 RL 训练闭环。
- 动作作为强先验:与部分世界模型不同,DW0.5 将动作作为结构性条件输入,通过 group-diagonal attention mask 切断视频帧与非对应动作的信息通路,从结构上区分不同动作路径。
- 显著的成本降低:真机数据需求骤降 60%,整体训练成本下降 40%。大部分数据由 DW0.5 在线生成,无需全部依赖真机试错。
- 实测效果:在打气球、晾衣服、叠纸盒等复杂任务中,相比单纯 SFT 基线,关键步骤成功率大幅提升(如打气球任务中“给气球打气”从 10% 升至 90%)。
- 真实数据的不可替代性:原力灵机强调世界模型目前仍需真机校准,真机数据仍然重要,世界模型的作用是降低成本而非完全替代真实数据。
意义与影响
DW0.5 的发布为具身智能领域提供了一条明确的、可规模化应用的落地路径。它解决了后训练阶段缺乏低成本反馈闭环的痛点,使强化学习能够在虚拟世界中高效迭代,大幅降低对真机资源的依赖。这不仅加速了 VLA 模型的泛化能力提升,也降低了具身智能部署的门槛。
从技术路线看,原力灵机摒弃了“贴标签”的流派之争,以目标导向融合世界模型与强化学习,这种务实思路可能引领行业新范式。DW0.5 作为“世界模型驱动的仿真器”,使得具身智能后训练不再局限于昂贵的真机环境,而是可以像代码 Agent 那样在虚拟世界中快速试错和优化。
此外,DW0.5 的开放(GitHub 和 Hugging Face 已开源)有望推动社区在具身世界模型方向的研究与合作。若未来世界模型能力持续提升,现场人员甚至可以利用 Ego 相机采集操作数据,减少对专业真机采集团队的依赖,使后训练流程更加民主化和低成本。整体而言,DW0.5 标志着具身智能后训练从“资源密集型”向“数据智能型”迈出实质性一步。
