← 返回信息流
AI 资讯雷峰网·4 小时前

专访Ψ₀团队：用对方法，30小时真机数据也能练模型

原标题：专访 Ψ₀ 团队：用对方法，30小时真机数据也能练模型｜RSS 2026

速览

Ψ₀采用三阶段训练：先用829小时人类视频预训练学习语义和视觉表征，再用30小时真机数据训练动作头，最后微调适配任务。该方法通过优化训练方式而非单纯增加数据量，突破机器人数据瓶颈，在8个长程任务中成功率相比基线提升超40%。

AI 深度解读

背景

2026 年 7 月 13 日，RSS 2026 在悉尼开幕。如何突破机器人数据瓶颈成为具身智能领域的研究主线——有人扩大数据规模、有人寻找新数据来源、有人探索生成模型带来的数据增量。南加州大学 PSI Lab 的研究团队从另一角度出发：如果真机数据短期内无法增加，能否先改变数据的使用方式？他们提出的 Ψ₀ 基础模型，使用约 829 小时人类第一视角视频进行预训练，再利用约 30 小时真机遥操作数据完成机器人控制学习，在 8 个真实世界长程任务中相比公开基线取得超过 40% 的成功率提升。

核心内容

Ψ₀ 的设计核心在于重新定义人类数据与机器人数据的关系。团队认为，人类动作与机器人动作并非同一种“语言”——人手拥有数十个自由度，而机器人手部结构、关节空间、动力学约束完全不同。直接混合训练会让模型同时拟合两种差异巨大的动作分布，效率低下；且人类数据规模远大于稀缺的真机数据，混合训练易使机器人动作分布被淹没。基于此，论文提出三阶段训练流程：

  1. 第一阶段：利用人类视频学习通用能力
    模型使用约 829 小时 EgoDex 第一视角人类视频预训练，目标预测下一步人类动作。关键不在于学到具体动作轨迹，而是获取两类底层能力：

    • 任务语义：建立视觉、语言与任务间的对应关系，理解操作含义。
    • 视觉表征：EgoDex 采用 Apple Vision Pro 采集的第一视角视频，视角与机器人头部摄像头高度一致，使模型提前学会如何在操作环境中观察。
      团队强调，高质量视频不指分辨率，而是更准确的 3D 手部追踪信息（Apple Vision Pro 可直接获取手部及手指三维位置），避免了互联网视频后处理算法带来的误差。

  2. 第二阶段：利用有限真机数据学习精准控制
    冻结第一阶段训练好的 Backbone（基于 Qwen3-VL 的视觉语言模型），保留已学到的视觉表征和任务语义；在其上训练一个 Action Head（专用动作输出模块），将 Backbone 提取的视觉语言特征映射为机器人关节控制信号。该设计避免直接迁移人类动作轨迹，而是利用高层特征实现精准映射。消融实验显示：未经预训练的模型成功率仅约 20%，加入预训练后大幅提升。

  3. 第三阶段：专属任务遥操作数据微调
    使用少量领域内遥操作数据微调动作专家，使模型快速适配全新长时序灵巧移动操作任务。论文设置 8 项真实场景任务，每项包含 3~5 个子技能（抓取、推拉、倾倒等），全部任务 30Hz 采样下超过 2000 步，属于典型长时序任务。

此外，Ψ₀ 还解决了三个工程挑战：

  • 视觉、语言与动作信息的充分融合：采用 MM-DiT（Multimodal Diffusion Transformer）作为 Action Head，借鉴 Stable Diffusion 3 的“双流”设计——视觉语言特征和动作特征分别通过各自网络，再通过 Joint Attention 融合，消融实验显示 MM-DiT 稳定优于传统 DiT。

  • 推理延迟导致人形机器人失衡：提出 Real-Time Chunking（实时动作块衔接），在训练阶段模拟延迟——随机遮挡当前动作序列前段，强迫模型仅根据后段动作预测下一步。使模型学会惯性衔接，减少碰撞，运行更流畅。

  • 全身控制的现实分工：采用分层控制架构，VLA 负责高层移动与操作决策，底层平衡和步态由独立 RL Controller（AMO）完成，不试图单模型解决所有问题。

关键要点

  • 三阶段训练流程（人类视频预训练 → 真机数据后训练 → 专属微调）有效解决了人类与机器人动作分布不匹配、数据规模不对称的问题。
  • 预训练阶段重点学习任务语义和视觉表征，而非具体人类动作轨迹，有利于迁移到机器人控制。
  • MM-DiT Action Head 的双流结构比传统 DiT 更有效融合多模态信息。
  • Real-Time Chunking 训练策略通过模拟推理延迟，实现了流畅的实时动作衔接，不影响任务成功率。
  • 分层控制架构（VLA + RL Controller）是当前人形机器人的务实选择。
  • Ψ₀ 在仅使用约 30 小时真机数据的情况下，在 8 个长程任务上相比公开基线获得超过 40% 的成功率提升。

意义与影响

Ψ₀ 的核心贡献并非提出全新概念，而是将三阶段训练、MM-DiT、Real-Time Chunking 组合成一套完整流程，在数据稀缺的现实条件下取得了竞争力结果。它没有挑战 Scaling 方向，而是将关注点从“一味扩大数据规模”转向“更好地利用现有数据”——即论文结论“scale the right data in the right way”的含义。

该研究对具身智能领域的启示包括：

  • 数据质量（如 3D 手部追踪精度）比单纯数量更重要。
  • 人类第一视角视频（尤其与机器人视角匹配的数据）具有很高的预训练价值。
  • 模型架构和训练策略的优化（如双流设计、延迟模拟）可以弥补数据量的不足。
  • 与魏松林的讨论进一步表明：当前世界模型与 VLA 路线的比较可能受基础模型规模差异影响；未来最有价值的数据是采集成本低、扩展容易的数据；魏松林坚定支持大模型路线，认为其统一流程能降低累积失败率并实现通用能力。

相关推荐

查看原文 →leiphone.com