← 返回信息流
AI 资讯量子位·2 小时前

98年哈工大教授创业,要做人形灵巧操作世界模型

速览

该项目由一位1998年出生的哈工大教授创立,专注于构建人形灵巧操作的世界模型。核心思路是通过采集触觉数据、对齐触觉信息、并最终在实际操作中运用触觉,提升机器人的精细操作能力。这一方向有望推动具身智能在复杂装配、医疗辅助等场景的落地。

AI 深度解读

背景

人形机器人的灵巧操作能力正处于从“看懂世界”向“真正操作世界”过渡的关键阶段。当前主流的视觉-语言-动作(VLA)模型和世界模型已经让机器人能够理解场景、预测未来画面,但一旦进入真实的物理世界,问题立刻变得具体且棘手:机器人拿什么学习这个世界?靠什么把动作做出来?又怎么知道自己到底碰到了什么?

前两个问题指向数据和本体硬件,第三个问题直接指向触觉。在机器人灵巧操作中,触觉是连接机器人与物体之间真实交互的“最后一层感知”。然而,触觉数据的采集极其困难——传感器易损、数据噪声大、采集效率低,且不同传感器的数据表示不统一。这些基础设施层面的问题长期制约着触觉灵巧操作的发展。

哈尔滨工业大学(深圳)计算机科学与技术学院长聘教授、博导杨朔(1998年出生)及其团队,从Data-Centric AI的研究路径切入机器人领域,形成了一条清晰的触觉技术路线:先采集触觉数据,再从视觉中恢复触觉,最后让具身模型真正使用触觉。基于这一路线,杨朔创办了破晓智能(PHANES AI),致力于构建融合人类视频数据与触觉感知模态的人形机器人全身移动灵巧操作世界模型。

核心内容

破晓智能的技术布局围绕Touch系列模型展开,由三篇完整工作构成一条从数据到模型、再到全身控制的技术链条。

EgoTouch:解决触觉数据采集问题

EgoTouch是一套面向灵巧操作的第一人称视觉-触觉数据采集系统。它将头戴第一人称视角、腕部视角、手部3D姿态和双手压力图整合进同一套采集方案,使人类操作视频同时携带接触和压力信息。团队围绕刚性物体、柔性物体、抓取、抓捏、拧动、工具使用等任务,系统采集人类在真实操作中的视觉和触觉对齐数据。

TouchAnything:从纯视觉视频中恢复触觉

触觉数据始终有限,但互联网上已有大量第一人称人类操作视频。TouchAnything的目标是让模型学会从纯视觉视频中推断双手的接触区域和压力分布。它利用EgoTouch这类视觉-触觉对齐数据训练,使模型具备“从视觉恢复触觉”的能力。这一工作本质上是一个数据放大器:将少量带触觉标签的数据扩展成更大规模的触觉监督信号,让原本只记录动作外观的人类视频补上接触信息。

TouchWorld:触觉世界模型

TouchWorld是这三项工作的核心,它让触觉进入机器人世界模型的两个关键环节:预测未来接触状态,并在执行中根据触觉反馈修正动作。

  • Predictive(预测性):机器人不仅预测下一帧画面,还要预测任务完成时手与物体应该形成的接触状态。例如按喷壶按钮,视觉上很难判断是否已压到底,但触觉信号能直接指示是否到位。TouchWorld通过触觉目标预测,让机器人知道每个子任务完成的触觉标准。

  • Reactive(反应性):真实操作中物体可能滑动、接口偏移、手指未抓稳,机器人需要像人一样在接触瞬间做出快速调整。TouchWorld的架构中,上层世界模型输出粗动作,底层根据实时触觉反馈以4倍频率输出delta修正量,实现高频纠偏,而不依赖每次重新规划完整动作。

HumanWBC:全身移动灵巧操作控制

这是技术路线的最终闭环。基于人类数据训练全身移动灵巧操作控制模型,将感知理解、自主移动、全身控制、双臂协同和灵巧手操作整合到同一系统。它让机器人从“能看懂”走向“能走过去、抓起来、做完事”。

真实任务验证

TouchWorld在六个真实机器人任务上完成测试:浇花(按压喷壶按钮)、桌面清理、电源插头插入、杯子插入、擦锅(持续调节压力)、抽纸巾(柔性物体稳定拉取)。在无扰动场景下平均成功率达65.0%,在人为扰动场景下达57.2%。相比Pi-0.5、FTP-1、GR00T N1.7等基线方法,TouchWorld在两个设置下分别高出最强baseline 15.7和16.0个百分点。

关键要点

  • 触觉是机器人灵巧操作的关键缺失信息:视频无法完整记录手指压力、接触稳定性、物体滑动等关键状态,这些信息必须通过触觉获取。
  • EgoTouch、TouchAnything、TouchWorld构成完整数据-模型-控制链路:先采触觉数据,再从视觉中恢复触觉(数据增广),最后让机器人世界模型预测和使用触觉。
  • TouchWorld的双层架构:高层预测触觉目标(predictive),底层以4倍频率根据实时触觉反馈输出动作修正量(reactive),实现高频纠偏。
  • 人类操作数据是机器人学习的重要入口:NVIDIA EgoScale、Generalist系列等工作已证明,大规模人类数据预训练结合少量真机数据后训练,可显著提升机器人长程复杂任务成功率。触觉补全了这一路线的关键信息缺口。
  • 系统问题而非单点模型问题:触觉灵巧操作涉及数据采集、传感器硬件、数据表示统一、benchmark建立等多方面挑战,破晓智能的路线是搭建完整能力链而非只做模型。
  • 目前成功率仍有限:TouchWorld在clean setting下平均成功率65.0%,说明距离大规模泛化仍有距离,但验证了触觉目标预测和反馈修正的确能提升操作稳定性。

意义与影响

破晓智能(PHANES AI)从触觉数据切入,系统性地推动了人形机器人灵巧操作的底层能力建设。其价值不仅在于发布了一个新模型,更在于明确了以下判断:

机器人基础模型的下一层能力是触觉。 视觉和语言已经让机器人“看懂世界”,但要真正“操作世界”,机器人必须知道有没有碰到、有没有抓稳、有没有滑、力是否合适。触觉是连接感知与动作的感知闭环的关键组件。

从数据到模型到控制的完整能力链是必需的。 破晓智能选择搭建数据采集平台、触觉估计模型、触觉世界模型、遥操硬件、评测体系以及全身控制模型的全栈方案,而非单点突破。这一思路回应了当前人形机器人行业“demo多、落地难”的现状。

人类视频数据是机器人触觉学习的规模化路径。 通过TouchAnything从大量第一人称视频中恢复触觉,破晓智能打通了低成本、大规模获取触觉监督数据的路径,为触觉世界模型的训练提供了关键基础。

全身移动灵巧操作是下一阶段目标。 从桌面灵巧操作扩展到移动、平衡、双臂协同、长程任务,触觉反馈需要和机器人整体动作系统深度结合。HumanWBC正是这一目标的阶段性落脚点。

对行业而言,TouchWorld在真实任务中10%以上的成功率提升(相对最强baseline)提供了一个可复现的基准,证明触觉介入世界模型的可行性。对于机器人进入家庭、服务、工业等真实场景,这一工作标志着从“视觉导向的操作”向“触觉导向的操作”迈出了实质性一步。

查看原文 →qbitai.com