UniTac赋予机器人触觉想象力

背景

过去一年，随着具身基础模型的快速发展，机器人已经能完成不少轮廓清晰、位置明确的操作任务。但一旦涉及柔性物体、易损物体或密集接触，机器人往往就开始力不从“脑”——无论是捏起一颗葡萄而不将它捏破，还是抓住一只纸杯而不让它变形，视觉只能帮助机器人找到目标，想要完成任务，机器人还需要人类与物体交互时不可或缺的触觉感知。

正因如此，越来越多团队开始将触觉作为建构机器人大脑的重要模态。例如，UniTouch、AnyTouch尝试统一不同传感器的触觉表征，FuSe、Tactile-VLA把触觉送进通用策略与VLA，近期的TacImag则开始探索让机器人仅凭视觉和本体感觉“想象”触觉；NVIDIA也推出TacSL等视觉触觉仿真工具，加速触觉策略从仿真走向真机。但这些路线仍各有边界：传感器异构让数据难以互通，触觉理解、生成与动作应用也往往分散在不同模型中。

核心内容

最近，UniX AI（优理奇机器人）联合浙江大学、麻省理工、牛津、耶鲁以及上海交通大学，发布最新科研成果UniTac，提出一套统一的跨传感器触觉理解与生成架构，并进一步接入VLA，为机器人补上了“触觉想象力”。该工作已被ECCV 2026接收。

简单来说，UniTac让机器人获得了一种“未触先感”的能力——在真正碰到物体之前，先“想象”出它摸起来是什么感觉，再决定怎么下手。例如，面对一个软杯，机器人会先预测它受力后的形变，再决定从哪里接触、该用多大力。对比来看，在未融合UniTac的情况下，VLA就会将纸杯捏扁。这意味着，触觉第一次从“碰到以后才知道”，变成了“碰到之前就能预测”。

机器人为什么需要“未触先感”？

如果把过去几年机器人基础模型的发展看作一个不断把AI锚定到真实世界（grounding）的过程，大致可分为三层：

• VLM（视觉-语言模型）完成第一层grounding：把抽象的语言概念对应到现实世界，让机器人知道看到的是什么；
• VLA（视觉-语言-动作模型）再往前一步，把视觉语义和语言指令锚定到动作（轨迹），让机器人知道应该规划怎样的轨迹；
• 当动作真正落地到物理世界时，还差着第三层grounding——机器人必须知道应该怎样完成这次接触。

对于机器人来说，“抓取”只是一个动作标签，但现实里的每一次接触却完全不同。例如，抓起一块毛巾需要判断哪里更容易捏住，毛巾的材质、大小、形状、表面粗糙程度都会导致抓取失败。在未接入UniTac时，VLA就无法抓起橙色毛巾。真正决定机器人操作成功与否的，不只是轨迹，而是接触过程本身。这正是当前VLA模型面对柔性物体、易损物体和接触密集型任务时的短板：动作生成缺少对接触过程的预判与理解。

完全依赖视觉，机器人很容易对外观相似的物体采用同一套操作策略。如果等到接触发生后再根据触觉反馈修正，纸杯可能已经瘪了，薯片也可能已经碎了。所以，如果机器人能够在真正碰到之前就已经知道未来的触觉状态，那么第一次接触就会安全得多。

UniTac的实现方式

UniTac先从大规模、多传感器数据中学习统一的触觉表征，再根据视觉信息预测潜在触觉状态，把触觉从“接触后的反馈”前移成“接触前的先验”，并送入VLA。这并没有取代接触后的实时反馈，而是在第一次下手之前，让机器人先预判这次接触可能带来的物理后果。

跨传感器的理解与生成

为了让触觉进入基础模型，UniTac先处理了最难统一的数据问题。触觉图像虽然看起来很像RGB图像，但产生方式却完全不同。以GelSight、DIGIT、Duragel等视觉式触觉传感器为例，它们本质上是通过相机记录凝胶受压后的形变。一张触觉图像里通常混着两类信息：一类来自物体（硬度、粗糙度、纹理和接触形变），另一类来自传感器（光照、凝胶状态、Marker布局和相机参数）。同一个物体，换一种传感器，得到的数据可能完全不同。模型如果分不清哪些变化来自物体、哪些来自传感器，就很难实现跨设备泛化。

同时，过去的触觉模型大多建立在单一传感器或小规模数据集上，例如PHYSICLEAR只有482段触觉视频，而整个社区其实已经公开了超过40万段触觉视频、160万帧数据——问题不是没有数据，而是数据分散在不同传感器、不同数据集和不同任务中，无法被统一利用。

UniTac把触觉理解和触觉生成放进同一个多模态框架，统一吸收来自不同传感器的数据。具体来说，UniTac将触觉拆分成两个部分：物理属性和传感器配置。前者描述物体在接触中呈现出的硬度、粗糙度和纹理等属性；后者刻画传感器的光照、凝胶状态、Marker布局和相机参数等配置。

UniTac整体架构围绕这两方面展开：

• 理解端：模型同时学习物体属性描述和传感器识别。前一个任务让模型理解表面属性，后一个任务让模型辨认信号来自哪种设备。增加传感器识别并非单纯多做一道题，它迫使模型区分哪些变化来自物体、哪些来自传感器。从实验结果看，面对不同传感器采集的触觉视频，UniTac已经能围绕硬度、粗糙度和纹理生成与接触材料相符的描述，并能完成属性比较、物体匹配和极值选择等推理任务。
• 生成端：分两步训练。先训练触觉解码器，学习重建真实触觉信号；再用Sensor-Aware DiT Projector，将MLLM的语义输出对齐到触觉latent空间，并加入对应的传感器token。生成触觉时，UniTac改掉了普通生成模型常用的“无条件分支”——研究发现触觉不存在真正的无条件状态，任何一段触觉信号都由某个具体传感器产生。因此，UniTac先给定目标传感器未接触物体时的状态，再生成接触发生后由物体属性带来的变化。

实验结果

• 触觉理解方面：UniTac-7B在PHYSICLEAR-Test上以66.51分领先Octopi等触觉理解模型以及BLIP3o等统一模型。在属性-物体匹配任务中，UniTac-7B取得64.61分，说明它不仅能识别软硬、粗糙度等物理属性，还能进一步判断触觉来自哪类物体。
• 触觉生成方面：面对Digit、GelSight、GelSight Mini和Duragel四类传感器，UniTac的平均SSIM和PSNR分别达到0.836和19.93，均取得最佳结果。这种稳定的跨传感器生成能力，让它能够进一步为VLA提供触觉先验，帮助机器人判断该怎样更安全地接触目标。

关键要点

• UniTac实现了统一的跨传感器触觉理解与生成架构，首次将触觉理解、生成和跨传感器迁移纳入同一框架，并接入VLA。
• 核心创新在于将触觉信息拆解为“物理属性”和“传感器配置”两部分，通过理解端和生成端协同训练，使模型能区分物体固有属性和传感器特异性。