RSS 2026机器人操作论文报告：少样本强泛化趋势

背景

RSS（Robotics: Science and Systems）是机器人领域公认的顶级会议，以严格的论文筛选标准著称。今年的 RSS 2026 最终仅接收约 160 篇论文，极低的接受率反映了其高含金量。在会议中，“Manipulation 1: World Models & Memory”环节集中展示了机器人操作领域的最新突破。一个显著趋势正在浮现：机器人正在摆脱对海量标注数据的依赖，迈向“少样本、强泛化”的新阶段。研究者们不再依赖高昂的遥操作采集，而是从人类视频中提取数据、利用触觉手套实现跨物种对齐、或在推理时加装安全机制。

核心内容

本文精选了该环节的 9 篇代表性论文，分为三个方向，系统介绍了机器人操作如何在极低成本下实现精细任务。

方向一：从人类演示和视频中低成本获取数据

1. BiDemoSyn（华南理工大学）
   针对双臂灵巧操作中高质量演示数据昂贵的问题，提出将双臂任务拆解为“不变协调块”与“可变物体适应”两部分。前者捕捉双臂间不随任务改变的协同模式，后者根据物体形状和位姿灵活调整。仅需一段真实世界的示范视频，通过视觉引导对齐和轻量级轨迹优化，可在数小时内自动合成数千条物理可行的多样化训练数据。在六个双臂任务中，训练的策略能鲁棒泛化到新物体的位姿和形状，并实现零样本跨本体迁移。

2. DexImit（上海人工智能实验室 & 清华大学）
   为解决人类手部与机器人灵巧手结构差异导致的“具身鸿沟”，设计了一个四阶段自动化生成管线：从任意视角重建高精度手-物交互三维结构；对复杂任务进行子任务分解与双臂调度规划；合成与人类演示高度一致的机器人轨迹；通过综合数据增强实现零样本部署。该方法能直接利用互联网上任意人类操作视频甚至 AI 生成的视频，大幅降低机器人“学会动手”的门槛。

3. TactAlign（UC Berkeley & Meta）
   针对穿戴设备采集的人类触觉信号向机器人迁移时需配对数据和一致设备的问题，提出用整流流（rectified flow）将人类和机器人的触觉观测映射到同一共享潜在空间。对齐不需要配对数据集、人工标注或特权信息，而是利用手物交互中自然产生的伪配对。在接触密集型任务如拧灯泡上，仅需不到五分钟的人类触觉数据即可实现零样本迁移。

方向二：提升机器人在复杂环境中的泛化能力

4. 监督式混合专家（MoE）架构（德国国家肿瘤疾病中心）
   针对手术机器人环境复杂多变、依赖多相机和海量数据的问题，提出一种可叠加在任意自主策略之上的 MoE 架构。仅配合立体内窥镜图像，叠加 MoE 后的轻量级 Action Chunking Transformer 只需不到 150 条演示数据就能学会“肠道抓取与牵拉”长时序任务。在弱光、遮挡及全新抓取位置等干扰下保持稳健，并在离体猪组织上实现零样本泛化，完成了体内猪手术初步验证。

5. Semantic-Contact Fields（SCFields）（新加坡 A*STAR & NUS）
   针对工具操作中语义理解与物理精度结合难题，提出将视觉语义与密集接触估计融合到统一的三维表示中。设计两阶段 Sim-to-Real 学习管线：先在大规模仿真数据上预训练接触先验，再用几何启发式和力优化在少量真实数据上进行伪标注微调。最终力感知表示被送入扩散策略作为观测输入，能在未见过的工具实例上实现类别级泛化，大幅超越纯视觉和原始触觉基线方法。

6. UMI-Underwater（斯坦福大学 & 哥伦比亚大学）
   针对水下机器人操作数据采集成本极高的困境，提出“水上教、水下用”策略。系统采用基于深度信息的可供性表示，深度图在不同光照和水质条件下比 RGB 图像稳定，成为弥合陆地与水下域间差距的“通用语言”。在陆地手持演示数据上训练模型，通过几何对齐即可零样本部署到水下，并配合自监督数据采集管线让机器人自主试错。泳池实验显示，其在水下抓取性能和鲁棒性上全面超越纯 RGB 方法，甚至能泛化到仅在陆地数据中出现过的物体。

方向三：回归物理本质，优化架构与安全机制

7. 视觉-语言-动作（VLA）模型共训练数据配比研究（Meta AI）
   通过大规模实证研究（4000 小时操作数据、5000 万视觉-语言样本、89 个 VLA 策略、超六万次测试），得出结论：视觉-语言数据和跨本体机器人数据是“黄金搭档”，联合共训练显著提升泛化能力；离散动作 token 收效甚微。仅用机器人数据训练会严重退化大模型的视觉语言理解能力，加入共训练数据后可有效恢复。该研究为通用机器人策略提供了“数据菜谱”。

8. SID 框架（香港科技大学）
   针对少样本端到端策略在突发状况下易“掉出分布”的问题，提出以物体为中心的运动场。通过学习规范化的演示，在机器人偏离正常轨迹时提供大幅度纠正运动，将其逐步“滑”回可靠操作区域；一旦接近目标，运动场自然衰减，交由轻量级自我中心执行策略完成精细操作。这种“全局粗调+局部精调”解耦设计，在仅两次演示的极限条件下，于六个真实世界任务中保持约 90% 的成功率。

9. Contact-Grounded Policy（CGP）（UCSD、Brown & Sony AI）
   针对多指灵巧手接触密集型操作中触觉未被显式建模的问题，提出视觉-触觉联合策略框架。包含两个核心组件：条件扩散模型，用于预测机器人状态与触觉反馈的耦合轨迹；可学习的“接触一致性映射”，将联合预测直接转化为柔顺控制器可执行的目标状态。在配备高精度触觉传感器的真实和仿真机械手上，CGP 在操控、抓取和工具使用等任务中均显著优于现有基线，表明触觉应成为连接 AI 策略与物理现实的“接地”桥梁。

关键要点

• 机器人操作正从“数据饥渴”走向“样本高效”，核心在于减少对海量标注数据的依赖。
• BiDemoSyn 通过一次演示合成数千条数据，支持零样本跨本体迁移。
• DexImit 从任意人类操作视频（包括 AI 生成视频）中自动提取操作知识，四阶段管线实现零样本部署。
• TactAlign 利用整流流对齐人-机触觉，无需配对数据，仅需五分钟人类触觉数据即可零样本迁移。
• 监督式 MoE 架构使手术机器人在不到 150 条演示数据下学会复杂任务，并实现零样本泛化到离体猪组织。
• SCFields 融合视觉语义与接触估计，通过 Sim-to-Real 两阶段学习实现类别级工具泛化。
• UMI-Underwater 利用深度图作为“通用语言”，实现陆地到水下的零样本迁移，大幅降低成本。
• VLA 模型共训练中，视觉-语言数据和跨本体数据是“黄金搭档”，离散动作 token 收益有限。
• SID 框架通过以物体为中心的运动场在推理时主动管理分布偏移，两次演示下成功率约 90%。
• CGP 将触觉显式建模为策略与物理的桥梁，显著提升灵巧手接触密集型操作性能。

意义与影响

这些研究共同指向一个未来：机器人再也不必在实验室里苦熬千万次演示。通过从人类视频中“白嫖”数据、利用触觉手套实现跨物种对齐、在推理时加装安全护栏等创新，机器人操作的成本和门槛被大幅降低。双臂协同、手术辅助、水下灵巧操作等精细化任务正在变得可能，无需昂贵的真机遥操作采集。更重要的是，这些方法强调少样本、强泛化，有望推动机器人从实验室走向工厂、家庭、海洋甚至手术室。RSS 2026 的这些论文为社区提供了可复现的技术路径和宝贵的“数据菜谱”，加速了通用机器人策略的落地进程。