具身智能评测RoboDojo：人类100分，最强模型仅12.8

背景

过去一年，视觉-语言-动作模型（VLA）、机器人基础模型、世界模型等概念频繁登场，机器人演示视频中叠碗、插管、收纳、倒水等任务看似越来越丝滑。然而，这些模型的实际能力究竟如何、谁更强、能否从仿真迁移到真实世界，始终缺乏统一、可复现的衡量标准。现有评测多由模型方自行测试，任务设计往往偏向自家模型优势，难以横向对比。具身智能领域迫切需要一座“海拔尺”，既能诊断模型在仿真中的能力短板，也能在真实机器人上验证其部署稳定性。

核心内容

RoboDojo 是由香港大学 MMLab 等学术机构发起的一个统一仿真+真实世界机器人操作评测基准，旨在为具身智能设立一座“珠峰”式的挑战。其设计理念不是简单堆砌任务数量，而是将机器人操作能力拆解为五个核心维度，并同时覆盖仿真与真机两个赛道。

任务设计

• 仿真环境：42 个任务，围绕五大能力展开：
  • Generalization：适应新背景、新光照、新物体和杂乱场景，桌面杂物最多可随机到 25 个。
  • Memory：记住之前看到的信息，例如传送带上消失的物体，再从后续候选物中选出匹配目标。
  • Precision：完成插管、对齐、插入等高容错要求的精细操作，稍有偏差即失败。
  • Long-Horizon：多步骤、强依赖的连续任务，误差会逐级累积，例如拿起、移动、交接、对齐、放置。
  • Open：理解从未见过的开放语义指令，并将语言目标转化为动作序列。
• 真实世界评测（RoboDojo-RealEval）：18 个任务，覆盖 ARX X5、Piper、Piper X 三种双臂机器人平台，每个平台 6 个任务。任务包括盖积木、做面包、插管、叠碗、装背包等日常操作。评测流程标准化：统一硬件配置、工作空间、光照、场景复位流程和部署接口，每次测试由三名评审双盲打分，既看最终成功也看中间步骤完成情况。

评测结果

• 仿真排行榜上，集成评测了 30 个主流策略（如 Hy-Embodied-0.5-VLA、Spatial Forcing、π0.5、X-VLA、GR00T-N1.7、π0、OpenVLA-OFT 等）。
  • 第一名 Hy-Embodied-0.5-VLA：平均分 13.07，平均成功率 8.80%。
  • 人类专家在仿真中平均成功率 76.03%。
• 真实世界排行榜上，表现最好的模型是 π0.5，总体成功率 12.8%，平均分 22.9。
  • 人类专家在真实世界中成功率 100%。
• 关键发现：当前模型在开放语义任务上成功率仅约 1.67%；长程任务中机器人常能在前几步完成，却在最后对齐、插入或放置环节失败；仿真中表现靠前的模型在真实世界中不一定稳定，相机噪声、标定误差、机械臂延迟等物理因素会放大失败。

基础设施
RoboDojo 还提供两个配套组件：

• 异构并行仿真：支持不同任务、不同物体、不同布局同时运行，提升评测效率。
• XPolicyLab：统一接入层，标准化不同模型的数据格式、预处理、训练脚本、动作表示和部署环境，实现“一次接入，多处评测”。目前已集成 30 个代表性模型。

关键要点

• RoboDojo 是首个同时覆盖仿真与真实世界、且由学术机构独立维护的机器人操作评测基准，避免了商业模型方自评的偏差。
• 仿真环境设计了 42 个任务，覆盖泛化、记忆、精细操作、长程执行、开放语义五大核心能力，而非简单 pick-and-place 变体。
• 真实世界评测包含 18 个任务，采用三种双臂机器人平台，并引入双盲评分和标准化复位流程，确保可复现性。
• 当前最强通用机器人策略在仿真中平均成功率仅 8.80%，在真实世界中仅 12.8%，而人类专家在仿真中为 76.03%，真实世界中为 100%。
• 开放语义任务是最薄弱环节，最强模型成功率仅 1.67%，表明机器人基础模型在理解并执行未见过的语言指令方面仍存在显著差距。
• 长程任务中，机器人往往能完成前几步，但在最后对齐、插入、放置等关键步骤上失败，误差累积问题突出。
• 仿真成绩与真实世界成绩并不完全相关，说明模型在仿真中表现良好不保证在真实物理世界中同样稳定。
• XPolicyLab 作为统一接入层，大幅降低了不同模型公平比较的工程成本，支持模型在仿真中快速迭代后再部署到真实机器人。
• RoboDojo 是一个可持续更新的竞技场，任务可扩展，模型可不断上榜，新评测维度（灵巧操作、移动操作、触觉操作、人形全身操作）将陆续推出。

意义与影响

RoboDojo 的推出标志着具身智能评测从“demo 驱动”走向“标准化赛道”的关键转折。过去，一段漂亮的机器人演示视频容易让人产生“通用机器人即将到来”的错觉，而 RoboDojo 用数据揭示了当前模型与真正通用操作机器人之间的巨大鸿沟：模型在仿真中尚能勉强完成部分任务，但到了真实世界可靠性骤降；即使是最强模型，在开放语义等核心能力上也几乎为零。这种“差距可视化”并非坏消息，反而为社区指明了明确的改进方向——谁能在泛化、记忆、精细操作、长程执行和开放理解上同时取得突破，谁就能在真实的“登山”中领先。

更重要的是，RoboDojo 作为一套开放、可持续的基础设施，能够持续衡量模型进步的速度。研究者可以“一次接入，多处评测”，在仿真中快速诊断能力短板，再在真实机器人上验证部署效果。这种机制有助于形成良性竞争：不再比拼宣传视频的“丝滑程度”，而是比拼标准化榜单上的真实分数。对于整个具身智能领域而言，RoboDojo 提供了一面客观的镜子，让行业更加清醒地认识到当前的技术瓶颈，从而推动真正可泛化、可部署的通用机器人操作能力的到来。