小米Robotics-U0统一生成模型破解具身智能数据难题

背景

具身智能（Embodied AI）——让机器人在真实物理世界中感知、决策并执行动作——正处于从演示到规模化落地的关键转折点。过去一年，机器人跑步、翻滚、格斗、叠衣服的视频频频刷屏，证明其能完成越来越复杂的动作。然而，从一次惊艳展示走向长期稳定运行，机器人必须适应不同环境、物体和任务，并在失败中持续进化。这一过程依赖持续运转的数据闭环：数据采集、筛选、存储、训练、仿真、验证和回灌。当前最卡脖子的环节是数据采集。

与语言模型可以从互联网获取海量文本和图片不同，机器人缺乏同等规模的“物理世界互联网”。具身模型训练需要同时采集“看到了什么”“采取了什么动作”以及“动作如何改变了自身和周围环境”这三类相互对应的视觉、动作和状态数据。这类数据通常只能通过真机操作、人类遥操作或专门采集获得。但人工和真机采集很难快速扩大规模：增加设备、摄像头和采集人员会线性推高训练时长、算力和存储成本，且低频和极端场景依然难以收集。为此，行业开始尝试通过生成模型扩展训练数据，但现有合成数据方案往往由多个模型分环节负责，任务间彼此割裂，既增加复杂度，也容易在跨模型处理时破坏场景的一致性。

小米正式发布并开源的 Xiaomi-Robotics-U0 正是为解决这一数据短缺问题而设计。它被视为一座为机器人训练提供低成本、可扩展数据的“数据工厂”。

核心内容

Xiaomi-Robotics-U0 是具身智能领域全球首个统一生成模型，它将多类生成任务整合进同一套框架中，可完成具身场景生成、具身迁移、机器人交互视频生成，并保留通用文生图与图像编辑能力。其核心目标是让机器人训练持续获得更多可用的数据和场景，且生成的数据具有可控性、可扩展性和低成本。

统一架构覆盖四类任务

过去，具身场景生成、具身迁移、机器人交互视频生成、通用文生图与图像编辑分别由不同模型完成，各模型的数据格式、训练方式和推理链路彼此独立，难以共享能力，且一段真机数据经过多个系统处理后，工程成本高，不利于扩展。U0 将这四类任务放进同一个模型，实现全球首次统一。例如，当研究人员已采集一段机械臂将耳机放入收纳盒的操作轨迹，U0 可以在保留原始动作关系的情况下，更换耳机外观、调整光照、改变桌面背景或加入反光物体等视觉干扰，无需重新真机采集。模型还能从零生成新的工作台和物体组合，补充危险、极端或低频长尾环境。

五维解耦实现精细可控

机器人训练对生成数据的要求比普通图像生成严格得多：机械臂位置、夹爪与物体的接触关系、桌面空间结构、不同摄像头视角间的几何关系都必须与原始动作轨迹严格对应。U0 设计了五维解耦的控制方式，将生成过程拆分为工作台布局、前景操作物体、前景无关杂物、光照条件、背景信息五个维度。每个维度可通过自然语言独立控制，只改变需要调整的变量，同时保留其他结构和轨迹信息。例如，只改变光线而不动机械臂和物体位置；替换操作对象而保留工作台结构和原始轨迹；增加桌面杂物以测试机器人在干扰环境中的性能。

FlashAR+ 推理加速

生成效率是规模化落地的关键。如果生成一条数据耗时过长、算力过高，即使模型能力再强也难以支撑大规模使用。U0 采用 FlashAR+ 推理加速方案，在 FlashAR 基础上进一步适配图像编辑、具身迁移和多参考图生成，结合对角并行解码与 vLLM 的分页 KV 缓存及批量调度能力。在 1024×1024 分辨率下，单样本生成时间从 450.77 秒缩短至 5.44 秒，生成效率提升约 82.9 倍。这使一条真实轨迹可以批量衍生出大量不同场景，部署在有限算力资源上成为可能。

真机评测与外部基准验证

• 真机评测：使用 U0 扩增数据训练后的机器人，在未知光照、陌生背景等分布外（OOD）场景下，任务完成进度平均提升 26.3%。面对反光物体、彩色灯光等视觉干扰时，加入 U0 扩增数据后的机器人即使出现动作偏差，也能根据后续观测重新判断环境并调整动作。在耳机收纳（精细操作）、毛巾折叠（可变形物体操作）、物品装箱（长流程任务）中均有稳定提升。
• 与闭源模型对比：与当前顶尖闭源模型 GPT-Image-2.0 的对比显示，U0 在多视角几何和机械臂位姿保持上明显更优。GPT-Image-2.0 在替换物体和场景时，不同摄像头视角中物体位置可能偏移、空间结构变形、机械臂姿态无法完整保留，而 U0 能严格保持多视角空间一致性。
• 场景生成与具身迁移专项评测：U0 在人工搭建的 benchmark（具身场景生成 400 样本、具身迁移 300 样本，均分 Easy/Hard 两档）中，人类评测结果均明显领先于其他对比模型。
• 外部评测 WorldArena：由清华大学、北京大学等机构联合建设的 WorldArena 基准测试中，U0 以匿名代号 UNIS 参评，截至 2025 年 7 月 15 日，在 126 个参评模型中取得总分第一，并在指令遵循、交互质量、视角一致性三个子项中均排名第一。

关键要点

• 统一架构： 全球首次用一个统一模型覆盖具身场景生成、具身迁移、机器人交互视频生成以及通用文生图与图像编辑四类任务，打破了过去多模型分工带来的工程复杂度和场景一致性问题。
• 五维解耦控制： 将生成过程分解为工作台布局、前景操作物体、前景无关杂物、光照、背景五个独立维度，每个维度可用自然语言独立控制，在不改变其他结构和轨迹的前提下精准修改，保证扩增数据与原始动作轨迹的几何及物理对应关系。
• FlashAR+ 推理加速： 结合对角并行解码、vLLM 分页 KV 缓存和批量调度，1024×1024 分辨率下单样本生成时间从 450.77 秒压缩至 5.44 秒，效率提升约 82.9 倍，大幅降低大规模生成的时间和算力成本。
• 数据有效性验证： 使用 U0 扩增数据训练后的机器人，在 OOD 场景下任务完成进度平均提升 26.3%；真机评测在精细操作、可变形物体操作和长流程任务中均有提升；在 WorldArena 基准测试中获得总分第一及三个子项第一。
• 开源策略： 小米将 U0 开源，使整个行业能够低成本获取和扩展具身训练数据，降低了数据采集对设备、人力和时间的线性依赖。

意义与影响

Xiaomi-Robotics-U0 的意义超越了单一模型发布，它正在为整个具身智能行业搭建一种全新的数据基础设施。

首先，从“采集驱动”转向“生成+采集双轮驱动”。 过去，扩大数据规模主要靠增加机器人数量、延长真机运行时间、组织更多人工示范，数据增长与硬件投入绑定。U0 提供了一条新路径：在已有真实数据基础上，通过生成模型批量衍生出不同场景的样本，使数据扩张不再完全依赖新增采集。一条真实轨迹可以扩展出光照、背景、物体、干扰条件各异的数十甚至数百条训练样本，大幅降低边际成本。

其次，解决了合成数据与真实环境之间的“sim-to-real”鸿沟。 传统合成数据平台（如 NVIDIA Isaac Sim）生成的画面往往在深度、接触关系、运动规律上存在偏差，导致机器人学到的能力难以迁移到真机。U0 通过五维解耦在修改特定维度的同时严格保持空间几何和动作轨迹的一致性，生成的画面不仅视觉合理，还能匹配原始动作标签，是真机可用的训练数据。真机评测中 26.3% 的 OOD 性能提升直接证明了这种数据扩增策略的有效性。

**第三，统一