收集机器人训练数据是肮脏且不光彩的工作。一些 AI 实验室已开始付费让 XDOF 代劳

背景

两周前，OpenAI 宣布重启其在 2021 年关闭的机器人项目，这是目前最大规模的 AI 实验室竞相教导机器在物理世界中运作的最新信号。然而，构建具备能力的机器人需要一种 AI 行业目前尚不具备的东西——即与语言模型相匹配的训练数据。

这种差距催生了一种新型的基础设施业务。与利用海量公开文本训练的 LLM（大型语言模型）不同，机器人需要捕捉物理交互的数据，而这类数据几乎不存在。YouTube 视频和零工经济工作者拍摄的画面保真度低，且难以与物理世界协调。

XDOF（发音为 “ecks-doff”）今日从隐身状态中走出，押注 AI 的下一个巨大瓶颈并非模型或芯片，而是教导机器人如何与物理世界交互所需的数据反馈循环。

核心内容

这家初创公司旨在构建前沿实验室和机器人公司难以自行建立的数据管道、收集工具和标注系统，并为此从 Thrive Capital、Spark Capital、a16z、Lux 和 WndrCo 等机构筹集了 7000 万美元。联合创始人兼首席执行官 Philippe Wu 表示，拥有约 60 名员工的 XDOF 已与 20 名客户合作，其中包括几家前沿 AI 实验室，但他拒绝透露具体名称。

“所有顶级实验室都在尝试进军机器人领域，” Wu 表示。“我们已经看到在语言模型竞赛中落后一点所带来的某些失败……你不希望陷入这种局面：你太晚追求这项技术，而每个人都在这艘船上，因为物理 AI 是下一个前沿。”

Wu 在加州大学伯克利分校攻读博士学位时亲身遇到了这个问题。他的重点是使机器人能够从大规模数据集中学习技能。问题在于：“我们没有大规模的数据可用，”他告诉 TechCrunch。“存在一个鸡生蛋、蛋生鸡的问题——我们需要先实际收集数据，然后才能询问如何为机器人训练基础模型。”

Wu 与未来的 XDOF 联合创始人兼首席技术官 Fred Shentu 合作开发了一个名为 GELLO 的项目，这是一个低成本的远程操作（teleoperation）系统，允许人类操作员控制机械臂以生成训练数据。“它最终成为机器人领域一篇非常有影响力的论文，因为许多人有类似的需求和瓶颈，许多人开始利用这种设备进行数据收集，” Wu 说。

看到这一机会，Wu、Shentu 以及第三位联合创始人兼首席运营官 Nemo Jin 于 2024 年 10 月创立了 XDOF，旨在为追求机器人模型的公司提供数据生态系统。鉴于仅提供数据可能是一条死胡同，该公司还专注于数据清洗、工具化和标注——为机器人训练者创造一个自我强化的反馈循环。

作为起点，该公司与加州大学伯克利分校 AI 研究实验室合作，发布了据信是迄今为止组装的最大规模高质量机器人训练数据集，名为 ABC。该数据集包括 13 万条机器人操作轨迹数据、300 小时的模拟数据和 100 小时的评估数据。这种规模化的预训练数据此前从未向学术界开放过。

“我们在语言、图像生成和其他领域看到，当模型和数据发布时，社区会取得你原本不会预期的成就，”帮助组织发布的伯克利博士生 David McAllister 告诉 TechCrunch。

团队已经使用该数据在基准任务上训练机器人，如折叠衬衫、压平盒子或将 AirPods 装入充电盒。

无限自由度

该公司计划在一个数据金字塔的三个层级开展工作。最有价值的层级是在实际部署的机器人上收集的远程操作数据；其次是像 GELLO 那样，由远程操作机器人收集的更通用数据；最后是 “第一人称视角”（egocentric）数据，由执行日常任务的人类收集，XDOF 计划为此构建自己的可穿戴传感器。

“你的相机选择将影响数据质量——这将影响你的手跟踪算法性能，” Wu 说。“如果你从一开始没有很好地设计硬件，你收集的数据可能会具有你未曾预见的特定问题。”

该公司计划在全球雇佣和训练大量的远程操作员和第一人称视角数据操作员——这种劳动密集型模式引出了一个明显的问题：为什么主要实验室不自行进行这种数据生产工作？

“你需要一个拥有数十万平方英尺的仓库，里面摆放着数百台机器人，” Wu 说。“你需要维护这些机器人，校准它们的物理参数，并正确培训操作员。”

这种扩建需要专注、资本和运营规模，大多数 AI 实验室更愿意外包——这正是 XDOF 押注的市场。

XDOF 的名称取自机器人术语 “自由度”（degrees of freedom），描述机器人可以执行的独立运动数量。你的手臂从肩膀到手腕有七个自由度。人形机器人公司 Figure.AI 的最新机器人拥有 30 个自由度。该公司名称中的 X 代表了其野心：“任意自由度，无限自由度，” Wu 说。

关键要点

• 数据瓶颈成为新焦点：随着 OpenAI 等巨头重启机器人项目，行业共识转向认为“物理交互数据”而非模型或芯片，是 AI 发展的下一个主要瓶颈。
• XDOF 的融资与定位：XDOF 筹集了 7000 万美元，定位为 AI 实验室和机器人公司的数据基础设施提供商，解决前沿实验室难以自建的数据收集、清洗和标注闭环。
• 学术背景与技术渊源：创始团队来自加州大学伯克利分校，其前身项目 GELLO（低成本远程操作臂）在机器人数据收集领域具有广泛影响力。
• ABC 数据集发布：XDOF 联合伯克利实验室发布了名为 ABC 的大规模数据集，包含 13 万条操作轨迹、300 小时模拟和 100 小时评估数据，旨在推动学术界和工业界的模型训练。
• 三层数据金字塔策略：
  1. 最高价值：实际部署机器人上的远程操作数据。
  2. 中间层：通用远程操作数据（如 GELLO 系统）。
  3. 基础层：人类日常任务的第一人称视角数据（需配合专用可穿戴传感器）。
• 外包逻辑：大规模机器人数据收集需要巨大的物理空间（数十万平方英尺仓库）、大量的机器人维护、参数校准及人力培训，这种重资产、重运营的模型适合由 XDOF 等专业公司外包，而非由 AI 实验室内部完成。
• 品牌寓意：名称 XDOF 源自 “Degrees of Freedom”（自由度），寓意其技术旨在实现机器人动作的“任意”与“无限”自由度。

意义与影响

XDOF 的出现标志着 AI 行业从纯数字内容生成向物理世界交互扩展的关键转折点。长期以来，LLM 受益于互联网上免费且海量的文本数据，而机器人领域则面临“数据荒漠”。XDOF 通过构建专门的数据收集基础设施，试图填补这一空白，为“物理 AI”（Physical AI）时代奠定数据基础。

其商业模式揭示了 AI 竞争的新维度：未来的竞争不仅在于算法的先进性，更在于谁能更高效、规模化地获取高质量的物理世界交互数据。通过外包数据收集这一“肮脏且不光彩”的工作，XDOF 使得前沿 AI 实验室能够专注于核心模型研发，从而加速机器人技术的落地进程。此外，其发布的 ABC 数据集有望成为类似 ImageNet 或 Common Crawl 的行业基准，推动整个机器人社区的标准化和快速发展。