智源悟界·Orca教AI理解世界变化，登顶Hugging Face月榜

背景

当前AI模型在语言、图像、视频和机器人控制等领域已经展现出强大的“输出”能力：语言模型预测下一个 token，图像和视频模型预测下一帧，具身模型预测下一步动作。然而，这些能力背后存在一个更深层的问题——模型究竟是学会了某种特定的输出模式，还是真正理解了世界状态本身如何变化？

智源研究院悟界·RoboBrain Orca Team 发布的技术报告 Orca: The World is in Your Mind 试图回答这个问题。该报告指出，许多现有模型一上来就被“进厂打螺丝”——即直接针对某一具体输出任务（如预测下一个词、生成下一帧、模仿下一步动作）进行密集训练。这种范式虽然有效，但可能忽略了更基础的一步：先让模型学习世界的底层表征和变化规律。Orca 的目标是让模型先接受关于世界如何变化的“义务教育”，再从中“读出”理解、预测和行动能力。

该工作发布后迅速获得海外研究社区关注，多位研究者将其讨论重点放在“真正的多模态表征世界模型”上，认为 Orca 不是简单拼接多模态数据，而是尝试在统一的世界潜空间中学习其共同状态与演化规律。Orca 也登上了 Hugging Face Daily Papers 月度榜单，成为当月最受关注的论文之一。

核心内容

Orca 的核心思路是 先学习统一的世界状态表征，再从这个表征中读出理解、预测和行动能力。它关注的是“当前世界处于什么状态，以及这个状态在自然演化、事件条件或外部干预下会如何转移到另一个状态”，即 Next-State Prediction。

为实现这一目标，Orca 引入了两种互补的学习方式：

1. 无意识学习：从连续视频中学习自然、稠密的状态变化，不依赖显式语言标注。例如物体如何移动、手与物体如何接触、场景随时间如何演化。这类学习帮助模型捕捉自然动态。
2. 有意识学习：引入语言和事件，使状态转移可以被语义条件约束。语言描述事件、任务意图或目标状态，模型需要在当前观察和语言条件之间建立联系，学习稀疏但更有意义的状态变化。

两类学习共同服务于构造一个能表达世界状态并支持状态转移建模的 world latent。

数据构建：Orca Team 构建了自动化筛选与标注管线，从海量互联网数据中处理得到：

• 12.5万小时视频
• 1.6亿条事件标注
• 1150万条 VQA 数据

这些数据覆盖第一视角交互、第三视角物体操作、机器人执行视频、自然动态场景、事件级状态转移和通用视觉问答等多种来源，使 Orca 能从丰富的真实世界信号中学习统一的世界潜空间。

基础设施优化：基于智源自研的 FlagScale 框架，团队进行了系统级重构：

• FSDP2 升级：灵活的参数与优化器状态分片，对轻量级视觉块取消分片以减少调度开销
• 分块交叉熵损失（Chunked Cross-Entropy Loss）：避免前向传播中一次性实例化完整的 Logits 张量，大幅降低显存峰值
• 前向/后向预取（Forward/Backward Pre-fetching）：使 FSDP 的 All-Gather 通信与当前层计算充分重叠

在 H100 集群上，这些优化将训练吞吐量从 StarVLA 基线的 0.66 提升至 2.91 Samples/Sec/GPU，实现 4.4 倍加速。

验证设计：为验证 world latent 的有效性，团队在下游阶段冻结 Orca backbone，仅训练轻量的 readout 模块。这样如果效果提升，就可以归因于 world latent 本身而非下游模块的重新学习。Orca 设计了三类 readout：

• 文本读出：验证模型能否将世界表征转为理解和推理能力
• 图像读出：验证模型能否根据当前状态和条件预测未来视觉状态
• 动作读出：验证模型能否将世界表征迁移到真实机器人控制中

这三类能力分别对应理解、预测、行动。

实验结果：

• Scaling 效应：随着预训练数据规模增加，Orca 的训练损失持续下降，未迅速饱和；从不同训练阶段的 checkpoint 可见，文本、图像和动作 readout 的表现同步提升，说明 Orca 具有可扩展的学习路线。
• 文本读出：在 4B 规模下，Orca 在多类视觉语言模型和世界模型对比中取得更高平均表现，尤其集中在状态转移、事件演化、动态运动理解等维度，而非简单的视觉问答得分堆高。
• 图像读出：Orca 的图像读出更强调“未来状态是否合理”，能更好地保持机器人形态、物体布局、场景一致性和指令约束，生成更符合真实交互过程的下一状态。
• 动作读出（具身）：预训练阶段 Orca 未使用含 action label 的机器人轨迹。下游冻结 backbone，仅接入从零训练的 DiT-style Action Expert，每个任务仅使用 200 条域内轨迹进行后训练。在物体泛化和场景泛化的 OOD 任务中，Orca 仍能带来明显增益，尤其在失败恢复上表现突出。

消融实验：分别移除无意识状态转移、有意识事件转移和 VQA 语言监督，观察三类 readout 的变化，结果表明三类训练目标各自承担不同作用，缺一不可。

关键要点

• Next-State Prediction 范式：Orca 提出从预测下一个 token/帧/动作转向预测世界状态如何变化，这是更基础的统一学习目标。
• 两类学习方式：无意识学习（从连续视频中捕捉自然动态）与有意识学习（通过语言和事件学习语义约束的状态转移）相结合。
• 大规模多模态数据：12.5 万小时视频、1.6 亿事件标注、1150 万 VQA，覆盖多种视角和场景，支撑统一世界潜空间的学习。
• 冻结 backbone 验证：下游仅训练轻量 readout 模块，避免混淆，直接检验 world latent 的有效性。
• 三类 readout 统一验证：文本读出（理解）、图像读出（预测）、动作读出（行动）均随预训练规模提升而同步改善。
• 具身泛化能力：预训练未接触 action 数据，但冻结 backbone 后仅用 200 条轨迹即可在 OOD 任务中带来增益，体现世界表征的可迁移性。
• 基础设施加速：FlagScale 框架优化实现 4.4 倍训练吞吐提升，支撑大规模预训练实验。
• 未刷榜数据：所有对比结果来自同一套预训练主干 checkpoint，未使用任何刷榜数据，保证结论可信。

意义与影响

Orca 的工作并非宣称世界模型已经完成，而是为当前关于 World Model 的讨论提供了一个新的坐标系：世界模型不应只被某一种输出模态定义，而应学习世界如何被表征、如何变化，以及这种表征如何支持理解、预测与行动。

这一路线比单纯追求语言模型对话能力、视频生成逼真度或机器人动作模仿更具基础性。它试图回答一个更根本的问题：AI 是否能在内部建立一个足够稳定、可预测、可迁移的世界模型，而不是仅仅成为特定任务的“输出机器”。

从应用前景来看，Orca 的思路不仅适用于机器人领域，还可能扩展到物理系统模拟、生命过程建模、宏观宇宙分析、微观量子研究乃至科学实验等领域。这些领域本质上都涉及状态、干预和转移，虽然需要不同的数据和建模方式，但“学习世界状态如何变化”这个问题具有跨领域的通用意义。

Orca 的发布也标志着国内研究团队在全球 World Model 前沿方向上的重要参与。其登上 Hugging Face 月度榜单并获得海外研究者持续关注，说明该工作获得了国际学术社区的认可。未来，随着数据规模、模型规模和训练方法的持续改进，这种“先理解世界，再执行任务”的路径有望成为通向更通用、更可靠 AI 系统的关键一步。