智源悟界·RoboBrain Orca：迈向Next State Prediction新时代

背景

近年来，人工智能在多个模态的生成与理解上取得了突破性进展：大语言模型通过预测“下一个词”实现了强大的对话、编程和推理能力，催生了ChatGPT、DeepSeek、Qwen等产品；视频生成模型通过预测“下一帧”让图像和视频逼近真实，如Seedance、Sora；具身模型通过预测“下一个动作”使机器人能够完成越来越复杂的任务。然而，这些模型大多是针对特定模态或任务的“浅层”预测，缺乏对世界本身运行规律的系统性建模。

智源研究院推出的悟界·RoboBrain Orca，试图解决这一根本性问题——不再局限于预测下一个具体模态输出，而是让AI在内部形成一个统一的世界状态表征，进而预测世界状态的连续演变。这种思路被称为“Next State Prediction”，标志着AI从“模态依赖”走向“世界模型”的新阶段。

核心内容

悟界·RoboBrain Orca的核心哲学是“The World is in Your Mind”——在AI的“脑海”中构建一个世界潜在表征空间。当模型接收到视频、图像、文本指令或事件描述后，它首先将多模态信号（视觉、语言、事件、任务意图等）映射到一个统一的世界潜在表征空间。这个空间的作用是学习物体如何运动、场景如何变化、动作会带来什么后果、事件之间的因果关系，以及当前状态如何走向未来状态，甚至在特定条件下世界可能演化出的其他分支。

与传统模型不同，悟界·RoboBrain Orca不再满足于预测下一个Token、下一帧或下一个动作，而是直接预测“下一个世界状态”。这使其能够从更高维度理解世界的动态变化，并支持多种下游任务。

为实现这一目标，悟界·RoboBrain Orca将世界学习拆分为两条互补路径：

• 无意识学习：通过海量真实世界视频（12.5万小时）进行客观观察，让模型学会“世界自己怎么动”。这类似于婴儿通过持续观察自然现象（如物体掉落、人物走动、门被推开、球滚到桌下）来积累对世界规律的无监督理解。
• 有意识学习：通过语言描述的事件、任务指令和VQA问答等带有明确语义的数据，进行主观交互式学习。这部分数据共包含1.6亿条事件标注，帮助模型学习稀疏但有具体意义的状态转移，例如理解“门被推开后房间会亮”这类因果关系。

预训练规模具有持续Scaling潜力——随着训练数据增加，悟界·RoboBrain Orca在下游任务上的能力也随之提升。学到的表征可以通过不同的解码器读出：

• 文本读出：擅长状态转移的理解和动态运动的推理。
• 图像读出：能展现真实场景的交互预测能力。
• 动作读出：即使预训练阶段未学习动作标签，也能帮助下游机器人更好地泛化到新任务。

关键要点

• 悟界·RoboBrain Orca是一种“多模态表征世界模型”，其核心是构建统一的世界潜在表征空间，而非针对单一模态或任务进行预测。
• 技术范式从Next Token / Next Frame / Next Action转向Next State Prediction，即预测世界状态的连续演变。
• 无意识学习使用12.5万小时真实视频，让模型客观学习世界本身的运动规律；有意识学习使用1.6亿条事件标注，让模型理解有意义的因果状态转移。
• 预训练过程具备持续Scaling能力，数据增加可直接提升下游任务性能。
• 统一表征可经由多种解码器（文本、图像、动作）读出，分别擅长状态推理、场景交互预测和机器人泛化。
• 即使未在预训练中学习动作标签，模型的动作读出能力仍能支撑机器人任务的泛化。

意义与影响

悟界·RoboBrain Orca所代表的世界学习范式，可能从具身智能领域进一步拓展到更广阔的认知边界。它不再将AI视为专门处理文本、图像或动作的工具，而是尝试构建一个对世界运行机制有整体理解的“通用世界基础模型”。这种思路有望在以下场景产生深远影响：

• 科学发现与复杂系统建模：通过对世界状态的连续预测，模型可能帮助科学家模拟物理过程、化学变化或生物演化，加速新知识的发现。
• 具身智能的跃升：机器人不再仅依赖预设动作库或端到端策略，而是基于对世界状态的理解做出更灵活、更鲁棒的行为决策。
• 多模态融合的通用性：统一表征空间使得模型天然支持跨模态推理，例如根据语言描述生成对应的动态场景，或根据视频片段推断事件因果链。

尽管目前悟界·RoboBrain Orca仍是一个早期版本，但它展示了从“预测具体输出”到“预测世界状态”的范式转变，有望成为未来通用人工智能的核心基石之一。