李飞飞亲自定义世界模型：渲染、模拟、规划边界消融

背景

当前，“世界模型”（World Models）已成为人工智能领域最热门但也最混乱的概念之一。随着技术的快速发展，业界对于这一术语的定义出现了严重的泛化和滥用：视频生成模型被称作世界模型，能生成游戏的语言模型也被归入此类，甚至物理引擎也被强行塞进这个概念框架中。

这种定义的模糊性不仅阻碍了学术交流的精准性，也影响了技术落地的方向判断。面对这一乱象，斯坦福大学知名教授、AI 先驱李飞飞（Feifei Li）亲自撰文，旨在厘清概念边界。她直言不讳地指出，“世界模型”是当今 AI 领域最重要也最被滥用的术语之一，并提出了基于功能的技术分类法，试图为这一混乱的领域建立秩序。

核心内容

李飞飞在文章中首先从技术本质出发，重新定义了世界模型。她指出，智能体（人、机器人或系统）采取行动会影响世界状态，而“状态”是对特定时刻世界一切（物体、位置、速度、属性等）的完整描述。智能体通过观察感知世界，并通过行动回应世界，形成“主体→行动→状态→观察→返回”的闭环。目前被称为世界模型的各种技术，实际上是这一闭环在不同功能层面的投射。

基于此，李飞飞将世界模型的功能拆解为三大类：渲染（Rendering）、模拟（Simulation）和规划（Planning）。

1. 渲染器（Renderers） 渲染器的核心功能是输出给人看的观察结果，其核心指标是视觉保真度。

• 代表技术：谷歌的 Genie 3、李飞飞创办的 World Labs 的 RTFM，以及风靡全球的 Nano Banana。
• 特点：这类模型本身并不具备对三维结构的明确理解，生成的是观众看到的画面，而非实际存在的物理画面。例如，AI 生成的无人机航拍镜头中建筑物可能完美无瑕，但若从地面视角观察，可能会发现结构不合理。
• 局限性：渲染器优化的是视觉逼真度而非物理精确度，因此无法直接用于建筑设计或机器人训练等对现实世界结合紧密的场景。目前这是商业上最成熟的技术。

2. 规划器（Planners） 规划器接收观察结果和目标，输出下一步动作。

• 代表技术：VLA（Vision-Language-Action）模型和新一代世界动作模型。
• 特点：这类系统决定了机器人在非结构化世界中应该做什么，与具身智能紧密相关，吸引了大量热钱涌入。
• 局限性：尽管演示效果令人印象深刻，但许多机器人演示仍局限于高度受限的实验室环境，目标对象狭窄，任务周期短，缺乏在真实世界部署所需的复杂性、可变性和持续时间验证。

3. 模拟器（Simulators） 模拟器输出可计算、可交互的状态，强调几何、物理和动态的一致性。

• 核心要求：几何结构需经得起检验，物理行为需符合定律，动力学需符合世界运行方式。
• 服务对象：
  • 专业人士：建筑师、设计师、电影制作人和游戏开发者需要超越视觉逼真性的精确度。
  • 智能体训练：强化学习智能体、机器人控制器和自动驾驶系统利用模拟器作为训练场，以大规模交互并测试危险或昂贵的场景。
• 商业前景与挑战：英伟达的 Omniverse 平台瞄准了这一超万亿美元的市场。然而，训练模拟器面临巨大瓶颈：缺乏具有明确几何形状、材料属性和物理标注的三维数据，且大规模多物理场模拟成本极高。
• World Labs 的尝试：其自家产品 Marble 旨在突破瓶颈，支持多模态输入生成可探索的 3D 环境，并输出 Gaussian splats 和可供物理引擎操作的碰撞网格。但李飞飞强调，这仅仅是漫长发展历程的开端。

边界的消融与统一 李飞飞指出，这三类模型正在相互融合。渲染、模拟和行动预测所需的知识在很大程度上是同一套底层理解。例如，真正理解一个杯子如何放置，意味着模型既能从任意角度渲染它，也能模拟其受力反应，还能规划拿取动作。

目前的研究表明，预训练视频渲染器可以作为联合世界预测和行动预测的骨干网络。Marble 同时输出 Gaussian splats 和碰撞网格，正是渲染器与模拟器边界消融的体现。未来的逻辑终点是一个统一的世界模型——一个基础模型，既能渲染照片级真实视图，又能生成物理准确结构，并规划行动序列。

关键要点

• 术语澄清：世界模型并非单一实体，而是包含渲染、模拟、规划三大功能的技术集合，当前定义混乱亟需规范。
• 功能三角：
  • 渲染器：侧重视觉保真度，商业最成熟，但缺乏物理理解（如 Nano Banana, Genie 3）。
  • 规划器：侧重动作决策，与具身智能相关，但受限于真实世界数据的复杂性（如 VLA 模型）。
  • 模拟器：侧重物理和几何一致性，是连接渲染和规划的桥梁，数据稀缺且成本高（如 Marble, Omniverse）。
• 数据瓶颈：渲染器拥有海量互联网视频数据，但模拟器和规划器严重缺乏高质量的 3D 资产和机器人演示数据，这是制约统一模型发展的核心挑战。
• 融合趋势：三类能力是对同一种底层世界理解的三种投影，边界正在消融。单一模型有望同时具备生成视觉、预测物理和规划行动的能力。
• 终极目标：构建统一的世界模型，使机器智能不仅能“谈论”世界（语言），更能“理解、想象、推理并与世界互动”（空间智能）。

意义与影响

李飞飞的这一分类框架对 AI 领域具有深远的指导意义。首先，它终结了“世界模型”概念的滥用，为学术界和工业界提供了精准的技术对话基础。通过明确区分渲染、模拟和规划，研究人员可以更清晰地定位自身工作的价值与挑战，避免将视觉生成技术误认为是真正的物理世界理解。

其次，这一观点强调了数据在构建通用人工智能中的核心地位。尽管渲染技术已高度发达，但缺乏物理一致的 3D 数据和机器人交互数据，使得构建真正具备“空间智能”的模型面临巨大障碍。这指引了未来数据收集和数据合成技术的重点方向。

最后，从产业角度看，随着三类模型边界的塌缩，一个统一的世界模型将重塑机器智能与物理世界的关系。这不仅将推动具身智能、自动驾驶和机器人技术的实质性突破，还将催生新的万亿级市场。正如李飞飞所言，语言赋予了机器谈论世界的能力，而世界模型将是机器最终理解并与世界互动的关键，标志着空间智能弧线的成熟。