冯雁：AI迈向现实世界，世界模型不可或缺

背景

2026年7月7日，ICML 2026 正会第一天，AMI Labs 联合创始人兼首席研究创新官、香港科技大学电子与计算机工程系讲席教授冯雁（Pascale Fung）发表了题为《Towards AI Agents in the Real World》的特邀演讲。作为与 Yann LeCun 共同推动 JEPA（Joint Embedding Predictive Architecture）世界模型路线的代表性学者，冯雁系统阐述了世界模型对于人工智能从数字空间走向物理世界的关键作用，对比了生成式与 JEPA 两种技术路线的优劣，并展示了团队在相关方向的最新突破。

当前，AI 在虚拟任务（如文本生成、图像识别）上已取得显著进展，但在物理世界中作为智能体（AI Agent）运行时，仍面临感知、规划、因果推理等根本性挑战。冯雁指出，无论是嵌入可穿戴设备的主动式辅助智能体，还是部署于自动驾驶、家务机器人等自主系统中的执行智能体，都依赖于对物理世界演化的预测能力，这正是世界模型（World Model）的立足之本。

核心内容

冯雁首先界定了未来物理世界 AI 的两大主力形态：

• 第一类：可穿戴设备中的主动式辅助智能体（如智能眼镜中的 AI）。它与人类共享第一人称感知场（Egocentric View），看到用户所见，听到用户所听，实时感知上下文，并主动提供过程规划（Procedural Planning）——比如指导用户操作售票机、做菜、踢足球等。这类智能体还需具备长期记忆和情景记忆，能根据用户历史行为个性化协助，并理解人类情绪、社交信号和文化线索。
• 第二类：自主系统中的执行智能体（如自动驾驶汽车、家务机器人）。它需要完成从高层语义指令（如“打扫房间”）到电机细微动作的分层规划（Hierarchical Planning），并与物理环境交互，感知现实世界并执行物理动作。

这两类智能体共享同一个能力底座——对物理世界演化的预测能力，这要求模型内化一套可因果推理的物理认知框架。

为什么大语言模型（LLMs）不够用？

冯雁从自身自然语言处理背景出发，指出 LLM 存在根本局限：

• LLM 从人类撰写的文本中学习，相当于“二手”地学习世界模型，无法直接体验重力、质量、摩擦力等真实物理力。
• 训练目标是优化对话流畅度或语言优美度，而非因果推理，产生大量计算消耗的同时学习物理的速度远慢于人类。
• 幻觉（hallucination）在文本中可能相对无害，但在物理机器人上会导致“撞击”等严重后果。

冯雁引用多个基准测试（DeepPhy、IntPhys 2、PhysBench、PAI-Bench、WorldPrediction）证明：人类表现在物理推理任务上接近完美（64.7%~95.9%），而当前最强的 VLM（如 GPT-4o、Claude）仅达到 35%~65%，远低于人类。LLM 和 VLM 虽能学习物理教科书，但并不真正理解物理世界，存在“落地差距（Grounding Gap）”。

生成式世界模型 vs. JEPA 世界模型

冯雁对比了当前世界模型的两大主流路线：

生成式世界模型（如 Cosmos、Genie）：

• 将世界建模视为视频生成，通过预测下一帧像素来模拟世界。
• 训练于数百万小时视频，使用自编码器或分词器压缩帧，再用 Transformer 或扩散模型预测下一帧。
• 设计哲学：AI 要理解世界，就必须能完整生成每个像素。认为通过生成可以学习碰撞、质量、动量等物理直觉。
• 缺点：计算成本高、速度慢，对噪声和连续变化鲁棒性差，不适合可穿戴设备端的低功耗、实时需求。

JEPA 世界模型（由 Yann LeCun 提出，冯雁团队推动）：

• 不预测像素或帧，而是在抽象嵌入空间（embedding space）中预测未来世界状态和动作的压缩表征。
• 舍弃不可预测或无关的细节，只关注对任务重要的结构核心（如玻璃会掉下，但不渲染具体画面）。
• 设计哲学：追求因果正确性而非像素完美，是“理解”世界而非“生成”世界的模型。
• 优势：参数量更小、推理速度更快、对噪声与环境连续变化的鲁棒性显著更强。

团队关键突破

冯雁展示了沿 JEPA 技术脉络的一系列标志性工作：

1. V-JEPA：使用自监督学习在总时长 465 年的视频上训练，预测掩码嵌入，获得外观和运动的最先进视觉特征，权重已开源。在行动预期上达到最先进水平，且比生成模型更小、更快、更鲁棒。
2. V-JEPA 2：用于机器人规划，在嵌入空间中进行过程规划，预测机械臂在初始状态和目标之间的运动。
3. LeWorldModel（AMI Labs 与 NYU 合作）：第一个端到端稳定训练的 JEPA 模型，从原始像素直接训练，仅使用两种损失项实现高效的模型预测控制（MPC）规划。数据和 Checkpoints 均已开源。
4. Latent Action Model：从原始视频中自动发现动作空间，无需人工标注，可扩展到 in-the-wild 视频。
5. VL-JEPA（Vision-Language JEPA）：基于 V-JEPA 2 编码器，实现开放词汇的动作和状态跟踪，在 CVPR 2026 EgoVis 行动识别挑战赛中获得冠军。VL-JEPA 将视觉输入和文本查询编码到公共嵌入空间，不进行逐 token 生成，而是用滑动窗口在嵌入空间中跟踪动作和状态，只在有意义的事件发生时解码，因此能实时、高效地跟踪人类动作。与相同训练数据、编码器和计算的 VLM 相比，VL-JEPA 以少 50% 的参数达到更高性能，解码操作减少约 2.85 倍，适合可穿戴设备。

此外，团队通过开源数据集（Action 100M）、组织 ECCV 2026 可穿戴 AI 研讨会及设立挑战赛等方式，系统性地推动 JEPA 路线的学术生态建设。

关键要点

• 世界模型是物理世界 AI 的核心能力底座：无论是可穿戴辅助智能体还是自主执行智能体，都需要对物理世界演化进行预测（如预判用户下一步动作、推演机械臂轨迹），这远超文本理解或静态图像识别能力。
• LLM 与 VLM 存在根本局限：它们从文本“二手”学习世界，优化目标是流畅生成而非因果推理，且存在幻觉问题。在物理推理基准上，人类表现远超最先进的 VLM。
• 生成式世界模型的弱点：试图完整生成每个像素，计算成本高、速度慢、鲁棒性差，不适合实时、低功耗的可穿戴设备场景。
• JEPA 路线的优势：在抽象嵌入空间预测，舍弃无关细节，追求因果正确性而非像素完美。参数量更小、推理更快、鲁棒性更强，天然适合物理世界落地。
• 多项标志性成果：V-JEPA 系列（视觉特征学习）、LeWorldModel（端到端 MPC 规划）、VL-JEPA（实时、开放词汇的动作跟踪，解码减少约 2.85 倍）等，均展示了 JEPA 在实际任务上的领先性能。
• 可穿戴智能体需要“心理世界模型”：除物理预测外，还需理解人类目标、情绪、社交线索，实现主动协助和长期个性化。
• 开源与生态建设：团队通过开源数据集（Action 100M）、研讨会和挑战赛推动 JEPA 研究社区发展。

意义与影响

冯雁的演讲系统性地阐述了世界模型对于 AI 从数字空间走向物理世界的必要性，并提供了清晰的路线选择——JEPA 相较于生成式路线在效率、鲁棒性和实时性上具有天然优势。这一观点与 Yann LeCun 的“先进机器智能”架构一脉相承，为具身 AI、机器人、可穿戴设备等物理世界应用指明了更可行的技术方向。

从产业角度看，JEPA 模型的小参数、高效率特性使其更适合边缘设备（如智能眼镜、消费级机器人），有望降低物理 AI 的硬件门槛和功耗成本。同时，VL-JEPA 的实时开放词汇跟踪能力，为