通用目标条件Minecraft模型

背景

在机器人领域，训练一个能够自主执行数小时任务的通用模型面临数据规模瓶颈：真实机器人操作数据难以大规模获取，而互联网视频数据丰富多样。能否利用互联网视频作为训练信号，让模型从中学习行动能力？Pantograph 团队认为，将互联网视频视为仅包含观测信息的强化学习轨迹，有望突破小规模动作数据集的限制。他们以《我的世界》（Minecraft）作为测试平台——该游戏开放、支持多样化的长期目标指令，适合验证通用目标导向行为的学习方法。

核心内容

Pantograph 开发了一种简单的方法：通过在大规模互联网视频上预训练，让模型学会目标导向行为，而无需在后期训练阶段单独灌输。常规做法是将目标导向性作为后训练环节，限制了泛化能力；而 Pantograph 在预训练阶段就融入目标条件，使得模型能更好地处理复杂、多变的目标。

模型与训练

• 预训练数据：约 50 万小时的多样化 Minecraft 游戏视频。
• 后训练数据：约 2000 小时的承包商轨迹，包含视频和动作序列。
• 模型规模：最大模型名为 Pan，参数量 4B，能够进行战斗、探索特定物体、完成高难度平台跳跃以及按指令建造结构。
• 预训练阶段：与动作无关，只学习状态间的关系；动作空间仅在后期训练中引入。

方法：从观测数据中强化学习

将互联网视频视为仅有观测的强化学习轨迹，面临缺少奖励和动作的问题。解决方案：

1. 目标条件——避免定义奖励函数。利用视频中后期发生的内容作为前期的目标（即事后重标记，hindsight relabeling），将原本失败的目标重新标记为实现的事。
2. 无动作学习——从视频中学习仅依赖状态的价值函数（表示未来达成目标帧的概率）以及目标条件策略的下一帧分布。之后，用包含动作的小数据集即可训练出能够行动的智能体。

评估与对比

• 评估环境：104 个评估世界，每个包含初始存档和目标存档。从目标存档渲染一张目标图像作为模型提示。
• 对比基线：
  • STEVE-1：开源 Minecraft 目标条件策略，基于 VPT（OpenAI 使用逆动力学模型标注视频动作）进行后训练。
  • VLA：基于 Gemma 4（Google DeepMind 的最强开源视频语言模型之一）初始化的视觉-语言-动作模型，使用与 Pan 相同的后训练数据集。

结果

• 经过目标条件预训练的 Pan 模型在达成目标上表现更好，包括多变和分布外的目标。
• 模型规模对复杂语义任务（如使用装置）和精细任务（如建造）影响最大。Pan 学会了部分机制（桶、打火石、作物、钓鱼），但未学会其他（拉杆、末影珍珠、动物驯服）。
• 基础任务：Pan 会走向目标位置并在周围“目标舞蹈”（试图完美对齐视角），而 STEVE 和 VLA 容易走神。建塔时 Pan 会在指令高度停止，而基线会继续建高。
• 不常见目标（如看羊毛制成的靶子、游过水池）下，Pan 的目标跟随能力远超基线。
• 在高难度建造任务中，STEVE 和 VLA 几乎完全失败。

关键要点

• 预训练阶段融入目标条件：在互联网规模视频上同时学习状态表示和目标达成能力，而非事后添加。
• 事后重标记：将后续帧作为目标，无需手动设计奖励函数，自动转失败为成功样本。
• 无动作预训练 + 少量动作数据后训练：利用视频学习价值函数和策略分布，再通过小规模动作数据实现行动。
• 模型规模与能力正相关：4B 参数的 Pan 在复杂机制和建造上强于小模型，更大规模可能涌现更多能力。
• 在 Minecraft 中验证：开放环境支持多样化长期目标，作为机器人研究的有效试验场。
• 视频作为强化学习轨迹的视角：将互联网视频视为仅有观测的轨迹，未来可扩展到其他模态（如音频）。

意义与影响

该项工作展示了通过互联网视频预训练学习通用目标导向行为的可行性，将强化学习思想应用于无奖励、无动作的观测数据。其核心创新在于将目标条件学习融入预训练，从而获得更强的泛化能力。这为机器人领域提供了一条新路径：不依赖昂贵的动作标注数据，而是利用海量现成的网络视频。此外，Minecraft 环境中的成功实验表明，该框架可拓展至更广泛的视觉环境。未来若能在更大规模视频数据上结合强化学习，或许能一次性在多个领域产生超人类表现的模型。Pantograph 团队正在训练更大的模型，覆盖更多视觉环境，并期待更多研究者加入这一方向。