MIRA：基于《火箭联盟》的多玩家交互世界模型

背景

近年来，世界模型（World Models）在强化学习和机器人领域取得了显著进展，它通过让智能体在内部模拟环境中进行规划与决策，从而提升样本效率与泛化能力。然而，绝大多数世界模型研究集中于单智能体、单玩家场景，对于多玩家交互环境（尤其是包含竞争与协作的实时多人游戏）的建模仍面临挑战——如何捕捉多个智能体之间的动态博弈、时序依赖以及非平稳策略，是当前研究的热点。Rocket League（火箭联盟）作为一款融合足球与赛车物理引擎的多人竞技游戏，因其高实时性、复杂物理交互以及明确的多人对抗特性，成为测试多智能体世界模型的理想平台。

核心内容

MIRA（Multiplayer Interactive World Models）是一个在多玩家环境中训练的世界模型系统，专门针对Rocket League游戏设计。其核心思路是：不依赖外部游戏引擎，而是让模型直接从多玩家对战数据中学习一个可交互的、多智能体共享的世界模型，使得智能体能够在模型内部进行“预测-规划-执行”的循环，从而在现实游戏中对战人类或其他AI。

具体而言，MIRA 通过以下过程实现：

1. 数据收集：在Rocket League公开的多人比赛回放数据（包含所有玩家的状态序列、动作及物理反馈）上训练。
2. 模型架构：采用时空Transformer结构，将每个时间步上所有玩家的状态（位置、速度、旋转、球体属性等）和动作编码为联合表示，并预测下一时刻的全局状态。模型同时学习奖励函数（如进球、防守等）和终止条件。
3. 交互式规划：在推理时，MIRA 允许智能体在模型内部“想象”多步轨迹，并基于模型预测的奖励进行规划（例如使用蒙特卡洛树搜索或策略梯度），选择一个动作执行。由于模型是交互式的，智能体可以模拟对手的可能反应，从而在博弈中做出更优决策。
4. 多智能体自洽性：训练时，MIRA 使用一个共享的编码器-解码器，同时学习所有玩家的动态，保证模型在任何玩家视角下都能一致预测世界状态，避免了“自其他玩家不可知”的偏差。

实验结果表明，MIRA 训练出的智能体在Rocket League的1v1和2v2模式中，能够与人类玩家及其他AI基线进行有竞争力的对战，并且其内部世界模型对物理交互的长期预测误差明显低于单智能体世界模型。此外，MIRA 在零样本迁移任务（如不同速度、不同物理参数）上表现出更强的鲁棒性。

关键要点

• 多玩家世界模型：MIRA是首个在完整的多人竞技游戏（Rocket League）中训练出可交互世界模型的工作，同时处理多个智能体的动态。
• 共享表示学习：所有玩家共享同一个状态表示，避免了为每个玩家单独建模的高复杂度，同时保证了模型对多智能体互动的理解。
• 交互式规划：智能体可以在模型内部进行多步rollout，模拟对手与自己的交互，从而做出更长期的、包含博弈考虑的决策。
• 数据驱动：完全基于真实的多人比赛回放数据训练，无需游戏引擎接口或手动设计物理规则，使得模型可以自然学习到复杂物理与协作/竞争行为。
• 性能与迁移性：在Rocket League的1v1和2v2模式中，MIRA智能体胜率超过传统的单智能体模型（如DreamerV3），并在未见的物理参数变化下保持稳定。

意义与影响

MIRA 的提出标志着世界模型从单智能体向多智能体迈出了关键一步。其影响主要体现在以下几个方面：

1. 游戏AI与仿真：在游戏行业，MIRA 提供了一种无需依赖游戏开发者开放引擎接口，仅依靠回放数据就能训练出高质量对战AI的方法，可极大降低游戏AI的开发成本，并用于游戏平衡性测试、自动玩家匹配等。
2. 多智能体强化学习：MIRA 的共享世界模型范式可推广到其他多智能体场景（如机器人集群、自动驾驶交互、经济模拟），为处理复杂多智能体系统提供了新思路——即通过学习一个联合的环境动态模型，来替代逐智能体建模。
3. 世界模型的泛化与鲁棒性：通过在多玩家交互数据上训练，模型被迫学习到更丰富的因果结构（例如“我冲刺时对手会躲闪”），从而提升了模型在分布外环境下的泛化能力，这有助于推动世界模型在现实机器人中的应用。
4. 可解释性：MIRA 的交互式世界模型允许研究人员“回放”智能体在模型内部的想象轨迹，从而更好地理解智能体的决策逻辑，这对于调试和信任AI系统至关重要。

当然，MIRA 目前仍局限于Rocket League这一特定游戏，且其规划速度受限于模型推理效率，距离实时在线部署还有距离。但作为该领域的先驱工作，它为多智能体世界模型的研究指明了方向，并可能催生下一代更通用的交互式仿真基础设施。