紧凑世界模型空间关系感知：指令泄漏陷阱与无目标动态修复

背景

在机器人操作和具身智能领域，让智能体理解并执行空间关系指令（如“将红色方块放在蓝色方块的左侧”）是一项核心挑战。一种主流方法是构建紧凑世界模型（compact world model），该模型以语言目标为条件，利用一组稀疏的显式参考锚点（reference anchors）来接地空间关系。这类模型声称能够从少量样本中学习到关系语义，从而在物理世界中泛化。然而，问题在于：模型是真的“感知”到了空间关系，还是仅仅在转录指令中的文字？本文作者指出了这一陷阱，并提出了诊断与修复方案。

核心内容

该论文以 arXiv 预印本形式发表于 2026 年 7 月 8 日（计算机科学 > 人工智能领域），标题为“Grounding Spatial Relations in a Compact World Model: Instruction Leakage and a Goal-Free Dynamics Fix”。摘要部分揭示了以下核心发现与论证：

1. 指令泄漏现象：研究者构建了一个以语言目标为条件的目标预测器，在空间关系读取任务中取得了惊人的 0.90 关系读取准确率。然而，进一步分析表明，这一高准确率并非来自对场景的感知，而是指令转录（instruction transcription）——模型实际上是在“背诵”指令中的空间关系，而非真正理解场景。当从输入中移除目标指令时，准确率骤降至 0.27（三个随机种子平均），说明模型完全依赖指令而非视觉信息。

2. 反事实实验验证：作者设计了一个反事实指令实验：向模型提供与真实场景矛盾的指令，结果模型预测的锚点位置有 94.5% 的时间遵循了假指令，而正确反映真实场景的仅占 2.3%（N=256）。这一结果强有力地证明，模型几乎完全忽略了视觉输入，仅根据指令中的文字信息进行预测。

3. 核心论断：作者通过三个不同设置以及一项任务内消融实验，总结出混淆的根本原因：指令泄漏发生在：当被评分的量（scored quantity）可以直接从指令中转录时（即指令直接命名了答案），并且该量基本不依赖于非指令输入（如视觉场景）的预测能力。 换言之，如果模型的任务是预测“红色方块在蓝色方块的哪一侧”，而指令中已经包含了“左”或“右”，那么模型只需复制指令中的方位词即可获得高准确率，而不需要真正“看”场景。

4. 跨环境验证：该现象在桌面场景（tabletop）以及外部基准 BabyAI 中都存在泄漏。相比之下，Language-Table 前向动力学世界模型（其指令命名的是指代对象referents，而非关系方向）没有表现出泄漏——直到指令被增强为也命名方向时，泄漏才出现。此外，作者发现减少动作（degrading the action）不会增加泄漏，这与“预测器竞争”假说（predictor-competition）所预测的相反。这一结果进一步支持了指令转录而非感知竞争的机制。

5. 修复方案：基于诊断，作者提出了一个简单有效的修复：将目标从动力学中移除（目标本应属于规划器的代价函数），并监督读取路径（read path）。具体做法是：让世界模型学习无目标的前向动力学（goal-free dynamics），然后在读取器中独立地根据视觉状态和指令进行关系读取。实验表明，这种修复后的模型恢复了真正的、指令无关的接地能力：准确率达到 0.88，且在有/无目标指令的情况下结果完全相同。

6. 适用范围：该检测协议和修复方案适用于任何以语言目标为条件的世界模型，只要其指令直接命名了被评分的量。

关键要点

• 指令泄漏的本质：模型通过复制指令中的文字信息（如“左”“右”）来获得高准确率，而非通过感知场景。这是评估世界模型时的一个常见陷阱，容易导致对模型能力的虚假高估。
• 诊断手段：一个简单的检测方法——移除目标指令，观察准确率是否大幅下降。如果下降，则存在泄漏。反事实指令实验（提供与场景矛盾的指令）可进一步确认泄漏方向。
• 跨设置一致性：泄漏现象在桌面环境和 BabyAI 基准中均存在，说明这不是特定环境下的偶发问题。
• Language-Table 案例的对比：该基准原本没有泄漏，因为其指令命名的是对象（referents）而非关系方向。但一旦指令增强为包含方向信息，泄漏立即出现，直接支持了“指令转录”机制。
• 修复原则：将目标从动力学模型中剥离，让动力学预测纯粹基于状态和动作，而将目标仅用于读取器（read path）的监督。这样模型被迫真正感知场景，而不是依赖指令中的“捷径”。
• 修复有效性：修复后的模型在有无目标指令时准确率一致（0.88），证明其接地是真正的、与指令无关的感知。
• 对动作的依赖：减少动作（即削弱非指令输入中的动态信息）不会增加泄漏，这与“预测器竞争”假说矛盾，进一步支持了指令转录而非竞争性预测的解释。

意义与影响

该论文揭示了目标条件世界模型评估中的一个关键漏洞：指令泄漏。这一发现具有重要的方法论意义——

• 对评估实践的影响：许多研究依赖于以语言目标为条件的世界模型在空间关系任务上的准确率来证明模型“理解”了空间关系。本文证明，这些准确率可能完全来自指令转录，而非真正的感知。因此，所有使用类似评估范式的研究都应进行泄漏检测，否则可能报告虚假的泛化能力。
• 对模型设计的指导：作者提出的“无目标动力学+监督读取路径”的修复方案，不仅简单有效，而且从原理上避免了泄漏。这一设计原则可以推广到更广泛的目标条件模型（如视觉-语言导航、机器人操作规划），提醒研究者在构建模型时应将目标仅用于规划器，而非共用于动力学预测。
• 对理论理解的贡献：通过对比实验和反事实分析，论文澄清了“预测器竞争”假说无法解释的泄漏模式，深化了对目标条件学习机制的理解。它表明，泄漏的根本原因在于训练数据中指令与目标量之间的统计相关性，而非模型内部竞争。
• 潜在应用：该检测协议可以直接作为任何目标条件世界模型的标准化测试。未来，在部署具身智能系统之前，可先使用该协议检查模型是否真正接地，以提高系统的鲁棒性和安全性。

总之，这篇论文为评估和设计具有语言理解能力的紧凑世界模型提供了一套清晰的诊断工具和修复策略，对人工智能领域尤其是具身推理和语言接地研究具有重要的参考价值。