空间记忆必须存储什么：以遮挡作为语言智能体记忆的测试

背景

在构建具备“记忆宫殿”（Memory Palace）能力的语言智能体（Language-Agent）系统时，主流直觉认为：将记忆锚定在世界坐标系中，利用几何信息补充纯文本无法表达的空间维度，能够显著提升智能体的表现。然而，这种直觉长期以来缺乏严格的量化验证。

本文针对这一假设进行了可测试的验证，旨在厘清空间记忆究竟需要存储什么，以及这些存储内容如何被读取。研究通过预注册实验（Pre-registered experiments），对比了不同的权重分配策略、记忆检索机制与可见性判断逻辑，揭示了当前系统在空间推理中的关键缺陷与优化方向。

核心内容

研究主要报告了三个核心结果，分别涉及记忆检索的权重策略、记忆检索与可见性的分离、以及遮挡关系的实时验证。

1. 几何引导优于线性混合检索

在默认的“记忆宫殿”架构中，空间邻近性（Spatial Proximity）通常被折叠进一个线性混合向量中，与“近期性”（Recency）和“重要性”（Importance）并列。研究指出，这种默认做法不仅无益，反而可能有害。

在一项预注册的回忆实验中，系统自带的线性混合策略未能通过其自身的冻结测试（Frozen Test），表现甚至低于基线水平（平均 Delta-Hit@5 为 -0.0375，Wilcoxon 检验 p=0.306），处于位置盲视（Position-blind）状态。相比之下，采用几何主导的加权策略取得了决定性胜利（Delta-Hit@5 为 +0.3208，p<10^-15）。

结论：当查询机制（Query Regime）具有空间属性时，几何信息必须在检索中占据主导地位。

2. 记忆检索与可见性的分离

研究强调，记忆检索（Memory Recall）与可见性（Visibility）是两个必须分离的概念：

• 记忆检索是遮挡盲视的（Occlusion-blind）：这是由设计决定的。智能体应当能够正确回忆起墙后下一个房间的内容，即使它当前看不见。
• 可见性是存储几何上的感知谓词：这是一个实时系统从未计算过的属性。

为了提供可见性判断，研究提出使用一行代码实现的射线-体素数字微分分析仪（Ray-versus-Voxel DDA）。该算法从智能体已经投射的视线射线（Gaze Ray）重新指向，用于判断目标是否在视野内。

实验数据显示：

• 仅依靠文本和实时视锥（Live FoV Cone）时，对于849个位于墙后的目标，得分均为 0.000。
• 结合视锥与 DDA 算法后，得分达到 0.982（精确 McNemar 检验 p<10^-6）。
• 此外，坐标回忆能够单独解决余弦相似度无法处理的近重复位置问题（得分 1.000 vs 0.533，n=150）。

3. 遮挡需求几何的实时验证

研究在实时环境中确认了“遮挡需要几何信息”这一前提。通过一个 git 提交的预注册实验（SPMEM-OCC-LIVE-v1），在八个脚本化世界、自动化预言机评分、96个墙后目标的设定下，系统成功将假阳性可见性从 1.000 降低至 0.000（合并精确 McNemar p=2.5x10^-29）。

此次运行还发现并修复了一个真实的中继锚点缺陷（Relay Anchor Defect）。

贡献界定：作者承认“遮挡需要几何”在某种程度上近乎同义反复（Tautology），但本研究的核心贡献在于测量与隔离——即明确区分空间记忆必须存储的内容（几何）与其读取方式。这些试点研究为后续的冻结确认性研究（SPMEM-ZERO-REAL-PREREG-v1）提供了动力，而包含盲评员的多世界人类作者研究仍属未来工作。

关键要点

• 几何主导检索：在空间查询场景下，几何信息应作为检索权重的核心，而非与近期性、重要性简单线性混合。线性混合策略会导致性能下降。
• 检索与可见性解耦：
  • 记忆检索应忽略遮挡（即“记得住”墙后的东西）。
  • 可见性判断需通过实时几何计算（如 DDA 算法）独立得出。
• 技术实现细节：
  • 使用射线-体素 DDA 算法从现有视线射线推导可见性。
  • 坐标回忆优于余弦相似度，能有效区分空间上接近但不同的位置。
• 实验严谨性：研究采用了预注册（Pre-registration）、冻结测试（Frozen Test）和自动化预言机评分，确保了结果的可靠性和可复现性。
• 核心贡献：并非提出新的几何理论，而是通过实验量化证明了空间记忆系统中“存储内容”与“读取逻辑”的分离必要性。

意义与影响

这项研究对构建具备真实世界交互能力的语言智能体具有重要意义：

1. 纠正架构设计误区：许多现有的“记忆宫殿”系统错误地将空间信息与其他语义特征同等对待。本研究证明，在空间任务中，几何信息必须具有优先权，否则智能体将陷入“位置盲视”，无法有效利用空间线索。
2. 明确记忆系统的模块化分工：通过分离“记忆存储/检索”与“实时感知/可见性判断”，研究为智能体架构提供了清晰的模块化指导。智能体不应混淆“我知道那里有什么”（记忆）和“我现在能看到那里”（感知）。
3. 提升空间推理的可靠性：引入 DDA 等几何算法来解决遮挡问题，使得智能体能够更准确地判断环境状态，减少因视觉遮挡导致的幻觉或错误决策。
4. 推动可复现的 AI 研究：通过严格的预注册和自动化评分流程，本研究为 AI 记忆系统的评估树立了高标准，强调了在复杂多世界环境中进行严谨实证研究的重要性。

总之，该研究指出，要实现真正智能的空间记忆，系统必须从简单的文本-向量混合转向以几何为核心、感知与记忆分离的架构。