Learning What Not to Forget: Long-Horizon Agent Memory from a Few Kilobytes of Learning

背景

随着基于大型语言模型（LLM）的智能体（Agents）系统日益复杂，其运行周期往往远超单次交互的上下文窗口限制。为了维持对话或任务的连续性，系统必须不断积累交互历史，并随之面临“上下文溢出”的问题。这意味着系统需要制定一种驱逐策略（Eviction Policy），将旧的历史信息从上下文窗口中移除，以腾出空间给新的输入。

然而，现有的驱逐策略往往缺乏精细度。当驱逐策略错误地丢弃了“承载负载的关键细节”（load-bearing details）——例如登录时颁发的访问令牌（access token），或者下一步调用所需的文件路径——整个智能体行动就会失败。这种因记忆丢失导致的失败，本质上是保真度（fidelity）问题。在智能体执行长周期任务时，未来的查询通常不可预知，而当前状态的精确性至关重要。因此，业界亟需一种可部署的、主动的记忆管理策略，能够在有限的计算资源下，精准识别并保留那些对后续任务至关重要的历史信息。

核心内容

本文提出了一种名为 LRE (Learned Relevance Eviction，学习相关性驱逐) 的新方法。LRE 是一种仅占用几千字节（few kilobytes）、纯 CPU 运行、且不依赖语言模型（language-model-free）的评分器（scorer）。其核心机制在于学习哪些历史单元是“承载负载”的关键信息，并通过逐字提取（verbatim extraction）的方式将其保留在上下文中，从而避免关键信息的丢失。

LRE 的设计初衷是解决长周期智能体记忆中的保真度问题。与传统的基于压缩或截断的方法不同，LRE 不依赖神经网络的复杂推理，而是通过轻量级的学习算法来评估历史信息的相关性。

在实验评估中，研究团队进行了严格的对比测试：

1. 准确性与成本的权衡：在预算匹配的对比实验中，没有任何基线方法在“准确性-成本”平面上全面优于 LRE。这表明 LRE 在保持高准确率的同时，实现了极低的资源消耗。
2. 智能体任务表现：在智能体任务中，LRE 的整体准确率与保留全部历史信息的基线（no-eviction baseline）相当。而在最简单的任务上，LRE 甚至超过了该基线 27%，同时无需调用任何压缩器（compressor calls），并将峰值上下文大小减少了高达 52%。
3. 控制追踪研究：通过受控的研究追踪发现，LRE 能够完成其他方法陷入死循环的任务。在其中一个案例中，LRE 比保留所有历史的方法减少了 37% 的调用次数，并且解决了 14 个其他运行策略无法解决的任务。
4. 对话记忆能力：在对话记忆场景中，LRE 在零神经成本（zero neural cost）的情况下，优于密集编码器（dense encoders）和基于标记剪枝（token-pruning）的编码器。
5. 下游评估：在 LoCoMo 阅读任务的下游评估中，LRE 提供了最佳的预算受限答案质量，同时减少了 68% 的标记读取量。
6. 无监督训练潜力：LRE 的监督信号可以是无标注的（annotation-free）。研究表明，仅利用系统自身行为进行训练，即可恢复监督评分器 95% 的有效性。

作者论证道，由于 LLM 智能体中的记忆驱逐是一个保真度问题，它需要一个可部署的主动策略，因为未来查询不可用且精确状态具有决定性作用。而廉价的“学习相关性”机制足以应对这一挑战。

关键要点

• LRE 的核心优势：LRE 是一个极轻量级的评分器（仅几千字节），纯 CPU 运行，无需依赖大型语言模型或复杂的神经网络，实现了“零神经成本”的记忆管理。
• 解决关键细节丢失问题：LRE 通过逐字提取的方式保留关键信息（如令牌、路径），有效避免了因驱逐策略不当导致的智能体行动失败。
• 性能超越基线：
  • 在简单任务中，准确率比“保留全部历史”的基线高出 27%。
  • 峰值上下文大小减少高达 52%，调用次数减少 37%。
  • 解决了 14 个其他策略无法完成的任务。
• 高效的资源利用：在 LoCoMo 阅读任务中，LRE 在提供最佳答案质量的同时，减少了 68% 的标记读取量。
• 无监督训练的可行性：LRE 不需要人工标注数据，仅通过系统自身行为进行训练，即可达到监督评分器 95% 的效果，大幅降低了部署门槛。
• 方法论创新：证明了在智能体记忆管理中，廉价的、基于学习的“相关性”评估足以替代复杂的压缩或截断策略，特别是在未来查询不可预知的长周期任务中。

意义与影响

LRE 的提出为长周期智能体（Long-Horizon Agents）的记忆管理提供了一个高效、低成本且高保真的解决方案。其意义主要体现在以下几个方面：

1. 突破上下文窗口的限制：随着智能体应用向更复杂的长周期任务拓展，上下文窗口的限制成为瓶颈。LRE 证明了无需无限扩大上下文窗口，通过智能的驱逐策略，同样可以实现与保留全部历史相当甚至更好的性能。
2. 降低部署成本与延迟：LRE 的纯 CPU、轻量级特性使其易于部署在资源受限的环境中，且无需调用昂贵的神经网络模型进行记忆评估，显著降低了推理成本和延迟。这对于大规模部署智能体系统具有重要意义。
3. 提升智能体的鲁棒性：通过精准保留关键细节，LRE 减少了因记忆丢失导致的行动失败，提升了智能体在复杂、长周期任务中的稳定性和可靠性。
4. 推动记忆管理研究的范式转变：LRE 的成功表明，记忆驱逐问题本质上是一个保真度问题，而非单纯的容量问题。这为后续研究提供了新的思路，即通过轻量级的相关性学习来实现高效的记忆管理，而非一味依赖更大的模型或更复杂的压缩算法。
5. 促进无监督学习在智能体中的应用：LRE 在无标注数据下的优异表现，展示了利用系统自身行为进行自我优化的潜力，为智能体的持续学习和自适应能力提供了新的技术路径。

总之，LRE 不仅是一个具体的技术实现，更代表了一种在资源受限环境下优化智能体记忆管理的新范式，对推动智能体技术的实用化和规模化具有深远影响。