Selective Memory Retention for Long-Horizon LLM Agents

背景

LLM Agent 在执行长时序（long-horizon）任务时，往往需要借助外部记忆（external memory）来跨步骤保留关键信息。然而，当记忆库容量有限时，如何决定保留哪些条目、淘汰哪些条目，直接影响 Agent 的最终表现。现有研究普遍假设"记忆污染"（memory pollution）——即无关或冗余条目挤占有效记忆——会显著损害 Agent 性能，但这一假设在干净基准上是否成立，以及不同淘汰策略在真实噪声场景下的差异，尚未被系统验证。

核心内容

本文提出 TraceRetain，一个面向冻结 LLM Agent 的轻量级有界外部记忆框架。该框架通过一组可解释的特征对记忆条目进行评分，并在达到容量上限时淘汰得分最低的条目。评分特征包括：成功度（success）、年龄（age）、访问频率（access frequency）、冗余度（redundancy）、特异性（specificity）、相似度（similarity）以及下游效用（downstream utility）。

实验在 ALFWorld 基准上使用 gpt-5-mini 进行。核心发现如下：

干净基准上的表现：在干净的 ALFWorld 环境中（T=100 到 T=200 步），外部记忆相比无记忆基线在两个种子下均稳健提升性能，但不同有界保留策略之间的差异落在 Wilson 95% 置信区间内。这意味着干净 ALFWorld 并未自然产生"记忆污染"问题——即保留策略之间的差异在统计上不显著。

受控噪声压力测试：当引入 75% 合成干扰项（synthetic distractors）模拟噪声写入时：

• 无界记忆（unbounded memory）的 Precision@5 从 20.2% 降至 12.4%
• FIFO-K50（先进先出，保留最近 50 条）从 15.8% 骤降至 3.8%
• TraceRetain-CEM 基本保持不变（16.9% → 16.6%），并保住了 97/100 的任务成功率

机制分析：无界记忆具有最高的平均相似度（0.87），但精度最低，说明失败的干扰项在嵌入空间中靠近查询向量，导致检索时被错误召回。

分布内留出评估：记忆增强策略解决了 50 个任务中的 47–49 个，而无记忆基线仅解决 39/50。

核心结论：在已饱和的干净基准上，有界记忆以零任务成功率代价换取了记忆和步骤效率的提升；仅当记忆流中包含噪声时，有界保留策略才与简单缓存启发式（如 FIFO）产生显著差异。

关键要点

• TraceRetain 框架：基于多维可解释特征（成功度、年龄、访问频率、冗余度、特异性、相似度、下游效用）对记忆条目评分，在容量约束下淘汰低分条目
• 干净基准不自然产生记忆污染：ALFWorld 在 T=100–200 范围内，不同保留策略差异在统计上不显著，Wilson 95% CI 重叠
• 噪声场景下差异显著：75% 合成干扰项下，无界记忆和 FIFO 的 Precision@5 分别下降 7.8% 和 12.0%，而 TraceRetain-CEM 仅下降 0.3%
• 高相似度≠高精度：无界记忆平均相似度最高（0.87）但精度最低，说明嵌入空间中干扰项与查询的接近性是性能下降的关键因素
• 记忆增强的稳健收益：分布内评估中记忆策略解决 47–49/50 任务 vs 无记忆 39/50
• 效率与成功率解耦：有界记忆在饱和干净基准上以零成功率代价换取记忆占用和步骤效率的优化

意义与影响

本文对 LLM Agent 记忆系统设计提供了两方面的实证澄清：

其一，"记忆污染"并非无处不在的威胁。 在干净的交互式环境中，Agent 的记忆流天然具有较低噪声，简单的无界或 FIFO 策略已足够。这意味着在"理想"场景下，过度设计记忆淘汰机制可能带来不必要的复杂度。

其二，噪声是记忆保留策略的"试金石"。 当记忆流被无关信息污染时（如多 Agent 协作中的交叉对话、网络爬取中的低质量内容），基于多维特征的评分淘汰机制展现出显著鲁棒性。TraceRetain 的可解释特征设计使开发者能够诊断记忆失效的具体原因（是冗余？是过时？还是语义混淆？），而非依赖黑箱端到端训练。

该研究对实际部署的启示是：在构建记忆增强 Agent 时，应首先评估应用场景的记忆流噪声水平。对于低噪声场景（如单用户任务助手），简单策略即可；对于高噪声场景（如开放域多源信息聚合），需要引入类似 TraceRetain 的选择性保留机制，并重点关注"相似度-精度"解耦问题——即高检索分数条目未必是正确条目。