Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents

背景

大语言模型（LLM）智能体在完成多步骤任务时，越来越多地依赖外部记忆系统来积累跨任务的经验。从图结构记忆到反思型洞察存储，几乎所有的现有方法都采用固定的、手工设计的启发式规则来访问记忆。本文指出，这种静态的记忆观是智能体学习的关键瓶颈，因为最优的记忆行为本质上取决于上下文：任务早期记忆稀疏，应减少检索；重复出现的任务类型更适合复用已有计划而非通用最近邻匹配；智能体陷入困境时应切换查询重新检索；而在长任务流中，记忆库本身也需要整理和剪枝以保持有用。因此，需要一个能够根据当前状态自适应调节记忆操作的机制。

核心内容

本文提出 Memory as a Controlled Process (MemCon) 框架，将记忆操作建模为一个马尔可夫决策过程（MDP），并学习一个在线策略，自适应地决定：

• 何时检索、检索什么、检索多少 —— 根据当前任务状态和记忆稀疏程度动态调节；
• 何时注入一个蒸馏后的计划 —— 当遇到重复类型任务时，直接复用已有计划而非泛泛检索；
• 何时合并或遗忘 —— 在跨任务流中，对记忆库进行整理和剪枝以保持信息的时效性和有用性。

MemCon 具有以下关键特性：

• 后端无关：它可以封装任何已有的记忆实现（例如图记忆、向量存储等），无需修改后端；
• 无需预训练，无额外 LLM 调用：仅利用任务完成后提供的二元反馈（成功/失败）来更新策略；
• 轻量级学习算法：使用一个表格化的上下文赌博机（contextual bandit）配合上置信界（UCB）探索，通常在几十个任务内即可收敛；
• 不增加 LLM 推理开销：决策成本极低，几乎可以忽略。

实验部分，MemCon 在 6 个基准测试、3 种智能体框架、3 种 LLM 主干（如 Llama、GPT 系列等）上进行了评估。与多个基线记忆方法相比，MemCon 在任务成功率上最高提升 15.2 个百分点，同时 token 消耗降低 5%–20%。结果表明，学习一个自适应的记忆控制策略能够显著提升智能体的泛化能力和资源效率。

关键要点

• 核心思想：将记忆操作视为一个可控过程，用强化学习（MDP + 上下文赌博机）学习自适应策略。
• 解决的问题：现有静态启发式记忆无法适应任务阶段、记忆密度和智能体状态的变化。
• 决策维度：何时检索、检索什么、检索多少、何时注入计划、何时遗忘/合并。
• 实现方式：表格化上下文赌博机 + UCB 探索，仅需二元成功/失败反馈，无需预训练，不额外调用 LLM。
• 后端无关性：可包装任意已有的记忆后端（如 graph、vector store等）。
• 性能收益：在多个 benchmark 上提升成功率最高 15.2 个百分点，同时 token 消耗降低 5-20%。
• 收敛速度：通常在几十个任务内即可学习到有效的控制策略。

意义与影响

MemCon 将 LLM 智能体的记忆管理从静态启发式转变为数据驱动的自适应控制，标志着智能体记忆系统从“手动设计”向“学习驱动”的重要转向。该框架的轻量级特性（无需预训练、不额外调用 LLM）使其易于集成到现有系统，并具备实际部署的可行性。其核心洞见——最优记忆行为取决于上下文——为后续研究提供了新的范式：未来智能体不应再依赖固定规则访问记忆，而应学会动态调整记忆操作以最大化长程任务的成功率。

此外，MemCon 的后端无关性意味着它可以与各种新兴的记忆后端（如检索增强生成 RAG、结构化图谱等）组合使用，具有广泛的适用性。这一工作也为探索更复杂的记忆控制策略（如使用参数化策略网络、引入元学习等）打开了方向。长远来看，将记忆控制作为一个可学习的子过程，有望大幅提升 LLM 智能体在复杂、多任务场景下的自主学习和适应能力。