ElasticMem：将潜在记忆作为可学习资源的 LLM 智能体框架

背景

大型语言模型（LLM）智能体在跨长交互进行连贯推理、个性化响应以及复用过往经验方面，高度依赖长期记忆能力。然而，现有的记忆增强方法通常将记忆视为一种固定资源，这种设定导致了查询依赖的记忆效用与固定记忆分配之间的不匹配。

具体而言，现有方法主要分为两类，但均存在显著缺陷：

1. 文本空间方法（Text-space approaches）：将检索到的记忆直接拼接进上下文窗口。这种方法会导致巨大的 Token 开销，并且对噪声证据非常敏感。
2. 潜在空间方法（Latent-space approaches）：虽然降低了文本成本，但仍依赖于僵化的检索机制或固定容量的记忆接口，缺乏灵活性。

ElasticMem 旨在解决这一核心痛点，提出了一种将记忆作为**弹性潜在资源（Elastic Latent Resource）**进行学习的框架。

核心内容

ElasticMem 是一个记忆增强的 LLM 框架，其核心思想是让模型学会像使用弹性资源一样使用记忆。该框架通过以下机制实现这一目标：

1. 离线潜在记忆库构建： ElasticMem 构建了一个包含检索键（retrieval keys）和内容缓存（content caches）的离线潜在记忆库。

2. 自适应检索： 记忆检索不再基于固定的规则，而是从推理器（reasoner）的隐藏状态（hidden state）中自适应地检索记忆。

3. 弹性预算分配： 对于检索到的每一条记忆，系统通过一个学习到的策略（learned policy）为其分配一个变量潜在预算（variable latent budget）。这意味着系统可以根据记忆的相关性和重要性，动态决定投入多少计算资源来处理该记忆。

4. 软记忆 Token 注入： 选定的潜在状态被注入为“软记忆 Token”（soft memory tokens），直接参与生成过程。

5. 基于奖励的策略优化： 整个记忆使用过程通过组相对策略优化（Group-Relative Policy Optimization, GRPO），利用下游任务奖励进行端到端优化。这使得模型能够根据任务表现自动调整记忆检索和预算分配策略。

关键要点

• 解决资源错配问题：ElasticMem 打破了传统方法中记忆容量固定的限制，实现了查询依赖的记忆效用与动态分配之间的匹配。
• 双重优化机制：结合了自适应检索（从隐藏状态出发）和弹性预算分配（通过策略网络学习），使模型能够优先关注有用的证据和可迁移的计划，超越了传统的余弦相似度检索局限。
• 显著的性能提升：
  • 在 MemorySuite 基准测试中（涵盖记忆密集型问答和具身智能体控制），ElasticMem 在两个不同规模的 Qwen2.5 模型上均取得了显著优势：
    • 基于 Qwen2.5-3B-Instruct：加权平均 QA 准确率提升 26.2%，ALFWorld 成功率提升 66.3%。
    • 基于 Qwen2.5-7B-Instruct：加权平均 QA 准确率提升 24.6%，ALFWorld 成功率提升 27.2%。
  • 上述结果均相对于最强的基线模型而言。
• 效率优势：在提升性能的同时，ElasticMem 实现了最低的 ALFWorld Token 成本，证明了其在资源利用上的高效性。
• 开源承诺：ElasticMem 的代码将在指定 URL 开源。

意义与影响

ElasticMem 的提出标志着 LLM 智能体记忆机制从“静态存储”向“动态资源管理”的重要转变。

1. 范式创新：它不再将记忆视为简单的文本片段或固定大小的向量槽，而是将其视为一种可以通过策略网络进行优化的“资源”。这种视角的转换允许模型在推理过程中动态权衡记忆的相关性与计算成本。
2. 效率与精度的平衡：通过引入弹性预算和软记忆 Token，ElasticMem 在大幅降低 Token 消耗的同时提升了复杂任务（如具身智能体控制）的成功率，解决了长上下文窗口带来的效率瓶颈。
3. 推动智能体自主性：自适应检索和基于奖励的策略优化使得智能体能够更灵活地处理噪声信息，优先提取关键证据，从而在开放环境中表现出更强的鲁棒性和推理连贯性。

随着代码的开源，ElasticMem 有望为后续研究提供新的基准，推动更多基于潜在空间动态资源管理的智能体架构发展。