← 返回信息流
技术博客arXiv cs.AI·2 小时前

长期用户记忆新范式:主动导航结构化动作空间

原标题:From Passive Retrieval to Active Memory Navigation: Learning to Use Memory as a Structured Action Space

速览

现有记忆系统多为被动检索,NapMem提出将用户记忆组织为多粒度记忆金字塔,并通过记忆工具暴露不同层级。代理被训练根据查询和中间证据主动选择记忆,无需被动接受。实验证明NapMem在记忆密集型任务上表现突出,且不影响通用推理与工具使用能力。这为构建真正个性化的对话代理提供了新思路。

AI 深度解读

背景

长期以来,个性化对话智能体的核心挑战之一是长期用户记忆(long-term user memory)的有效利用。传统方法通常将记忆系统设计为被动的检索接口——模型在生成回复前,先通过某种检索机制获取预先筛选的上下文片段,再将它们作为外部证据拼接到输入中。这种“被动检索”范式尽管简单,却存在根本性缺陷:模型只能消费系统预先选择的证据,无法根据推理过程中的中间线索主动探索不同粒度的记忆,导致回答在复杂场景下缺乏灵活性。

随着对话系统在记忆密集型任务上的需求增长(例如多轮历史引用、用户偏好跟踪、长期社交关系理解),研究者开始反思记忆系统与模型之间的交互方式。本文提出的 NapMem 框架正是对这一问题的直接回应。

核心内容

论文提出 NapMem(Navigation-based Active Memory),一个将长期用户记忆视为结构化动作空间(structured action space)而非被动检索上下文的框架。核心设计包括以下部分:

  1. 多粒度记忆金字塔:NapMem 将用户历史组织为一个链接的多粒度记忆金字塔(linked multi-granularity memory pyramid),包含四个层级:

    • 原始对话(raw conversations)
    • 类型化记忆记录(typed memory records)
    • 主题轨迹(topic tracks)
    • 用户画像(user profiles) 这些层级之间通过溯源关系(provenance relations)相互连接,确保信息可追溯。
  2. 记忆工具接口:上述四个层级通过记忆工具(memory tools)暴露给 agent,agent 可以像调用函数一样选择访问不同粒度的记忆。这种设计将记忆检索从隐式上下文拼接转变为显式的、可学习的动作。

  3. 训练方法:agent 通过强化学习(reinforcement learning)进行训练,目标是根据用户查询和中间推理证据主动选取适当的记忆层级,在回答问题前逐一检查不同粒度的记忆内容。训练使用的损失函数同时鼓励正确回答和高效使用记忆工具。

  4. 实验结果

    • 在三个记忆密集型基准测试(PersonaMem-v2, LongMemEval, LoCoMo)上,经过记忆工具强化学习训练的 NapMem agent 在所有任务上表现出竞争力。
    • 在非记忆任务上的评估表明,习得的策略在很大程度上保留了通用的推理能力和工具使用能力,没有显著退化。
    • 额外分析了存储开销、推理成本、工具使用行为,并通过消融实验(navigation, memory granularity, RL training)验证了各组件的贡献。

关键要点

  • NapMem 打破了“被动检索”范式,将记忆系统重新定义为 agent 可以主动导航的结构化动作空间,而非被动拼接的上下文。
  • 记忆金字塔包含四个层次:原始对话、类型化记录、主题轨迹、用户画像,并通过溯源链接保持一致性。
  • agent 通过强化学习学会在推理过程中动态选择记忆粒度,根据当前查询和中间证据逐步深入或回溯。
  • 在 PersonaMem-v2、LongMemEval、LoCoMo 三个记忆密集基准上,NapMem 在全部任务上达到有竞争力的表现。
  • 非记忆任务评估显示,引入记忆导航策略并未显著损害通用推理和工具使用能力。
  • 消融实验证实:导航机制、多粒度设计、RL 训练三个组件对最终性能均有正向贡献。
  • 框架同时考虑了实际部署中的存储和推理成本,论文提供了相应分析。

意义与影响

NapMem 的核心贡献在于提出了一种将长期记忆使用转化为可学习策略的方案,这为个性化对话系统开辟了新方向。传统方法将记忆视为静态资源,而 NapMem 将其视为一个动态交互的环境,agent 可以在其中自由探索和决策。这种视角转变有望带来以下影响:

  1. 更灵活的个性化:agent 不再被固定检索结果所限制,能够根据当前对话情境主动回溯历史细节,特别适合需要深度理解用户长期偏好的场景(如智能助手、社交机器人)。

  2. 可解释性提升:由于记忆访问是显式的工具调用,系统可以记录 agent 在推理过程中查看了哪些记忆颗粒,从而提供决策路径的可追溯能力。

  3. 设计原则的推广:“将结构化存储与学习策略耦合”的思路可能超越对话系统,应用于其他需要长期记忆的 AI 系统(如编程 agent、游戏 NPC)。

  4. 实务考量:论文对存储和推理成本的分析表明,该框架在实用化方面具有可行性,消融实验也为后续优化提供了明确方向。

需要注意的是,当前评估主要集中在模拟环境中的记忆密集型任务,其在真实用户长期交互中的泛化能力仍有待进一步验证。但 NapMem 无疑为“如何让 AI 真正学会使用记忆”这一核心问题提供了具有启发性的答案。

查看原文 →arxiv.org