When Agents Remember Too Much: Memory Poisoning Attacks on Large Language Model Agents
AI 深度解读
背景
随着大语言模型（LLM）的发展，基于 LLM 的个性化 AI 智能体（Agent）能够利用可用工具推理并执行操作，例如访问电子邮件、管理日历、向远程仓库推送代码，且几乎不需要人工监督。当这些智能体配备长期记忆（long-term memory）后，可以回忆与当前任务相关的具体细节，从而减少对大上下文窗口的依赖。目前，长期记忆智能体主要分为两个领域：对话式智能体和行动规划智能体。个人助理智能体正处于这两个领域的交汇点，在处理敏感信息的同时与不可信的信息源交互，这引入了此前未被充分考虑的安全漏洞。
核心内容
本文提出了一种新型攻击向量 GhostWriter，该攻击利用当前工具型个人智能体中的记忆子系统，对其记忆存储进行投毒。GhostWriter 的攻击过程分为两个阶段：
- 注入阶段（Injection）：攻击者向目标智能体发送一个隐藏的攻击载荷（payload）。
- 激活阶段（Activation）：当智能体在后续任务中检索被投毒的记忆时，该载荷被触发，从而产生恶意行为。
实验结果表明，针对最先进的智能体，GhostWriter 实现了约 98% 的近乎通用的注入成功率，以及约 60% 的高平均激活成功率。该攻击之所以可能，是因为当前智能体的记忆系统缺乏以安全为导向的治理机制。
作为应对，论文提出了 Agentic Memory Sentry (AM-Sentry)，一种防御机制，包含两种缓解技术：记忆保存策略（memory-saving policy）和记忆检索屏障（memory-retrieval screen）。实验显示，AM-Sentry 在保持智能体实用性的同时，显著降低了 GhostWriter 的成功率。
关键要点
- GhostWriter 是一种针对 LLM 智能体长期记忆系统的投毒攻击，分为注入和激活两阶段。
- 注入阶段攻击者可通过隐式方式向智能体发送恶意载荷，激活阶段在记忆被检索时生效。
- 攻击对最先进智能体达到 98% 的注入成功率和约 60% 的激活成功率，表明现有记忆系统存在严重安全隐患。
- 漏洞根源在于缺乏对记忆存储和检索的安全治理（security-focused memory governance）。
- 防御方案 AM-Sentry 通过两种技术（记忆保存策略与记忆检索屏障）降低攻击成功率，同时不显著影响智能体正常功能。
- 研究聚焦于个人助理智能体，因其同时处理敏感数据并与不可信外部信息源交互。
意义与影响
该研究首次系统性地揭示了长期记忆智能体面临的内存投毒安全威胁，填补了此前被忽视的安全漏洞。随着 LLM 智能体在个人助理、企业办公等场景中日益普及，记忆系统作为智能体持久化知识和个性化行为的关键组件，其安全性至关重要。GhostWriter 攻击的高成功率和低感知性提醒研究者和开发者，在追求智能体能力提升的同时，必须同步构建安全防线。AM-Sentry 作为针对性的防御方案，提供了可行的缓解思路，但未来仍需更全面的记忆安全框架。该工作对于推动 AI 智能体的可信部署具有重要指导意义，尤其是在涉及敏感数据和个人隐私的领域。