Your Agents Are Aging Too: Agent Lifespan Engineering for Deployed Systems

背景

随着长期运行的 AI Agent（智能体）越来越多地被部署为持久化的运营系统，当前的评估范式暴露出了明显的滞后性。长期以来，这些 Agent 依然像刚初始化的基础模型一样接受评估。然而，这种“首日基准测试”（Day-one benchmarks）忽略了一个基本的系统工程问题：一个 Agent 在部署后，究竟能保持多长时间的可靠性？

即使模型权重（Model Weights）被冻结，Agent 的有效状态（Effective State）仍在持续变化。这种变化源于对交互历史的压缩、从日益增长的存储中检索信息、在更新后修正事实，以及执行例行维护。因此，可靠性不再仅仅是基础模型的一个快照属性，而是整个 Agent 系统（Agent Harness）的生命周期属性。

现有的评估体系无法回答 Agent 在长期运行中如何退化、退化的具体形式是什么，以及修复工作应该针对哪个环节。为了解决这一空白，研究人员引入了 AgingBench，这是一个针对 Agent 寿命工程（Agent Lifespan Engineering）的纵向可靠性基准测试。

核心内容

本文提出并详细阐述了 AgingBench，旨在通过纵向视角衡量部署后 Agent 的可靠性。该基准测试不仅关注 Agent 是否发生退化，更侧重于识别退化的形式以及修复的目标位置。

1. Agent 老化的四大机制

AgingBench 将 Agent 的老化现象归纳为四种核心机制：

• 压缩老化（Compression Aging）：由于对长期交互历史进行压缩或摘要导致的信息丢失或扭曲。
• 干扰老化（Interference Aging）：随着记忆存储的增长，新信息与旧信息之间产生的相互干扰，导致检索准确性下降。
• 修订老化（Revision Aging）：在事实更新或知识修正后，Agent 未能正确整合新信息，导致旧错误事实残留或新事实应用不当。
• 维护老化（Maintenance Aging）：在例行维护、系统升级或配置调整过程中引入的稳定性问题或性能波动。

2. 诊断方法论

为了精准诊断上述故障，AgingBench 采用了两种关键技术手段：

• 时序依赖图（Temporal Dependency Graphs）：用于追踪 Agent 状态随时间的变化轨迹，识别老化发生的具体时间节点。
• 配对反事实探针（Paired Counterfactual Probes）：通过生成成对的对比测试用例，深入分析记忆管道中写入（Write）、**检索（Retrieval）和利用（Utilization）**三个阶段的诊断画像（Diagnostic Profiles）。

3. 实验规模与发现

研究团队在 7 个场景、14 个模型、多种记忆策略以及由运行器控制（Runner-controlled）和自主（Autonomous）的 Agent 上进行了广泛测试。实验涵盖了约 400 次运行，会话时长从 8 到 200 个会话不等。主要发现包括：

• 老化并非单一维度：行为测试可能保持“干净”（即逻辑推理看似正常），但事实精度（Factual Precision）可能正在衰减。
• 衍生状态追踪的脆弱性：某些模型的衍生状态追踪能力可能在单个模型生命周期内急剧崩溃。
• 修复策略的差异化：相同的错误答案可能需要不同的修复手段，具体取决于诊断画像指向的是写入、检索还是利用阶段的问题。

关键要点

• 可靠性是系统属性：Agent 的可靠性取决于整个 Agent Harness（包括记忆、维护机制等），而不仅仅是基础模型的能力。
• 冻结权重不等于状态静止：即使模型参数不变，Agent 因处理历史、检索记忆和修正事实而产生的有效状态仍在动态演变。
• AgingBench 的四维分类：将老化明确划分为压缩、干扰、修订和维护四种机制，为问题定位提供了结构化框架。
• 诊断驱动修复：通过时序依赖图和反事实探针生成的诊断画像，可以指导针对记忆管道特定阶段（写入、检索、利用）的精准修复。
• 多维退化现象：Agent 的行为表现与事实准确性可能不同步退化，需分别监测。
• 修复需对症下药：解决错误答案不能仅靠通用方法，必须依据诊断结果选择针对性的修复策略。

意义与影响

这项研究标志着 AI Agent 评估范式从“静态快照”向“动态生命周期”的重要转变。其核心意义在于：

1. 重新定义部署标准：可靠的 Agent 部署不再仅仅依赖于更强的“首日模型”，而是需要建立全生命周期的评估体系。
2. 提供工程化诊断工具：AgingBench 为工程师提供了一套可操作的诊断工具，帮助识别记忆系统中的具体瓶颈，从而优化记忆管理策略。
3. 指导长期维护策略：通过区分不同类型的老化机制，团队可以制定更有针对性的维护计划（例如，针对干扰老化优化检索算法，针对修订老化优化知识更新流程）。
4. 提升系统鲁棒性：理解 Agent 老化的多维度特性，有助于构建更稳健、更持久的 AI 运营系统，减少长期运行中的隐性故障风险。

总之，随着 AI Agent 从实验性应用走向大规模生产环境，寿命工程（Lifespan Engineering） 将成为确保其长期可靠性的关键领域。