← 返回信息流
技术博客arXiv cs.AI·1 小时前

LLM代理自主上下文管理:Self-GC长时策略控制上下文生命周期

原标题:Self-GC: Self-Governing Context for Long-Horizon LLM Agents

速览

Self-GC是基于长时LLM代理的自治理上下文系统,借鉴垃圾回收理念治理上下文对象生命周期。 它将用户输入、工具输出和技能状态转为索引对象,并让侧通道规划器提出折叠、掩码和剪枝动作,系统通过可恢复的侧边存储、安全提交边界和缓存感知提交来执行。 相比传统启发式剪枝和最终摘要方法,Self-GC在33个会话硬集上降低前缀标记消耗43.95%,未来连续性不受影响84.85%;在332个生产会话中无影响率达91.27%-94.58%,上线A/B测试中日均输入标记减少10%-15%,峰值近20%。 这标志着上下文管理从事后文本清理,转变为对可索引可恢复对象的运行时生命周期控制,对推进高效长时AI代理至关重要。

AI 深度解读

背景

长时序(long-horizon)LLM代理在实际应用中会持续累积用户输入、工具调用结果、文件、计划和约束,这些内容结构化且往往难以被视为可丢弃的文本后缀。目前主流系统多依赖运行时启发式方法,例如按时间顺序裁剪或遮掩工具输出,又或是接近上下文极限时进行最终的自总结。这些启发式方法成本低廉,但完全无视未来依赖关系;自总结虽能保留叙事状态,却常隐藏精确证据、定位符和可编辑的构件。

核心内容

论文提出名为 Self-GC 的系统,其中 GC 指 self-governing context(自我治理的上下文),有意呼应垃圾回收(garbage collection)的概念——该系统不仅简单回收未用 token,更对代理上下文对象的生命周期进行治理。

Self-GC 将用户 turns、工具 spans 和技能状态转为索引对象;通过侧通道规划器(side-channel planner)提出折叠(fold)、遮掩(mask)和剪枝(prune)动作;最后由 harness 强制执行可恢复侧边车(recoverable sidecars)、安全的提交边界(safe commit boundaries)和缓存感知提交(cache-aware commit)。

在 33-session Hard Set 基准上,Self-GC 剪枝了 43.95% 的前缀 token,同时保留 84.85% 的未来延续不受影响;相比无影响率分别为 54.55%–69.70% 的启发式基线,显著更优。在 332-session 由生产环境衍生而成的套件中,三个规划器骨干的无影响率分别达到 91.27%–94.58%,而基线则仅为 77.71%–87.46%。在实际生产环境中,通过在线账户级拆分(account-level split),白天平均输入 token 减少 10%–15%,峰值降幅可达 20%。

论文结论指出:上下文管理本质上是将索引、可恢复对象视为运行时生命周期控制,而非事后文本清理。

关键要点

  • Long-horizon LLM 代理上下文增长过快,现有系统依赖启发式裁剪或最终总结,但无法兼顾未来依赖与精确可编辑性。
  • Self-GC 将上下文对象化(user turns、tool spans、skill state 转为索引对象),并引入侧通道规划器生成 fold、mask、prune 动作。
  • Harness 强制实施可恢复侧边车、安全提交边界和缓存感知提交,实现可治理的上下文生命周期。
  • Hard Set 实验:Self-GC 剪枝 43.95% 前缀 token,无影响率 84.85%,优于启发式基线(无影响率 54.55%–69.70%)。
  • 大规模生产套件(332-session):三个规划器骨干无影响率 91.27%–94.58%,基线仅 77.71%–87.46%。
  • 生产落地:账户级拆分实现白天输入 token 平均降低 10%–15%,峰值降幅近 20%。
  • 核心创新:上下文管理转向对索引、可恢复对象的运行时生命周期治理,而非简单后处理。

意义与影响

Self-GC 为长时序 LLM 代理的上下文管理提供了一种新的治理范式,将传统“清理”升级为“自我管理”,显著提升代理在长任务、复杂多轮场景下的稳定性和效率。相比仅依赖廉价启发式或事后总结的旧方法,它能更好地保留精确证据、定位符和可编辑构件,同时降低上下文窗口压力,降低了推理失败风险和 token 消耗。在实际生产环境中已展示出 10%–20% 的输入 token 节省,为大规模部署和成本控制提供了可落地的方案。该工作为后续长时序代理框架(如 Context-Folding、AdaCoM 等)提供了可扩展的索引式、可恢复上下文治理思路,标志着上下文管理从“后处理”向“运行时操作系统级控制”的转变,有望推动更多高效、可靠的自主代理系统走向实用化。

查看原文 →arxiv.org