新方法GRACE大幅提升LLM代理在分布偏移下的长期可靠性
速览
LLM代理依赖外部上下文指令，但长周期累积指令验证困难。本文提出GRACE方法，将指令维护为语义图，仅在本地局部验证更新，再转为文本。在电信任务中，GRACE将pass^3指标从0.091提升至0.673，超过零样本参考值0.242。结果表明结构化和局部验证机制是可靠长周期上下文演化的关键。
AI 深度解读
背景
部署的 LLM agent 依赖于 agentic context，即由运行框架（operational harness）组装的模型外部文本控制内容。在这项工作中，该上下文的可变组件是一条持久性系统级指令（persistent system-level instruction），它随着运行经验的积累而更新，而模型、工具和运行框架保持不变。在长期演化（long evolution horizons）过程中，平文本维护（flat-text maintenance）使得验证变得越来越困难，因为累积的指令不断增长并相互交互。
核心内容
为了应对上述挑战，作者提出了 Graph-Regularized Agentic Context Evolution (GRACE)。该方法将持久性指令组件维护为一个类型化语义图（typed semantic graph），并对修改节点所在局部类型化邻域（local typed neighborhoods）中的提议更新进行验证。被接受的图更新会被重构为对部署时使用的文本指令检查点（textual instruction checkpoint）的增量编辑。
GRACE 在一个基于 τ²-bench 衍生的固定电信 agent 运行框架（fixed telecom agent harness）下，在受控分布偏移协议（controlled distribution-shift protocol）中进行了评估。在五次独立重复实验中，GRACE 将严格可靠性（以 pass^3 衡量）从 Gemini 2.5 Flash 的零样本值 0.091 提升至最终检查点时的 0.673 ± 0.136。这一结果超过了 Gemini 3.1 Pro 在同样保留集上的零样本参考值 0.242，而平文本 HCE（flat-text HCE）基线最终仅为 0.191 ± 0.051。
这些结果识别出实现可靠长期上下文演化的两个要求：
- 结构基底（structural substrate）——使验证局部化；
- 整合机制（consolidation mechanism）——保持累积指令内容可用。
关键要点
- 问题：持久性系统级指令在长期演化中，平文本维护导致验证困难，因为指令之间产生交互且规模增长。
- 方法核心：GRACE 将持久指令表示为类型化语义图，对图修改仅在其局部邻域内进行验证，避免全局重验。
- 增量更新：图更新被转换为对文本指令检查点的增量编辑，保持部署兼容性。
- 评估设置：在固定电信 agent 框架下，使用 τ²-bench 的受控分布偏移协议，对比基线包括 Gemini 2.5 Flash 零样本、Gemini 3.1 Pro 零样本和平文本 HCE。
- 性能提升：GRACE 的 pass^3 从 0.091 提升至 0.673，显著超过最强基线（Gemini 3.1 Pro 0.242）和同类平文本方法（0.191）。
- 两个关键要求：结构基底使验证本地化；整合机制确保积累的指令内容不会变得不可用。
意义与影响
该工作首次系统性地证明了在分布偏移条件下，LLM agent 的持久上下文可以通过结构化的图正则化演化实现高度可靠的长期更新。GRACE 将验证范围从全局缩小到局部邻域，大大降低了维护复杂度，同时通过增量重构保持了与现有部署流程的兼容。两个核心要求——结构基底与整合机制——为未来 agent 系统的上下文演化设计提供了明确的设计原则。这项研究对于需要持续学习、适应新分布但又要求严格可靠性的工业 agent 部署（如电信、金融、医疗等领域）具有重要的指导意义。