Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0

背景

当前大多数 agent 优化方法的报告收益都来自一次性评估：针对一个固定 benchmark 对 agent 进行优化，然后将得到的改进视为该方法的稳定属性。这种做法无法测试实际部署 agent 时所面临的场景——随着时间推移，新的失败和新的任务不断出现，优化需要递归地应用。因此，一个核心问题随之产生：优化器驱动的增益能否复合（compound）？即，在 agent 被优化过一次之后，能否在新到的任务上再次进行优化，同时不侵蚀第一轮优化所获得的收益？

核心内容

为了回答这个问题，论文基于 Terminal-Bench 2.0 中的困难任务构建了一个两阶段持续学习（continual-learning）评估框架。在相同的优化预算下，比较了三种 agent-harness 优化方法：GEPA、Meta Harness 以及 RELAI 的可验证持续学习（RELAI-VCL）。

在传统的静态单阶段设置中，三种方法均优于基线 agent。然而，一旦引入新任务，方法之间的表现急剧分化：

• GEPA 优化后的 agent 在新任务上的迁移性能甚至低于未优化的基线。
• Meta Harness 的迁移表现良好，但在获得第二轮优化预算后无法进一步提升。
• RELAI-VCL 是唯一一个既能向未见任务正向迁移，又能在这些任务被纳入优化目标后持续改进的方法。它在每个评估阶段都达到最高的 pass rate，并且整体生命周期平均 pass rate 最高（76.4%，而 GEPA 为 66.0%，Meta Harness 为 64.6%，基线为 58.7%）。

论文的关键观察是：只有当回归控制（regression control）被内置于优化循环中时，优化增益才能复合。这种设计提供了对抗快捷解（shortcut solutions）的归纳偏置，从而避免那些无法泛化的方案。

关键要点

• 传统的 agent 优化评估仅关注单次静态 benchmark，忽略了递归优化下增益能否持续累积的关键问题。
• 所有三种方法（GEPA、Meta Harness、RELAI-VCL）在静态单阶段设置中均能有效提升 agent 性能。
• 当新任务出现后，三种方法的表现出现显著分化：GEPA 迁移性能下降；Meta Harness 无法从第二轮优化中获益；只有 RELAI-VCL 能同时实现正向迁移和持续改进。
• RELAI-VCL 在每一阶段和整个生命周期中的 pass rate 均最高，最终达到 76.4% 的平均通过率，远超其他方法。
• 优化增益复合的关键在于优化循环中内建回归控制机制，以防止模型退化并促进泛化。

意义与影响

该研究首次系统性地评估了 agent 优化方法在持续学习场景下的复合增益能力，直接挑战了当前社区普遍采用的一次性评估范式。其发现具有多重启示：

• 对实际部署 agent 的指导：在生产环境中，agent 需要不断适应新任务和新失败模式。仅靠单次优化无法保障长期性能，必须引入支持递归优化的框架。
• 对优化方法设计的启示：RELAI-VCL 的成功表明，设计 agent 优化器时应显式地融入回归控制，以抑制对特定任务过拟合的快捷解，从而提升泛化能力。
• 对 benchmark 构建的启发：未来 agent benchmark 应包含持续学习阶段，以更真实地反映 agent 在实际演进中的表现。Terminal-Bench 2.0 的两阶段设计可视为一个范本。
• 对学术界评价体系的提醒：仅报告静态 benchmark 上的增益可能高估某些方法的价值，应鼓励在动态、递归优化场景下进行更全面的评估。