LLM代理自动测试工具进化效果遭重新评估

背景

近年来，LLM Agent 的能力在自动化和复杂任务执行上取得了显著进展。其中，自动任务框架演化（Automatic Harness Evolution）是一种新兴方法：它通过单元测试用例来搜索最优的 Agent 配置（或称为“Harness”），例如提示词结构、工具调用方式、输出格式等，从而提升 Agent 在特定基准任务上的表现。这类方法通常会在同一公开基准上反复评估和迭代，并最终报告在该基准上的最优性能。

然而，这种评估协议存在两个根本性问题：第一，Harness 演化本身是一个迭代搜索过程，每次都会利用任务反馈来修改候选配置，这与 Agent 在测试时进行简单搜索（test-time scaling）的做法本质类似。现有研究往往将其与“无搜索”的基线对比，却未在同等反馈和推理预算下与简单的任务级搜索基线进行比较，因此无法判断性能提升究竟来自更优的框架设计，还是仅仅来自额外的搜索计算。第二，由于搜索和最终评估使用同一套基准任务，报告的提升可能存在过拟合风险，即演化出的框架对该特定任务集有效，但无法推广到未曾见过的任务。

核心内容

本研究重新审视了 LLM Agent 的自动 Harness 演化评估方法，并提出了一套更公平的评估协议。作者将 Harness 演化与简单的测试时扩展（test-time scaling）以及发现式基线（discovery baselines）在同等反馈和推理预算下进行了全面比较。此外，他们还设计了留出任务（held-out tasks）来测试演化出的 Harness 是否具有泛化能力。

实验在 Terminal-Bench 2.1 基准上进行，使用 GPT-5.4 和 Claude Opus 4.6 两个模型。结果表明，自动 Harness 演化并未持续优于简单的测试时扩展方法，并且其泛化能力有限。具体来说，当给 Harness 演化分配与简单搜索方法相同的推理预算（例如同样多的模型调用次数）时，前者并未表现出明显的优势；而将演化出的 Harness 应用到未参与搜索的新任务上时，性能提升往往消失甚至下降。

这些发现对自动 Harness 演化的有效性提出了重要质疑，并强调了需要更公平的评估协议和基准来设计自动 Harness。作者也公开了代码以供复现。

关键要点

• Harness 演化本质上是一种迭代搜索过程，与 Agent 测试时进行简单任务搜索（如多次采样、最佳选择）具有相似性，应在相同反馈和推理预算下进行比较。
• 现有评估协议中，搜索和最终评估共享同一基准，导致性能提升可能来自过拟合而非真正的框架设计改进。
• 实验在 Terminal-Bench 2.1 上使用 GPT-5.4 和 Claude Opus 4.6 进行，结果显示自动 Harness 演化并不一致优于简单的测试时扩展方法，并且泛化能力有限。
• 研究建议未来的自动 Harness 设计工作应包含：（1）与同等预算的简单搜索基线对比；（2）使用留出任务评估泛化性；（3）建立更规范的评估协议以避免过拟合。

意义与影响

该研究对 LLM Agent 自动框架设计这一热点方向提出了严肃的方法论挑战。它提醒社区，在评估复杂搜索方法（如 Harness 演化）时，必须区分“搜索带来的计算增益”与“框架设计本身的增益”。如果忽视这一区别，就可能导致高估 Harness 演化的实际价值，甚至误导后续研究方向。

此外，该工作强调了基准评估的泛化性测试的重要性。许多现有方法仅在单一基准上报告最优结果，但 Agent 在实际应用中需要应对多样化的任务，因此泛化能力才是关键。该研究提出的“留出任务评估”应成为未来 Harness 设计论文的标准做法。

从更宏观的角度看，该研究也呼应了“测试时计算扩展”（test-time compute scaling）的讨论。它表明，对于许多 Agent 任务，简单的多次采样或重试策略可能已经足够强大，而过度复杂的自动 Harness 演化未必带来额外收益。这为资源有限的研究者和开发者提供了更务实的选择：优先采用简单、可控的搜索策略，而非投入大量精力去自动演化复杂的提示框架。