需要多少任务才能做出Agent基准决策？对公开LLM Agent基准的重放分析

背景

在对LLM Agent进行基准测试时，常见的做法是在所有任务运行完毕后比较两个Agent的性能。然而，完整评估的成本高昂，使得研究者倾向于仅运行部分任务来节省时间和资源。但仅凭执行的任务比例，并不能判断部分运行的结果是否与完整基准的成对比较结论一致。这一问题在Agent基准评估中尤为突出，因为不同基准的任务分布、难度和覆盖范围差异巨大，部分评估可能引入偏差。为系统回答“需要多少任务才能做出可靠的基准决策”，本研究对三个公开的LLM Agent基准（SWE-bench、AppWorld、tau-bench）的已完成的公开任务级记录进行了重放分析。

核心内容

论文提出一个判定部分任务预算是否“足够”的标准：当部分运行的结果能够支持与完整基准相同的决策（即两个Agent之间的优劣结论），覆盖所需的任务组，并且未解决的比较数量不超过目标比例时，该预算才算足够。研究在5个百分点预算网格上，采用严格0个百分点阈值（即不允许任何未解决的比较）进行测试。结果如下：

• AppWorld：在15%的任务量时首次满足所有目标。
• tau-bench：在25%的任务量时首次满足。
• SWE-bench Verified：在90%的任务量时首次满足。
• SWE-bench Lite：在主要覆盖规则下，即使达到95%的任务量仍无法满足所有目标。

这一结果表明，不同基准所需的最小任务比例差异极大。论文进而建议，任何部分评估报告都应明确说明以下五点：一个Agent必须比另一个Agent超出多少才能被视为胜出（即效应量阈值）；任务是如何选择的（例如随机抽样、分层抽样）；所需的覆盖规则是什么（例如必须覆盖所有任务组或特定领域）；使用的决策规则是什么（例如统计检验、胜率阈值）；以及有多少比较可能保持未解决状态。

关键要点

• 部分基准评估的“足够”任务量随基准不同而急剧变化，从15%到90%以上不等，甚至某些基准在95%时仍无法满足要求。
• 严格阈值（0%未解决比较）下，AppWorld和tau-bench相对容易达到，而SWE-bench系列（尤其是Lite）需要极高比例的任务。
• 仅靠任务比例无法保证部分评估结论与完整评估一致，必须结合覆盖规则和决策规则。
• 部分评估应标准化报告方式，包括胜出阈值、任务选择方法、覆盖规则、决策规则及未解决比较比例。
• 该研究基于对三个公开基准的完整任务级记录的重放，方法具有可重复性，但结果仅适用于所分析的基准和条件。

意义与影响

该研究为Agent基准评估的实践者提供了一个量化框架，用于判断部分评估何时可以替代完整评估，从而在不牺牲结论可靠性的前提下降低评估成本。对于不同基准，研究者可以根据自身预算和容忍度参考文中数据，决定是否采用部分评估以及需要多少任务。此外，论文提出的报告标准有助于提升部分评估的透明度和可比较性，避免因方法描述不清导致的误解。对于尚在开发中的Agent基准，本工作也提示在设计任务时需考虑部分评估的可行性，例如通过任务分组或分层抽样来降低部分评估的偏差风险。