长周期终端基准测试AI代理极限，新任务难度超现有基准

背景

近年来，AI 智能体在完成短时、明确指定的任务上取得了显著进展，例如代码生成、网页问答等。然而，现有的终端基准测试（Terminal Benchmark）大多聚焦于几分钟内可完成的简单问题，并且仅通过最终结果（如任务是否成功）来评估智能体表现。这种设置忽略了智能体在任务执行过程中的中间进展和部分解决方案，导致奖励信号稀疏，无法全面反映智能体的真实能力——尤其是面对需要长时间规划、多步骤推理和迭代调试的复杂任务时，传统基准的评估方式显得力不从心。

为了填补这一空白，研究者提出了 Long-Horizon-Terminal-Bench，一个专门针对长周期终端任务设计的新基准，旨在通过细粒度子任务分解和密集奖励机制，更准确地衡量智能体在开放、长时间工作流中的表现。

核心内容

Long-Horizon-Terminal-Bench 是一个包含 46 个长周期任务的终端基准测试，覆盖九大类别：实验复现、软件工程、多模态分析、交互式游戏、科学计算等。每个任务遵循 Terminal-Bench 风格设置，即提供一个参考解决方案或仿真引擎，但在此基础上进一步分解为细粒度的评分子任务。这种设计允许智能体在每一步获得密集的中间奖励和部分信用，评估不仅关注智能体是否最终达成目标，还能捕捉它在开放工作流中推进到了多远。

任务通常需要智能体执行数百个 episode（回合），运行时间从几分钟到几小时不等，其核心挑战在于长时间规划、长上下文管理以及迭代调试，而非一次性求解。研究者评估了 15 个前沿模型（包括 GPT-4、Claude、Llama 等系列），发现智能体平均每个任务消耗 9.9M 个 token，约 231 个 episode，每次运行执行时间约 85.3 分钟，这使得 Long-Horizon-Terminal-Bench 比以往任何基于终端的基准测试都更具挑战性。

在评估设置中，研究者采用两种奖励阈值：部分奖励阈值 0.95（即智能体获得至少 95% 的可用奖励视为通过）和完美奖励阈值 1.0。结果显示，表现最强的模型在 0.95 阈值下 pass@1 仅为 15.2%，在 1.0 阈值下为 10.9%；而所有模型在两种阈值下的平均通过率分别只有 4.3% 和 1.7%。这些数据表明，当前最先进的智能体在长周期终端任务上仍有巨大的提升空间。此外，研究者还分析了失败模式和错误类型，并公开了 Long-Horizon-Terminal-Bench 以支持未来的研究。

关键要点

• 任务规模与复杂度：包含 46 个长周期任务，覆盖 9 个类别，每个任务需数百个 episode、数分钟到数小时执行，token 消耗平均 9.9M，远超现有终端基准。
• 细粒度评分机制：任务被分解为多个子步骤，通过密集中间奖励和部分信用实现更精细的评估，而非仅依赖最终成败。
• 模型表现差距：最强模型在 0.95 奖励阈值下 pass@1 仅 15.2%，在 1.0 阈值下仅 10.9%；所有模型平均通过率分别为 4.3% 和 1.7%，说明当前智能体在长周期规划与迭代调试方面能力严重不足。
• 失败模式分析：研究者对智能体的错误进行了分类，揭示了长上下文管理、长时间规划、多步推理中的常见瓶颈。
• 基准已开源：Long-Horizon-Terminal-Bench 已公开发布，旨在为社区提供更贴近真实复杂应用场景的评估平台。

意义与影响

Long-Horizon-Terminal-Bench 的提出，标志着 AI 智能体评估从“短时简单任务”向“长周期复杂工作流”的重要转变。它通过密集奖励和部分信用机制，克服了传统终端基准奖励信号稀疏的缺陷，使得研究者能够更准确地诊断智能体在开放任务中的进度与瓶颈。该基准的高难度（最强模型仅 15.2% 通过率）揭示了当前智能体在长期规划、长上下文管理、迭代调试等核心能力上的巨大缺口，为后续研究指明了方向。同时，覆盖实验复现、软件工程、科学计算等多领域的任务设计，也让该基准具备良好的生态代表性，有助于推动智能体在科研自动化、软件工程、多模态交互等实际场景中的落地。总体而言，Long-Horizon-Terminal-Bench 不仅是一个更具挑战性的测试平台，更是一个驱动智能体能力向更高层次跃升的关键工具。