AgentLens：交互式编码智能体轨迹评估基准
速览
AgentLens是一个生产评估型基准，用于交互式代码智能体的全面评估。它不只关注任务是否通过，而是评估智能体在整个任务过程中的指令遵循、工具使用、自我验证、错误恢复和交互对话等完整轨迹。通过形式化验证与LLM生成的轨迹评估及并排比较，每个运行结果都附带可读的解释，可用于诊断模型行为、比较版本迭代及捕获产品回归。该基准已开源。
AI 深度解读
背景
传统代码代理（code agent）的评测往往只关注任务是否通过，即用一个比特（bit）表示成功或失败。然而，真正使用这些代理的用户体验到的是一整条交互轨迹——代理如何遵循指令、使用工具、验证自己的工作、从错误中恢复，以及在整个过程中如何与用户对话。这种“全盘通过/不通过”的评测方式忽视了过程中丰富的、可诊断的行为信号，难以帮助开发者深入理解代理的真实表现与短板。
核心内容
我们提出 AgentLens，一个基于生产环境评估的交互式代码代理基准。AgentLens 不满足于单一的通过/失败标记，而是评估整条轨迹（trajectory）的质量。它采用两套互补的评估手段：
- 形式验证（Formal Verification） —— 对于存在客观检查标准的任务，进行严格的自动化验证；
- LLM 编写的轨迹审查与逐项比较（Trajectory Reviews and Side‑by‑Side Comparisons） —— 利用大语言模型对代理的完整轨迹生成可读的审查报告，并进行并列对比。
这样，每一条运行都会产生一个清晰的、可理解的评分解释，说明分数为何如此。这使得 AgentLens 不仅仅是一个排名工具，还可以用于：
- 诊断模型行为
- 比较同一代理的连续版本
- 在夜间自动评测流水线中捕捉产品回归（regression）
AgentLens 已作为开源项目发布（链接见原文）。
关键要点
- AgentLens 是一个生产评估基准，专为交互式代码代理设计，评测范围覆盖整条交互轨迹。
- 传统基准仅返回通过/失败，而 AgentLens 提供轨迹级别的可解释评分。
- 评估方法结合形式验证（客观检查）与 LLM 生成的轨迹审查及并列比较。
- 每条运行输出一个可读的分数解释，帮助开发者理解评分原因。
- 应用场景包括：诊断模型行为、版本对比、以及夜间回归检测。
- 基准本身开源，便于社区使用和扩展。
意义与影响
AgentLens 填补了现有代码代理评测中“过程信息缺失”的空白。通过将形式验证与 LLM 驱动的定性分析相结合，它不仅为模型排名提供了更丰富的维度，更重要的是让开发者能够像调试代码一样调试代理的行为。在产品迭代中，AgentLens 可以集成到 CI/CD 流水线，自动捕捉新版代理引入的退化行为，从而降低人工审查成本。该基准的开源性质将促进学界和工业界在代码代理交互质量评估上的统一标准，推动更可靠、更易用的智能代理系统的发展。