Who&When Pro：新基准测试LLM归因AI代理故障能力

背景

随着 AI agent（智能体）系统能力的快速提升，它们在执行复杂任务时出现的失败也越来越隐蔽和多样化。传统的故障排查通常依赖人工调试，但在 agent 协作、多步骤推理、工具调用等场景下，手动定位错误原因变得低效且难以规模化。因此，研究者开始探索利用大语言模型（LLM）自动化归因 agent 系统中的失败——即自动判断失败发生在哪个步骤、由什么原因引起。然而，现有工作缺乏系统性的基准来评估 LLM 在这类任务上的表现，且多数基准仅覆盖单一模态或简单场景，无法反映真实 agent 应用的复杂性。

为此，本文作者提出了 Who&When Pro（以下简称 W&W Pro），一个大规模、多模态的自动化故障归因基准，旨在系统评估 LLM 是否真正能够归因 AI agent 的失败。

核心内容

1. 问题定义：自动化故障归因

自动化故障归因（Automated Failure Attribution）是指：给定一个 agent 系统执行任务的完整轨迹（包括观察、动作、中间结果等），利用 LLM 自动识别失败发生的具体位置（where）以及失败的本质原因（why）。本文聚焦于两类归因：

• where：失败发生在轨迹的哪个时间步或哪个步骤。
• why：失败的具体类型，例如环境理解错误、工具调用错误、推理逻辑错误等。

2. 基准构建方法：严格控制的失败注入流水线

为了生成带有黄金标签（golden labels）的失败轨迹，作者设计了一个严格受控的流水线：

1. 先成功：让 agent 执行任务直到某个关键步骤，确保该前缀步骤全部成功。
2. 再注入失败：在前缀完全重放之后，才在下一个步骤注入一次特定的失败。失败的注入方式包括：修改环境状态、干扰 LLM 决策、破坏工具输出等。
3. 记录标签：自动记录失败发生的时间步和失败类型作为 ground truth。

通过这种方式，作者构建了 12,326 条失败的 agent 轨迹，每条轨迹都带有精确的 where/why 标签。这些轨迹覆盖 3 种模态（文本、视觉、结构化数据）和 26 个不同基准（包括 Web 导航、代码执行、机器人控制、多步推理等场景），确保基准的多样性和挑战性。

3. 实验与发现

在构建的基准上，作者对多种主流 LLM（包括 GPT-4、Llama、Claude 等系列）进行了系统评测，揭示了以下模式：

• 模态差异：LLM 在纯文本模态的故障归因上表现较好，但在视觉和结构化数据模态上显著下降，表明视觉/结构化环境中失败归因更具挑战。
• 协议差异：使用不同的 agent 协议（如 ReAct、Plan-and-Solve、Reflexion）时，归因准确率存在明显差异。例如，带有记忆机制和反思步骤的协议更容易被 LLM 正确归因。
• 模型家族差异：在同一模型家族中，更大参数量的模型不一定在归因任务上更好，某些小型专业模型反而在特定场景下表现更优。
• 失败类型影响：工具调用错误和逻辑推理错误容易被 LLM 归因，而环境理解错误（如视觉感知偏差）则经常被误判。

作者还分析了 LLM 在归因时常见的系统性偏差，例如倾向于将失败归因于最近的动作（近因效应），或倾向于忽视环境状态的变化。这些发现为未来设计更可靠的自动化归因系统提供了实证指导。

关键要点

• 首个大规模多模态 agent 故障归因基准：W&W Pro 包含 12,326 条带黄金标签的失败轨迹，覆盖 3 种模态和 26 个基准，远超现有同类工作。
• 严格可控的失败注入方法：通过“先成功再注入”的流水线，确保每个失败注入位置准确、失败类型明确，避免混淆因素。
• 系统性的评测发现：
  • 文本模态归因表现最好，视觉和结构化数据模态显著落后。
  • 不同 agent 协议（ReAct、Plan-and-Solve 等）对归因准确率有显著影响。
  • 模型规模与归因能力并非正相关，某些小模型在特定场景下更优。
  • 常见归因偏差：近因偏差、环境状态忽视等。
• 公开可用：论文附带数据、代码和评测接口，便于社区复现和扩展。

意义与影响

• 推动自动化故障归因研究：W&W Pro 提供了一个标准化、可复现的评估平台，使得未来研究者可以公平比较不同 LLM 在 agent 失败归因上的能力，避免因数据集差异导致的不一致结论。
• 揭示 LLM 能力的边界：实验结果表明，即使是当前最先进的 LLM 在视觉/结构化模态的失败归因上仍然脆弱，说明单纯依赖 LLM 进行全自动故障诊断尚不成熟，需要结合其他专用模块（如视觉异常检测、状态差分分析）来提升鲁棒性。
• 为训练更智能的 agent 提供指导：通过分析不同失败类型的归因难度和 LLM 的偏差模式，agent 系统设计者可以有针对性地改进架构，例如增加显式的环境状态日志、优化反思机制、或为视觉输入提供更清晰的语义描述。
• 对 AI 安全与可靠性的意义：随着 agent 系统在自动驾驶、金融交易、医疗诊断等高风险场景的应用，自动化故障归因是保障系统可信赖的关键一环。W&W Pro 为这一方向提供了切实的基准和实证参考，有助于构建更安全、更可解释的 agent 系统。