TraceGraph：共享决策景观——诊断与优化智能体轨迹的新范式

背景

随着大型语言模型（LLM）驱动的自主智能体（Agent）在软件工程、数学推理及复杂任务规划等领域的广泛应用，对智能体性能的评估变得日益复杂。当前的基准测试（Benchmarks）通常记录丰富的交互轨迹（Trajectories），即智能体在完成任务过程中产生的每一步动作与观察结果。然而，现有的评估方法往往将这些复杂的动态过程简化为单一的指标，如通过率（Pass Rate）或奖励分数（Reward Score）。

这种简化的评估方式存在显著缺陷：它掩盖了智能体在决策路径上的细微差异，无法揭示模型为何失败或成功，更难以区分不同模型在特定任务结构下的行为模式差异。例如，两个模型可能拥有相同的最终得分，但一个是通过避免陷阱区域成功，另一个则是通过从陷阱中恢复成功。为了深入理解智能体的行为逻辑，我们需要一种能够可视化并量化决策过程的框架，而不仅仅是关注最终结果。

核心内容

本文提出了 TraceGraph，一种基于图论的框架，旨在将多模型智能体的交互轨迹转化为“共享决策景观”（Shared Decision Landscapes）。该框架的核心思想是将抽象的决策过程具象化为可分析、可比较的结构化数据。

1. 构建共享决策景观

TraceGraph 首先从多个模型发布的 rollout（ rollout 指智能体执行任务的一次完整运行轨迹）中收集数据。在引入具体模型身份之前，它针对每个任务构建一个图结构。该图的节点代表可观察的“动作-观察状态”（Action-Observation States），边代表状态之间的转移。通过池化（Pooling）多个模型的轨迹，TraceGraph 构建出一个独立于特定模型身份的“共享景观”，这使得不同模型的行为可以在同一坐标系下进行对比。

2. 识别关键区域

在构建的基础图上，TraceGraph 叠加了两类关键区域：

• 生产核心区（Productive Cores）：通向成功解决方案的高概率状态集合。
• 陷阱区域（Trap Regions）：导致失败或陷入死循环的高风险状态集合。

通过这种叠加，框架能够清晰地展示哪些状态是通往成功的“捷径”，哪些是容易误导智能体的“陷阱”。

3. 轨迹事件摘要

为了量化每个智能体的表现，TraceGraph 将每条轨迹概括为三个关键事件：

• 访问（Access）：智能体是否进入了生产核心区。
• 陷阱暴露（Trap Exposure）：智能体是否进入了陷阱区域。
• 修复（Repair）：智能体是否从陷阱区域成功恢复并继续执行任务。

4. 实证分析与发现

研究人员在五个基准测试拆分（Splits）上应用了 TraceGraph，揭示了传统聚合分数所隐藏的细节：

• 导航差异：不同模型在共享景观中的导航路径存在显著差异，这些差异无法通过最终得分体现。
• 任务特性差异：不同的基准测试拆分对“避免陷阱”和“从陷阱中恢复”的奖励机制不同。有些任务更看重预防错误，而有些任务则更看重纠错能力。

5. 应用案例：SWE-bench 的陷阱感知恢复流水线

TraceGraph 不仅用于诊断，还指导了实际的性能优化。研究人员将其应用于 SWE-bench（一个评估智能体解决真实 GitHub 软件问题的能力基准）：

• 运行时检测器：开发了一个运行时检测器，当智能体进入与历史陷阱区域匹配的状态时触发警报。
• 轻量级恢复策略：一旦触发，系统会从相同的前缀状态（Prefix）评估轻量级的延续策略（Continuation Policies）。
• 性能提升：在针对每个提供商（Provider）触发的状态子集上，最佳的单因素池化策略将官方解决率从 40.4% 提升至 43.5%；在共同触发的实例上，解决率从 41.0% 提升至 44.8%。这一过程还结合了针对特定提供商的活跃组件，进一步提升了效果。

关键要点

• 从结果到过程的转变：TraceGraph 将评估焦点从单一的最终得分转向了完整的决策轨迹，提供了更细粒度的诊断能力。
• 模型无关的共享景观：通过池化多模型轨迹并去除模型身份标识，构建出通用的决策空间，使得不同模型的行为具有可比性。
• 三大诊断事件：通过“访问”、“陷阱暴露”和“修复”三个事件，量化智能体在成功路径和失败路径上的表现。
• 揭示基准测试的隐性偏见：证明了不同基准测试拆分对“避免错误”和“恢复错误”的偏好不同，这解释了为何某些模型在特定任务上表现优异。
• 可操作的改进方案：TraceGraph 不仅用于分析，还直接指导了 SWE-bench 上的性能优化，通过陷阱感知恢复流水线显著提升了智能体的解决率。
• 过程词汇表（Process Vocabulary）：TraceGraph 提供了一套标准化的术语和框架，用于回答“基准测试究竟在测试什么”、“模型在何处分道扬镳”以及“失败区域如何指导下游改进”等关键问题。

意义与影响

TraceGraph 的提出标志着智能体评估领域的一个重要进步。它打破了传统“黑盒”式评估的局限，为理解复杂智能体行为提供了透明的“白盒”视角。

首先，它提升了基准测试的诊断价值。通过揭示模型在决策景观中的具体行为，研究人员可以更准确地识别模型的弱点（如易受陷阱误导）和优势（如强大的恢复能力），从而指导模型架构和训练策略的优化。

其次，它促进了模型间的公平比较。共享决策景观消除了模型特定偏差，使得不同架构、不同大小的模型可以在同一标准下进行性能对比，有助于行业更客观地评估技术进步。

最后，它推动了从评估到优化的闭环。TraceGraph 不仅是一个分析工具，其生成的陷阱区域数据可以直接用于构建更鲁棒的智能体系统（如 SWE-bench 案例所示）。这种“诊断-优化”的闭环机制，对于提升智能体在现实世界复杂环境中的可靠性和安全性具有重要意义。

总之，TraceGraph 为智能体研究提供了一套全新的“过程词汇表”，使得研究者能够更深刻地理解智能体的决策逻辑，并基于此构建更强大、更可靠的智能体系统。