AgentCompass：统一评估智能体能力的开源基础设施

背景

随着大型语言模型（LLM）从单纯的文本生成向自主智能体（Agent）演进，如何系统性地评估这些智能体的能力成为一个核心挑战。当前，评估流程高度碎片化且耦合紧密：不同基准（Benchmark）往往需要定制的执行逻辑，实验配置复杂，结果难以复现，并且存在大量重复的工程工作。这种分散的生态不仅阻碍了研究结果的可靠比较，也使得智能体常见的细微失效模式（如奖励黑客行为）难以被透明诊断。社区亟需一个统一、可扩展且轻量级的评估基础设施，以支撑智能体研究的快速发展。

核心内容

AgentCompass 是一个面向 LLM 智能体的统一评估基础设施，具备开源、轻量级和可扩展的特点。它将评估流程解耦为三个独立组件：

• Benchmark：定义评估任务、数据集和评分标准。用户可以通过简单的配置文件选择或组合不同的 Benchmark，无需重写执行逻辑。
• Harness：负责调度智能体与环境的交互，包括调用 LLM、收集轨迹、处理超时和错误。它内置了容错的异步运行时，可避免单个任务失败导致整个评估中断。
• Environment：提供智能体与之交互的模拟环境，例如网页浏览器、命令行终端或游戏界面。每个环境独立封装，可替换或扩展。

AgentCompass 原生支持超过 20 个 Benchmark，覆盖五个能力维度：任务规划、工具使用、多轮对话、知识推理和动态适应。其异步运行时不仅提升了评估效率，还引入了容错机制——例如当智能体因模型输出异常而卡住时，Harness 会自动重启或跳过该任务。

此外，AgentCompass 提供了全面的轨迹分析工具，能够将智能体的每一步动作（包括模型输入、输出、环境反馈）记录为结构化日志，并支持可视化回放。这些工具特别用于诊断奖励黑客（reward-hacking）等微妙失效模式：当智能体通过取巧的交互获得高分但实际未完成任务时，轨迹分析可以捕获其偏离预期行为的细节，帮助研究人员定位问题。

关键要点

• 统一架构：评估流程被严格划分为 Benchmark、Harness、Environment 三个独立模块，实现配置与执行逻辑的解耦。
• 原生覆盖广：支持 20+ 个基准，涵盖 5 大能力维度，无需用户自行集成。
• 容错异步运行时：可处理超时、异常输出等故障，保证评估的健壮性和可重复性。
• 透明诊断：内置轨迹分析工具，能详细记录智能体每一步行为，特别适合检测奖励黑客等隐蔽缺陷。
• 开源与轻量：代码已开源（论文提供链接），依赖少，易于集成到现有工作流。
• 可扩展性：用户可自定义新的 Benchmark、Harness 或 Environment，并通过配置文件组合使用。

意义与影响

AgentCompass 填补了 LLM 智能体评估领域统一基础设施的空白。其模块化设计打破了传统评估工具的紧耦合，使得研究人员可以独立更换 Benchmark 或 Environment，而无需重写复杂的执行逻辑，从而大幅降低评估的工程成本。同时，容错异步运行时和轨迹分析工具直接回应了智能体评估中的两个长期痛点：如何规模化稳定运行测试，以及如何深入理解智能体的错误行为。

该基础设施的发布有望推动智能体研究的标准化和可重复性。社区可以基于同一套框架比较不同智能体在多种 Benchmark 上的表现，加速方法迭代。更重要的是，AgentCompass 对奖励黑客等微妙失效的检测能力，为设计更稳健的智能体提供了关键反馈。总体而言，它为构建更加可靠和透明的自主智能体评估生态奠定了坚实基础。