Anchor：缓解智能体基准测试生成中的“人工制品漂移”现象

背景

随着 AI 智能体（AI Agents）能力的提升，它们开始能够执行具有高商业价值的长周期业务操作任务。然而，在企业工作场景的训练和评估环境中，要在真实性（Realism）、**可验证性（Verifiability）和规模（Scale）**之间取得平衡依然是一个巨大的挑战。

在现有的环境构建和任务创建过程中，普遍存在一种被称为**“人工制品漂移”（Artifact Drift）**的失败模式。当指令（Instructions）、环境（Environments）、预言机/真理来源（Oracles）和验证器（Verifiers）是由松散耦合的流程分别创建时，它们经常对“任务具体要求是什么”产生分歧。这种不一致性导致生成的环境往往存在以下问题：

1. 不可解性：任务本身无法被解决。
2. 奖励可操纵性（Reward-hackable）：智能体可以通过非预期的方式获取高奖励，而非真正完成任务。
3. 不一致性：不同组件之间的逻辑冲突。

为了解决这一痛点，研究人员提出了 Anchor 框架，旨在通过形式化的方法解决上述漂移问题，并发布了基于此框架的基准测试 ERP-Bench。

核心内容

Anchor 框架的工作原理

Anchor 是一个任务生成流水线（Task-generation pipeline），其核心创新在于将领域专家对业务流程的规范转化为约束优化程序（Constraint Optimization Programs）。

传统的任务生成往往依赖自然语言描述，容易产生歧义。而 Anchor 从单一的参数化规范（Parametric Specification）出发，联合生成以下四个关键组件：

1. 自然语言指令（Natural-language Instruction）：给智能体的具体任务描述。
2. 环境配置（Environment Configuration）：模拟业务场景的系统状态。
3. 求解器认证的基准真值解（Solver-certified Ground-truth Solution）：由求解器验证过的最优解，确保任务在理论上是可解的。
4. 基于状态的验证器（State-based Verifier）：用于检查最终状态是否符合业务正确性的工具。

通过这种方式，Anchor 确保了所有组件在逻辑上是自洽的。改变参数即可生成具有受控难度且已知最优解的新任务。生成的环境是**与评估框架无关（Harness-agnostic）**的，其奖励机制完全依赖于最终状态的业务正确性，而非过程中的中间步骤。

ERP-Bench：基于 Anchor 的基准测试

研究团队利用 Anchor 构建了 ERP-Bench，这是一个包含 300 个长周期任务的基准测试集。这些任务涵盖了生产级 ERP 系统（企业资源计划系统）中的采购（Procurement）和制造（Manufacturing）工作流。

实验结果

在 ERP-Bench 上的评估揭示了当前前沿模型（Frontier Models）在复杂业务逻辑处理上的局限性：

1. 难度预测性：生成参数能够准确预测任务的实现难度，证明了 Anchor 在控制任务难度方面的有效性。
2. 模型表现：
   • 前沿模型仅在 26.1% 的试验中满足了显式的任务约束。
   • 仅有 17.4% 的试验达到了完全最优解。

这表明，尽管模型在简单指令跟随上表现良好，但在需要严格遵循复杂业务约束和长周期逻辑的企业级任务中，仍存在显著的能力缺口。

关键要点

• 问题定义：提出了“人工制品漂移”概念，指出松散耦合的任务生成流程会导致指令、环境与验证器之间的逻辑不一致，进而产生不可解或易被操纵的评估环境。
• 解决方案：Anchor 框架通过将业务规范形式化为约束优化程序，实现了指令、环境、真值解和验证器的联合生成，确保了逻辑的一致性。
• 技术优势：
  • 可控性：通过参数调整可生成不同难度的任务。
  • 可验证性：提供求解器认证的基准真值解，确保任务可解。
  • 业务导向：奖励机制仅取决于最终状态的业务正确性，避免了中间过程的奖励黑客攻击。
• 实证数据：在 ERP-Bench（300个长周期任务）测试中，前沿模型满足显式约束的比例仅为 26.1%，达到最优解的比例仅为 17.4%，凸显了当前智能体在企业级复杂工作流中的不足。
• 开源贡献：研究团队公开了任务生成器和 ERP-Bench 数据集，为构建可审计、经济价值高的智能体评估环境提供了具体方案。

意义与影响

Anchor 和 ERP-Bench 的发布为 AI 智能体评估领域提供了一个重要的范式转变。

首先，它解决了长期困扰 AI 评估领域的真实性与可验证性难以兼得的问题。通过形式化约束和优化求解，Anchor 确保了评估环境不仅在表面上看起来像真实的业务场景，而且在逻辑上是严密且可审计的。

其次，它揭示了当前大模型在长周期、高约束业务逻辑方面的短板。仅 17.4% 的最优解达成率表明，现有的前沿模型距离真正胜任复杂的、需要严格合规性的企业级自动化操作还有很长的路要走。这为后续的研究指明了方向：未来的工作重心应从简单的指令跟随转向更复杂的逻辑推理、状态管理和约束满足能力。

最后，Anchor 提供了一套可复用的方法论，使得构建针对特定垂直领域（如金融、制造、供应链）的可信评估基准成为可能，有助于推动 AI 智能体在高风险、高价值商业场景中的落地应用。