Arbor：将树搜索作为自主代理的认知层

背景

在大型、有状态的动作空间（stateful action spaces）中，自主优化系统面临着巨大的挑战。传统的自主优化方法通常针对孤立的目标进行运作，且其评估过程是无状态的（stateless evaluation）。这种局限性意味着系统难以处理复杂的、相互依赖的优化任务，尤其是在需要跨多个层级协调的场景中。

以全栈大语言模型（LLM）推理优化为例，这是一个典型的复杂领域。要实现峰值性能，历史上一直需要应用层、框架层、编译器层、内核层以及硬件层的工程团队进行高度协调的努力。然而，这种跨层级的协作往往依赖于人工干预，且容易因单一节点的失败而导致整个优化过程崩溃。现有的自动化方案缺乏一种能够维持全局状态、处理失败信号并动态调整探索策略的“认知”机制。

核心内容

Arbor 是一个多代理（multi-agent）框架，其核心创新在于引入了**结构化的树搜索（structured tree search）**作为自主代理的认知层。这一设计旨在解决上述背景中提到的复杂优化问题。

1. 显式搜索树作为共享工作记忆

Arbor 维护一个显式的、带有评分的假设（hypotheses）搜索树。这棵树充当了所有代理之间的共享工作记忆（shared working memory）。与传统的无状态评估不同，Arbor 的搜索树会随着每一次测量而不断演化：

• 失败即信号：系统不再将失败视为单纯的错误，而是将其视为诊断信号，用于重塑后续的探索路径。
• 动态扩展：随着先前成功的出现，瓶颈分布（bottleneck distribution）会发生转移，搜索树会据此自动扩展，引导系统探索新的优化空间。

2. 制衡架构：协调者与批评者

Arbor 采用了一种“制衡”（checks-and-balances）架构，由两类核心代理组成，任何一方都无法单方面驱动系统：

• 协调者代理（Orchestrator Agent）：负责驱动优化过程。它通过向分布在推理栈各层的**领域专家（Domain Specialists）**委派任务来执行优化。
• 批评者代理（Critic Agent）：负责保障系统的稳定性。它通过根本原因分析（root-cause analysis）、内省（introspection）和测量验证（measurement validation）来监督协调者的行为，防止系统陷入不可逆的崩溃或次优解。

3. 技能分解与自主运行

Arbor 将代理的能力分解为两类：

• 硬技能（Hard Skills）：特定领域的专业知识。
• 软技能（Soft Skills）：决定贡献如何组合的协调协议。

这种分解使得系统能够执行完全自主的、长达数天的优化活动（campaigns），而无需人工干预。

4. 验证结果与泛化能力

研究团队在全栈 LLM 推理优化领域对 Arbor 进行了验证，主要发现包括：

• 性能提升：与供应商优化的基线相比，Arbor 实现了高达 193% 的推理吞吐量-延迟帕累托改进（Pareto improvement）。
• 对比实验：一个没有 Arbor 框架支撑的单一代理，其吞吐量提升仅停滞在 +33%，并且在数小时内会发生不可恢复的崩溃。
• 硬件无关性与可复现性：Arbor 泛化到了多代硬件平台，且运行间的方差在 2 个百分点以内，证明了该方法具有硬件无关性（hardware-agnostic）和高度的可复现性。

关键要点

• 认知层创新：Arbor 的核心贡献是将结构化的树搜索引入多代理系统，作为共享工作记忆，使系统具备处理有状态、复杂动作空间的能力。
• 失败驱动探索：系统将失败转化为诊断信号，利用失败信息动态调整后续探索策略，而非简单地重试或放弃。
• 制衡机制：通过“协调者”（负责探索）和“批评者”（负责验证与稳定）的双代理架构，确保了优化过程既高效又稳定，避免了单一代理可能导致的系统崩溃。
• 显著性能优势：在 LLM 推理优化任务中，Arbor 实现了高达 193% 的吞吐量-延迟帕累托改进，远超单一代理的 33% 上限。
• 高鲁棒性与泛化性：系统能够在多代硬件平台上稳定运行，运行间方差极小（<2%），证明了其硬件无关性和结果的可复现性。
• 完全自主性：通过硬技能（领域知识）和软技能（协调协议）的分解，Arbor 能够执行长达数天的自主优化活动，无需人工介入。

意义与影响

Arbor 的提出标志着自主代理系统在复杂工程优化领域迈出了重要一步。它解决了传统优化系统在面对大规模、有状态空间时的局限性，通过引入显式的树搜索结构，赋予了代理系统类似人类的“认知”能力——即能够记忆、评估、从失败中学习并动态调整策略。

在 LLM 推理优化这一对性能极度敏感且跨层级复杂的领域，Arbor 证明了自动化系统可以超越人类专家团队的协调效率，实现前所未有的性能提升。更重要的是，其“制衡”架构和“失败即信号”的机制，为构建高可靠性、高鲁棒性的自主 AI 系统提供了新的范式。这种方法不仅适用于 LLM 优化，其硬件无关性和可复现性也暗示了其在其他复杂系统工程优化场景中的广泛应用潜力。