RIZZ：为黑盒智能体实现持续适应的路由机制

背景

随着大型语言模型（LLM）被越来越多地部署为长期运行的智能体（Agents），这些智能体面临着前所未有的适应性挑战。它们必须在没有访问模型权重（即无法进行微调）的情况下，适应不同的用户、任务、领域、模态以及反馈机制。

现有的黑盒适应方法主要存在以下局限性：

1. 单一提示优化：通常只优化一个固定的提示词（Prompt），缺乏灵活性。
2. 无差别记忆：维护一个未加区分的记忆库，导致信息混杂。
3. 高成本搜索：依赖重复的、计算量巨大的 rollout（ rollout-heavy）搜索过程。

这些设计在面对非平稳（nonstationary）的输入流、稀疏的反馈信号时表现不佳。更严重的是，一个任务家族中的失败经验可能会“污染”另一个任务家族的行为，导致智能体在不同任务间的表现相互干扰。

核心内容

为了解决上述问题，研究人员提出了 RIZZ（Routing Interactions to Near Zero-Interference Zones，将交互路由至近零干扰区域），这是一个专为复合语言模型系统设计的持续适应框架。RIZZ 完全通过验证器门控的记忆（verifier-gated memory）、路由机制和提示编译（prompt compilation）来学习，无需访问底层模型权重。

RIZZ 的核心工作流程包含以下几个关键阶段：

1. 动态记忆分支组织

RIZZ 将输入流组织成动态生成的记忆分支（memory branches）。这意味着系统不会将所有信息混入一个巨大的上下文窗口，而是根据上下文特征将交互分流到不同的“区域”。

2. 上下文感知路由

在推理阶段（无论是在线还是离线），一个上下文感知路由器（context-aware router）会发挥作用。它负责选择或创建一个新的记忆分支，并检索该分支内的局部上下文、全局上下文、图结构上下文以及工作记忆上下文。

3. 提示编译

检索到的上下文将与检索到的任务证据（task evidence）一起，被编译成一个有界提示（bounded prompt）。这种机制确保了发送给 LLM 的输入既包含必要的背景信息，又受到严格的长度和范围限制，从而控制上下文预算。

4. 验证器门控的记忆更新

这是 RIZZ 防止干扰的核心机制。当模型执行动作并生成输出后，任务验证器（task verifiers）会对输出进行评分。只有经过验证的交互才能更新记忆。具体操作包括：

• 推广可复用规则：将成功的策略固化为规则。
• 降级有害规则：降低失败策略的权重或将其标记为负面。
• 创建反模式（Anti-patterns）：明确记录应避免的行为模式。

未通过验证的交互则被丢弃或仅作为临时数据，不会污染长期记忆。

5. 持续适应与干扰控制

通过这种机制，RIZZ 使得黑盒智能体能够在接受持久自然语言反馈的同时，显式地控制任务间的干扰。它特别针对必须在上下文预算限制下在线进行适应的场景。

关键要点

• 黑盒适应：RIZZ 不需要访问 LLM 的内部权重，完全通过外部提示工程和记忆管理来实现适应，适用于 API 调用的黑盒模型。
• 近零干扰设计：通过“路由”和“动态分支”，RIZZ 旨在将不同任务或用户群体的交互隔离在独立的记忆区域中，防止一个任务的失败经验污染其他任务。
• 验证器门控（Verifier-Gated）：记忆更新不是自动的，而是由验证器控制。只有被验证为成功的交互才能转化为长期记忆（规则或反模式），这提高了记忆的质量。
• 混合上下文检索：系统结合了分支局部上下文、全局上下文、图结构上下文和工作记忆，通过路由器智能选择最相关的信息。
• 有界提示编译：检索到的信息被编译成固定大小的提示，以应对严格的上下文窗口限制和在线适应的实时性要求。
• 反模式学习：除了学习成功模式，RIZZ 还显式地创建“反模式”，明确告诉模型什么是不该做的，从而更有效地避免重复错误。

意义与影响

RIZZ 的提出标志着黑盒智能体适应技术的一个重要进步。在现实世界中，大多数 LLM 应用都是通过 API 访问的，无法进行传统的微调。RIZZ 提供了一种高效、低干扰的持续学习范式。

1. 解决灾难性遗忘与干扰问题：通过显式的干扰控制机制，RIZZ 解决了多任务、多用户场景下智能体行为退化的问题。
2. 降低计算成本：相比依赖大量 rollout 搜索的方法，RIZZ 通过路由和验证器机制减少了不必要的计算，更适合资源受限的环境。
3. 增强鲁棒性：验证器门控确保只有高质量的经验进入长期记忆，提高了智能体在稀疏反馈和非平稳环境下的鲁棒性。
4. 推动 Agent 工程化发展：RIZZ 框架为构建长期运行、能够自我进化的 AI 智能体提供了可行的工程解决方案，特别是在需要严格上下文管理和隐私保护的场景中。

实验结果表明，RIZZ 在竞争性基准测试中优于现有的最先进基线方法，证明了其在持续适应黑盒智能体方面的有效性和实用性。