在线技能与记忆模块真的值得它们消耗的 Token 吗？——预算受限下的 Web 智能体研究解读

背景

随着大型语言模型（LLM）在自动化网络任务（Web Agents）中的应用日益广泛，研究者不再仅仅依赖基础的“执行者”（Actor）模型，而是倾向于为其增加额外的组件，如记忆模块（Memory）、工作流控制（Workflow）或技能库（Skill）。这些增强模块旨在通过提供上下文、规划能力或特定领域的知识，来提升智能体在复杂网页操作中的成功率。

然而，现有的评估体系往往存在一个盲点：虽然这些模块能提升性能，但它们也会消耗大量的测试时 Token（test-time tokens）。在大多数研究中，这部分额外的计算成本很少与基础模型的推理成本一同被详细报告。这就导致了一个问题：我们是否真正衡量了“性价比”？如果为了获得微小的性能提升而消耗了数倍的 Token，这种增强是否依然具有经济上的合理性？

本研究聚焦于“在线增强”（Online Augmentation）场景，即这些额外开销是在每个任务执行过程中实时支付的。研究团队重新评估了在固定总推理预算（Total Inference Budget）约束下，这些增强模块的真实收益。

核心内容

研究团队对三种主流的在线增强方法——AWM（Agent Workflow Memory）、ASI（Autonomous Skill Integration）和 ReasoningBank——进行了系统性评估，并将它们与一个经过 Token 匹配的朴素基线（Vanilla Baseline）进行对比。

1. 实验设计与对比基线

• 增强方法：AWM、ASI 和 ReasoningBank。这些方法通常通过引入额外的推理步骤来调用记忆或技能，从而增加 Token 消耗。
• 基线方法：一个“Token 匹配”的朴素基线。该基线不使用额外的记忆或技能模块，而是将节省下来的 Token 预算全部用于增加基础 Actor 模型的额外推理步骤（additional actor steps）。
• 评估环境：
  • WebArena：三个不同的领域（Domains）。
  • WorkArena-L1：用于验证企业级知识工作任务的泛化性。
• 测试模型：
  • Gemini 3 Flash
  • GPT-5.4-mini
  • Qwen 3.6-27B

2. 主要发现

在 WebArena 的三个领域以及三种不同的模型上，实验结果呈现出惊人的一致性：

• 朴素基线表现优异：在不使用任何额外记忆或技能模块的情况下，仅通过增加基础模型的推理步骤，朴素基线在**总体成功率（Aggregate Success Rate）**上匹配甚至超越了所有三种增强方法。
• Token 效率更高：朴素基线在达到同等或更高成功率的同时，往往使用了更少的总 Token 数。
• 跨领域验证：在 WorkArena-L1（企业级知识工作场景）上，使用 Qwen 3.6-27B 模型也观察到了类似的趋势。这表明，上述结论不仅适用于通用的网页浏览任务，也延伸至更复杂的结构化知识工作场景。

3. 结论推导

研究结果表明，虽然技能和流程记忆在特定领域可能有用，但在大多数情况下，其带来的表观增益（Apparent Gains）在与预算匹配的增强型 Actor 对比时往往消失殆尽。换言之，简单地让基础模型“多思考几步”（增加推理步骤），比引入复杂的额外模块更有效且更经济。

关键要点

• 预算约束下的重新评估：传统的评估往往忽略 Token 成本，本研究在固定总推理预算下证明，朴素基线（增加 Actor 步骤）通常优于复杂的在线增强模块。
• 性能与成本的反直觉结果：AWM、ASI 和 ReasoningBank 等模块虽然旨在提升性能，但在同等预算下，其成功率并未超越仅增加推理步数的朴素模型，且后者 Token 消耗更低。
• 泛化性验证：这一趋势不仅在 WebArena 中成立，也在 WorkArena-L1 的企业级任务中得到验证，说明该现象具有普遍性。
• 评估指标的缺失：研究指出，运行间方差（Run-to-run variance）对结果有实质性影响，应作为在线 Web 智能体核心评估标准之一进行报告，而不仅仅是平均成功率。
• 模块价值的局限性：技能和记忆模块并非毫无价值，但其优势高度依赖于特定领域；在通用或预算受限场景下，其“性价比”极低。

意义与影响

这项研究对 Web 智能体的架构设计和性能评估产生了深远影响：

1. 简化架构设计：对于大多数通用 Web 自动化任务，开发者可能无需引入复杂的记忆或技能检索系统。通过优化基础模型的推理策略（如增加思考步数、使用更强大的基座模型），可能以更低的成本获得更好的效果。
2. 重塑评估标准：现有的基准测试需要更加透明地报告 Token 消耗和运行方差。单纯报告成功率而忽略计算成本，可能会误导对模型实际效能的判断。
3. 资源分配优化：在计算资源受限的边缘设备或高并发场景中，避免使用高开销的在线增强模块，转而优化基础模型的推理效率，将是更具经济可行性的策略。
4. 未来研究方向：研究并未完全否定记忆和技能模块的价值，而是指出了其适用边界。未来的工作应聚焦于识别那些“确实需要”额外模块的特定长尾场景，并开发更高效的模块集成方式，而非盲目堆砌组件。

总之，这篇论文提醒社区：不要为了增强而增强。在预算有限的现实世界中，简单的“多算几步”往往比复杂的“外挂模块”更诚实、更高效。