Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents

背景

随着大型语言模型（LLM）智能体（Agents）在复杂任务执行中的部署日益广泛，一种基于“可编辑外部 harness”的系统架构正成为主流。这里的“harness”并非指物理马具，而是指塑造任务执行流程的外部组件集合，包括提示词（Prompts）、技能库（Skills）、记忆模块（Memories）以及工具调用（Tools）。这种架构的核心优势在于，它能够在不修改模型底层参数（即不进行微调或再训练）的情况下，通过调整这些外部组件来优化智能体的表现。

在此背景下，“Harness Self-Evolution”（Harness 自进化）应运而生。这是一种让智能体根据执行过程中的证据（Execution Evidence）自动更新其外部 harness 的机制。然而，学术界和工业界目前存在一个认知盲区：我们并不清楚一个模型的“基础任务解决能力”（Base Capability）是否能预测其“Harness 自进化能力”。

具体而言，两个关键问题尚未得到解答：

1. 哪些模型能够产生有用的 Harness 更新？
2. 哪些模型实际上能从这些更新中获益？

为了厘清这一机制，本文对 LLM 智能体的自进化能力进行了拆解分析，旨在揭示基础模型能力与自进化效果之间的真实关系。

核心内容

本文提出并分析了两个独立的 Harness 自进化能力维度，并通过实验揭示了它们在模型能力层级中的分布规律。

1. 能力维度的拆解

研究将 Harness 自进化能力解耦为以下两个独立指标：

• Harness-Updating（Harness 更新能力）：指模型从执行证据中生成有用且持久的 Harness 更新的能力。简言之，就是模型“写出好补丁”的能力。
• Harness-Benefit（Harness 获益能力）：指模型在任务解决过程中，从已更新的 Harness 中获益的能力。简言之，就是模型“用好补丁”的能力。

2. 核心发现一：Harness-Updating 与基础能力呈“扁平化”关系

研究发现，Harness-Updating 能力在不同基础能力层级的模型中表现差异极小（Flat）。

• 现象：无论模型的基础能力处于哪个层级（弱、中、强），它们生成的 Harness 更新所带来的性能提升幅度惊人地相似。
• 数据佐证：即使是基础能力较弱的模型（如 Qwen3.5-9B），其生成的更新所带来的增益，与顶级模型（如 Claude Opus~4.6）所产生的增益相当。
• 解读：这意味着，生成有效的更新策略并不完全依赖于模型本身的智力水平或推理深度。即使是较小的模型，也能有效地从执行日志中提取出有价值的改进建议。

3. 核心发现二：Harness-Benefit 与基础能力呈“非线性”关系

与更新能力不同，Harness-Benefit 能力与基础能力之间呈现非单调（Non-monotonic）关系，具体表现为“中间高，两头低”的趋势：

• 弱层级模型（Weak-tier）：从更新的 Harness 中获益极少。
• 中层级模型（Mid-tier）：从更新的 Harness 中获益最多。
• 强层级模型（Strong-tier）：获益程度反而低于中层级模型。

4. 失败模式归因

研究进一步追踪了弱层级模型获益低下的原因，识别出两种主要的失败模式：

1. 激活失败（Failure to Activate）：弱层级模型未能识别并激活相关的 Harness 组件。即使更新后的工具或提示词存在，模型也可能忽略它们。
2. 遵循失败（Failure to Follow）：模型虽然激活了相关的 Harness 组件，但在执行过程中未能忠实遵循其指令。这通常表现为指令遵循（Instruction Following）能力的缺失，导致更新后的逻辑未被正确执行。

关键要点

• 解耦的重要性：必须将“生成更新的能力”（Updating）与“利用更新的能力”（Benefit）区分开来。前者是“写代码/改配置”的能力，后者是“运行代码/执行配置”的能力，两者受模型能力的影响机制完全不同。
• 小模型也能做“架构师”：在 Harness 自进化场景中，基础能力较弱的模型（如 Qwen3.5-9B）在生成有效更新方面并不逊色于顶级大模型（如 Claude Opus）。因此，在构建自进化系统时，无需强制要求 Evolver（进化器/更新生成者）必须是顶级大模型。
• 中等模型是“最佳受益者”：中层级模型在利用外部更新方面表现最佳。这可能是因为它们具备足够的基础推理能力来理解更新，同时又存在足够的改进空间，不像强模型那样对更新依赖度低或存在边际效应递减。
• 弱模型的瓶颈在于“执行”而非“思考”：弱层级模型无法从更新中获益，主要不是因为它们看不懂更新，而是因为它们在激活相关组件和长程指令遵循方面存在缺陷。
• 资源分配建议：
  • 应将能力预算（Capability Budget）更多地投入到**任务解决智能体（Task-solving Agent）**本身，特别是提升其指令遵循和组件激活能力，而不是盲目追求 Evolver 模型的规模。
  • 在智能体训练中，应重点针对 Harness 调用机制 和 长程指令遵循（Long-horizon instruction following） 进行优化。

意义与影响

这项研究对 LLM 智能体的架构设计和资源分配具有深远的指导意义：

1. 降低自进化系统的成本：既然小模型也能生成高质量的 Harness 更新，那么在构建自进化系统时，可以使用较小、较便宜的模型作为“Evolver”来生成更新策略，而将计算资源集中在执行任务的“Agent”上。这极大地降低了自进化系统的部署成本。
2. 重新定义模型训练目标：传统的模型评估往往关注最终的任务得分，而忽视了模型在动态环境中的适应能力。本研究指出，未来的智能体训练不应仅关注推理能力，更应关注动态组件的激活和对动态指令的忠实执行。
3. 澄清“大模型万能论”的误区：在自进化场景下，更大的模型并不一定意味着更好的进化效果。对于生成更新这一特定任务，模型规模并非决定性因素。这为混合模型架构（Small Evolver + Large/Mid Agent）提供了理论支持。
4. 推动可编辑外部组件的研究：研究强调了外部 Harness（Prompt, Memory, Tools）在智能体系统中的核心地位。未来的研究应更多关注如何设计更鲁棒的外部接口，以及如何让模型更可靠地与这些外部组件交互，而非仅仅依赖模型内部参数的优化。

总之，本文通过严谨的解耦分析，揭示了 LLM 智能体自进化过程中的复杂性，为构建更高效、更经济的自进化智能体系统提供了重要的理论依据和实践指南。