上海AI Lab让Harness自进化，效果提升104%

背景

随着大型语言模型在 Agent 任务中的广泛应用，模型本身的能力固然重要，但包裹在模型外层的运行装置——即 Agent Harness——同样关键。Harness 涵盖系统提示词、工具使用规则、验证器、运行时控制策略和轻量级中间件，决定了 Agent 如何调用工具、何时停止、失败后如何恢复以及产物如何验证。过去，这套装置主要依赖工程师手工调参，需要阅读大量执行轨迹、分析失败原因、修改提示词或工具规则，再反复跑 benchmark。随着模型数量和任务复杂度的增加，这种“一模型一套人工调参”的方式越来越难以扩展。

上海人工智能实验室团队提出的 Self-Harness 项目，旨在让模型自身参与 Harness 的搜索、验证和迭代，从而在不更换底层模型的前提下，通过改进外层 Harness 来提升 Agent 性能。该项目近期被 LangChain CEO 兼联合创始人 Harrison Chase 转发，并被前 OpenAI 副总裁 Lilian Weng 收录进其关于自进化 Agent 的博客，引起了 Agent 社区的高度关注。

核心内容

Self-Harness 的核心思想是让模型基于自身的执行轨迹，自动发现 Harness 中的缺陷并提出修改，再通过回归测试决定是否采纳。整个过程被压缩为三个步骤：

1. Weakness Mining（弱点挖掘）：系统先让当前 Harness 驱动固定模型完成一批任务，记录完整执行轨迹、工具调用和评测结果。失败样本不会被孤立处理，而是结合验证器反馈、Agent 行为和失败之间的因果关系，将可复用的失败机制聚合起来。例如，某类失败可能源于“缺少最终产物”“重复执行无效命令”“工具报错后不恢复”或“探索太久却迟迟不进入实现”等 Harness 缺陷。

2. Harness Proposal（修改提案）：拿到结构化失败证据后，同一个模型切换为 proposer 角色，针对已挖出的失败机制提出候选 Harness edit。这些 edit 只能落在预先声明的可编辑表面上，不能推翻整个 Agent 控制架构。每个提案需说明要改变哪种行为、可能带来的回归风险，以及为什么能修复当前失败模式。

3. Proposal Validation（验证门控）：候选 Harness 在同一评测协议下重跑，并与当前 Harness 对比。接受规则非常保守：held-in 或 held-out 至少一个 split 要提升，另一个 split 不能退化，才会进入下一代 Harness。这确保了每一次改动都经过可记录、可复现、可回退的评测闭环，而不是凭模型感觉拍板。

论文在 Terminal-Bench-2.0 上进行了系统评测。Terminal-Bench-2.0 是一个多轮智能体 benchmark，任务运行在容器化终端环境中，覆盖文件管理、命令执行、错误恢复、产物验证等真实工具使用能力。在固定模型、工具集、任务环境和评测配置的前提下，只修改 Harness，三个模型后端均获得了 held-out 提升：

• MiniMax M2.5：总提升 28%
• Qwen3.5-35B-A3B：总提升 104%
• GLM-5：总提升 24%

不同模型暴露出的弱点各不相同。例如，MiniMax M2.5 倾向于在找到线索后迟迟不创建答案文件；Qwen3.5-35B-A3B 在工具失败后容易陷入重复命令循环，甚至删除必需文件；GLM-5 则更需要在 shell 会话状态管理和探索到实现的切换时机上加以约束。Self-Harness 针对每个模型的具体弱点，生成了不同的 Harness edits，而非通用提示词。

关键要点

• 不换模型，只改外层：Self-Harness 的核心主张是，在底层模型、工具环境和评测协议保持不变的前提下，仅通过改进 Agent 外层的 Harness 即可显著提升性能，最高提升达 104%。
• 三步闭环流程：弱点挖掘 → 修改提案 → 回归验证。每一步都基于可记录、可复现的执行轨迹，最终由评测而非模型自评决定是否采纳。
• 保守的回归门控：候选修改必须满足 held-in 或 held-out 至少一个 split 提升、另一个不退化，才能进入下一代 Harness，有效防止盲目修改带来的退化。
• 模型特异性：不同模型在相同任务下暴露出的 Harness 弱点不同，Self-Harness 能针对每个模型生成差异化的 Harness edits，而非通用方案。
• 已被社区关键人物关注：LangChain CEO Harrison Chase 转发，前 OpenAI 副总裁 Lilian Weng 收录进自进化 Agent 相关博客，表明该工作在 Agent 工程和自进化方向具有重要参考价值。
• 论文和项目已公开：论文地址 https://arxiv.org/abs/2606.09498，项目地址 https://github.com/qzzqzzb/Self-Harness。

意义与影响

Self-Harness 提供了一个自进化 Agent 的实用组件，它没有声称“Agent 可以完全自己进化”，也没有绕过 benchmark 范围，但它清晰地划定了边界：改什么（Harness 的可编辑表面）、怎么改（基于失败轨迹的结构化提案）、怎么验（回归测试门控）、什么时候拒绝（保守的接受规则）。

这一方向的意义在于，它将 Agent 工程从“经验活”转向了“可搜索、可验证、可迭代”的系统工程。过去，工程师需要手工分析轨迹、修改提示词，难以规模化；现在，模型自身可以参与这一过程，并且由评测而不是直觉来拍板。这为大规模 Agent 部署中 Harness 的自动化维护提供了可行的技术路径。

此外，Self-Harness 强调“不换模型”的增量改进，意味着企业可以在不升级昂贵模型的前提下，通过优化 Harness 获得显著收益，降低了落地成本。同时，不同模型暴露出的弱点差异也提示了 Agent 开发需要更精细化的 Harness 适配，而非一套方案走天下。未来，随着更多 benchmark 和实际场景的验证，Self-Harness 的思路可能成为 Agent 工程中标准化的自优化组件，推动 Agent 系统从“手工调参”迈向“自动进化”。