Harness Engineering
AI 深度解读
背景
随着大语言模型(LLM)和编码 Agent 的普及,开发者们发现:仅仅将模型本身视为“智能体”并期望其直接输出高质量结果是不够的。真正决定 Agent 表现的关键因素,往往不是模型权重本身,而是其运行时所处的“环境”——包括上下文(context)、工具(tools)、约束(constraints)以及组织级非功能性需求(nonfunctional requirements)。正是在这一认知下,Harness Engineering(工程化“马具”)这一概念被提出,旨在通过系统性地塑造 Agent 的周围环境,来大幅提升其输出质量,而无需修改模型内部结构。
核心内容
原文首先引用了一段话:“大多数人不知道,他们可以简单地将自己的 Agent 指向我的写作、推文、播客和演讲,就能让 Agent 的输出提升 100 倍。” 这暗示了环境(尤其是高质量、可检索的上下文)对 Agent 性能的巨大影响。
Harness Engineering 的核心定义是:通过塑造 Agent 周围的环境来改进其输出。它把选定的模型和编码 Agent 视为一个黑盒(black box),保持不变,转而优化两个外部杠杆——上下文(context) 和工具(tools),并精心策划 Agent 周围的环境。一个优秀的“马具”应使工作者(worker)能够做到五件事:
- 恢复意图(recover intent)
- 操作真实系统(operate the real system)
- 尊重权威(respect authority)
- 证明结果(prove the outcome)
- 为下一次运行留下更好的装备(leave the next run better equipped)
这个环境的核心目的,是承载组织的非功能性需求:包括可靠性、安全性、兼容性、可维护性、性能、可操作性、风险状况(risk posture)和打磨度(polish)等质量属性与约束。同时,环境也承载着组织内部关于如何对这些需求进行优先级排序、权衡以及满足的本地决策。Ryan 在 2026 年的 [un]prompted 会议上采用了一个系统级框架,将其描述为“把整个非功能性需求宇宙都写进代码”。其中,“Make the Repository Teach the Agent”(让仓库教会 Agent)这一理念,详细阐述了如何将需求和决策转化为可检索的上下文、示例、工具和可执行约束。
由于工作是一个迭代游戏(iterative game),一个好的“马具”能让组织的判断力不断累积。从已接受的工作、修正、失败以及用户反馈中学习到的经验,会变成新的上下文、边界、工具、示例和检查点,从而塑造后续 Agent 的轨迹。随着时间的推移,这个反馈循环可以使 Agent 维护的工件之间保持一致性不断累积。
代码本身是 Agent 使用计算机的方式。当“最后一公里”部署(last-mile deployment)能够提供组织的上下文、能力、权威和证明时,这种内部动作语言(internal action language)可以为那些从不审查实现细节的人产生可靠的领域结果。
原文进一步指出:通用模型权重只包含组织过程数据冰山的可见尖端。冰山的水面以下,是当前的运行状态、本地本体(local ontology)、质量标杆(quality bar)、程序、异常历史以及 Agent 完成特定工作所需的权威关系。组织不能假设这些私有的、不断变化的过程数据会自然出现在通用模型权重中,也不能假设 Agent 能可靠地直觉判断哪些过程数据对组织重要。Harness Engineering 正是将这些私有过程数据作为上下文和工具,提供给有能力的 Agent 的“最后一公里”工作。
最后,原文给出了一个具体操作指引:将一个编码 Agent 指向这个仓库以及它应该改进的系统。AGENTS.md 文件负责将任务路由到相关的参数、案例和证明。对于直接阅读,可以从论文索引(thesis index)开始;对于应用,则从剧本(playbooks)中选择。文中还列出了三个参考来源:
- “Harness engineering: leveraging Codex in an agent-first world”(若被规范页面阻挡,可用辅助获取)
- 源库(Source library)
- 影响和替代框架(Influences and alternate framings)
仓库生成的材料采用 CC BY 4.0 许可,详见 COPYING.md。
关键要点
- Agent 作为黑盒,环境为杠杆:不修改模型或 Agent 本身,而是通过优化上下文和工具来提升输出。
- 环境承载非功能性需求:可靠性、安全性、性能等组织级质量属性被编码到环境中,并通过本地决策进行优先级权衡。
- 让仓库教会 Agent:将组织的需求、决策、历史经验转化为可检索的上下文、示例、
