并非能力问题：LLM Agent 的 Harness 敏感性在不同模型层级间呈非单调性

背景

在大型语言模型（LLM）智能体（Agent）的实际部署中，业界普遍存在一种假设：结构化的执行框架（Harness，即约束模型输出格式、工具调用逻辑及工作流控制的代码层或提示工程结构）能够普遍提升系统的可靠性。基于这一前提，许多从业者认为，模型能力越强，其对结构化指导的需求就越低；反之，能力较弱的模型则需要更严格的约束来保证输出符合预期。

这种观点隐含了一个“单调逆相关”的假设：即模型的能力层级（Tier）与最优 Harness 的复杂度之间存在着简单的线性反比关系——模型越强，Harness 越可以简化；模型越弱，Harness 越需要严格。

然而，这一假设是否真的成立？为了验证这一广泛持有的信念，研究人员设计了一项受控实验，旨在探究不同能力层级的 LLM 对 Harness 复杂度的真实响应，特别是考察这种响应是否如预期般呈现单调变化。

核心内容

实验设计

研究团队在 HEAT-24 基准测试上进行了受控实验。HEAT-24 是一个包含 24 个任务的合成基准测试，其特点在于使用了基于 Git 的工作区验证机制，能够精确评估智能体在文件操作、代码生成及版本控制场景下的准确性。

实验采用了交叉设计，涵盖了六个不同层级的模型和三种不同复杂度的 Harness 条件：

1. 模型层级：跨越四个能力层级（从轻量级到前沿级）。
2. Harness 条件：
   • Light（轻量）：结构约束最少。
   • Balanced（平衡）：中等程度的结构约束。
3. 严格（Strict）：结构约束最严格，强制模型遵循特定格式。

主要发现：推翻单调逆相关假设

实验结果从两个关键维度反驳了“模型能力与最优 Harness 复杂度呈单调逆相关”的假设：

1. 前沿聊天模型（Chat Model）的“Harness 复杂度悖论” 对于评估的前沿聊天模型 Gemini 2.5 Flash，增加 Harness 的冗长度和结构约束反而导致了性能的显著下降。数据显示，随着 Harness 复杂度的增加，验证通过成功率（VTSR, Verified Task Success Rate）下降了 29-38 个百分点。这表明，对于某些高性能聊天模型，过度的结构化约束不仅没有提升可靠性，反而构成了干扰，形成了“越约束越出错”的悖论。

2. 前沿推理模型（Reasoning Model）的反直觉表现 对于评估的前沿推理模型 Qwen3.5-122B（启用了扩展思维模式 Extended Thinking），情况则截然相反。在该模型上，Strict（严格） Harness 不仅实现了最高的 VTSR（91.7%），还带来了最低的延迟。这与“强模型不需要强约束”的预测完全背道而驰，证明了对于具备推理能力的模型，严格的格式约束有助于其更快速地收敛到正确答案。

3. 受限层级模型的稳定性 在受限层级（Constrained Tier）中，参数量较小的 Gemma4:e2B 模型表现出了惊人的稳定性。无论 Harness 的复杂度如何变化，该模型在所有条件下均保持了 91.7% 的 VTSR。这表明，对于某些特定架构或训练方式的轻量级模型，其输出格式的一致性可能更多依赖于模型本身的特性，而非外部约束的强弱。

失败模式分析：六标签分类法

为了深入理解不同层级模型为何对 Harness 敏感，研究引入了一种六标签的失败分类法（Failure Taxonomy），揭示了不同能力模型的主要错误类型差异：

• 高能力模型的主要失败原因：Format Violation（格式违规）。这意味着能力强模型往往能正确推理，但在输出符合特定 JSON 或指令格式时容易出错，尤其是在 Harness 过于复杂时。
• 低能力模型的主要失败原因：Wrong File（错误文件/内容错误）。这意味着弱模型的根本问题在于逻辑或知识错误，而非格式问题，因此增加格式约束对其核心任务成功率帮助有限。

基于上述发现，研究提出了分层感知的 Harness 选择指南：不能一概而论地认为“强模型配简单 Harness”，而应根据模型类型（聊天型 vs. 推理型）进行差异化配置。

关键要点

• 假设被证伪：模型能力层级与最优 Harness 复杂度之间不存在简单的单调逆相关关系。
• 聊天模型的陷阱：对于前沿聊天模型（如 Gemini 2.5 Flash），增加 Harness 复杂度会导致 VTSR 大幅下降 29-38%，出现“Harness 复杂度悖论”。
• 推理模型的优势：对于前沿推理模型（如 Qwen3.5-122B），严格的 Harness 约束反而带来了最高的成功率（91.7%）和最低的延迟。
• 小模型的鲁棒性：特定轻量级模型（如 Gemma4:e2B）在所有 Harness 条件下均表现出极高的稳定性（91.7% VTSR）。
• 错误根源差异：高能力模型主要死于“格式违规”，低能力模型主要死于“内容/文件错误”。
• 模型类型至关重要：Harness 的敏感性不仅取决于模型能力，更关键地取决于模型是“聊天型”还是“推理型”。
• 局限性说明：由于每个层级仅由单一模型代表，结论应被视为特定模型层面的观察，而非绝对的通用定律。

意义与影响

这项研究对 LLM Agent 的工程实践具有重要的指导意义：

1. 摒弃“一刀切”的工程范式：开发者不应盲目地为所有模型应用相同的结构化约束模板。对于聊天型模型，过度工程化的 Harness 可能适得其反，导致性能断崖式下跌；而对于推理型模型，严格的约束则是提升效率和准确性的关键。
2. 优化推理成本与延迟：研究发现严格 Harness 能降低 Qwen3.5-122B 的延迟，这意味着通过优化输入约束，不仅提高了准确率，还可能通过减少模型重试或纠错次数来降低 Token 消耗和响应时间。
3. 故障排查的新视角：当 Agent 失败时，工程师应根据模型类型判断故障根源。如果是强聊天模型，应优先检查格式解析层和 Prompt 的简洁性；如果是弱模型，则应关注模型本身的逻辑能力或微调数据，而非单纯增加格式约束。
4. 未来研究方向：研究强调了模型架构类型（Chat vs. Reasoning）在 Harness 敏感性中的核心作用，提示后续研究需进一步解耦“模型能力”与“模型架构特性”对 Agent 行为的影响。

总之，构建可靠的 LLM Agent 系统，关键在于“因材施教”——根据模型的具体类型和能力特征，动态调整 Harness 的复杂度，而非依赖简单的能力层级假设。