开放权重大模型中的“约束税”：结构化输出约束下工具调用抑制的实证研究

背景

在现代基于大语言模型（LLM）的 Agent（智能体）系统中，Tool Calling（工具调用）与 Structured Output（结构化输出，通常指符合特定 JSON Schema 的格式）是两大核心能力。前者赋予模型执行外部操作（如搜索、计算、数据库查询）的能力，后者确保模型返回的数据能够被下游程序稳定解析和处理。

然而，尽管这两项能力在各自独立评估时表现优异，当它们在同一 Agent 系统中联合部署时，其交互机制却尚未得到充分理解。近期，一项来自 arXiv 的实证研究揭示了一个在生产环境中可复现的异常现象：当同时启用工具调用和 JSON Schema 约束时，多个开放权重（Open-Weight）模型会出现“停止调用工具”的行为，尽管它们依然能高度合规地生成符合 Schema 的文本结构。

这种现象被研究者称为 “Tool Suppression”（工具调用抑制）。本研究旨在通过受控实验复现并解释这一现象，揭示其背后的实现级原因，并提出一种无需重新训练模型即可缓解该问题的推理时策略。

核心内容

1. 现象发现：工具调用抑制（Tool Suppression）

研究团队在一个生产环境的 Agent 系统中观察到一个可复现的问题：当系统同时要求模型进行工具调用并输出符合特定 JSON Schema 的结构化数据时，多个开源/开放权重模型（Open-Weight Models）表现出明显的工具调用抑制行为。

具体表现为：

• 独立评估正常：当单独评估模型的工具调用能力或单独评估其遵循 JSON Schema 的能力时，模型表现良好。
• 联合部署失效：一旦两者同时启用，模型倾向于生成完全符合 JSON Schema 结构的文本，但其中不包含任何工具调用指令（Tool Call Tokens）。
• 高合规性假象：由于输出依然符合 Schema，传统的基于格式校验的评估指标可能会误判模型工作正常，从而掩盖了功能缺失的问题。

2. 实验验证与归因

为了验证这一现象并非偶然，研究者在多种模型家族（Model Families）和不同的部署设置下进行了受控实验。结果一致表明，Tool Suppression 是一个系统性问题。

实现级解释：基于语法的 Token 掩码

通过深入分析推理过程，研究者发现问题的根源在于 JSON Schema 约束的编译方式。

• 在许多推理引擎中，为了满足严格的 JSON Schema 约束，系统会将 Schema 编译为基于语法（Grammar-based）的 Token 掩码（Token Masks）。
• 这种掩码机制在解码（Decoding）过程中，会强制限制模型只能选择符合 Schema 语法的 Token。
• 然而，工具调用相关的 Token 往往被视为“非法”或“不可达”的 Token，因为它们可能不符合纯数据结构的 Schema 定义，或者被语法树排除在外。
• 因此，模型在解码时被“锁死”在生成纯数据结构的范围内，无法选择触发工具调用的 Token。

3. 理论假设：约束优先级反转（CPI Hypothesis）

为了解释这一行为，研究者提出了 Constraint Priority Inversion (CPI，约束优先级反转) 假设。

• 核心观点：在多个约束同时存在的情况下，满足 Schema 的约束（Schema Satisfaction）可能压倒动作选择行为（Action-Selection Behavior）。
• 性质说明：CPI 被表述为一种与观察证据一致的行为假设，而非经过验证的内部机制。它解释了为什么模型在面临“生成符合格式的数据”和“调用工具”之间的冲突时，优先选择了前者，即使后者对于 Agent 的功能完整性至关重要。

4. 解决方案：透明两阶段执行（Transparent Two-Pass Execution）

针对上述问题，研究者提出了一种推理时策略：Transparent Two-Pass Execution。

• 策略原理：该策略将 工具执行（Tool Execution） 与 受 Schema 约束的响应生成（Schema-Constrained Response Generation） 解耦。
• 执行流程：
  1. 第一阶段：允许模型在无严格 Schema 约束或宽松约束下自由生成，以识别并触发工具调用。
  2. 第二阶段：在工具执行完成后，或者在生成最终结果时，再应用严格的 JSON Schema 约束来格式化输出。
• 效果：实验结果显示，该方法成功恢复了工具调用功能，同时保持了结构化输出的保证。
• 优势：该方法无需对模型进行重新训练（Retraining），即可在生产环境中实施，具有极高的实用价值。

关键要点

• 联合部署陷阱：Tool Calling 和 Structured Output 在独立测试中表现良好，但在联合部署时可能导致严重的功能退化（工具调用被抑制）。
• 隐蔽性风险：由于模型仍输出符合 Schema 的文本，传统的格式校验无法发现工具调用缺失的问题，可能导致生产环境中的 Agent 系统“静默失效”。
• 技术根源：JSON Schema 被编译为基于语法的 Token 掩码，导致工具调用 Token 在解码过程中变得不可达。
• 行为假设：提出了 CPI（约束优先级反转）假设，即 Schema 满足感在多重约束下压倒了动作选择。
• 无需重训的修复方案：提出的 Transparent Two-Pass Execution 策略通过解耦工具执行与结构化生成，在不重新训练模型的情况下解决了该问题。
• 评估局限性：单独评估工具使用和结构化输出可能会忽略生产环境中重要的可靠性问题。

意义与影响

1. 对 Agent 系统可靠性的警示

这项研究揭示了当前 LLM 应用开发中的一个盲点。许多开发者认为只要模型通过了“工具调用准确率”和“JSON 格式合规率”两项独立测试，系统就能正常工作。然而，本研究证明，约束之间的相互作用可能引入新的故障模式。这对于构建高可靠性、生产级 Agent 系统是一个重要的警示：必须对组合能力进行联合测试，而非仅依赖单项指标。

2. 推理引擎设计的改进方向

从工程实现角度看，该研究指出了当前推理引擎在处理混合约束（混合指令与结构化数据）时的局限性。将 JSON Schema 直接编译为硬性的 Token 掩码虽然能保证格式合规，但牺牲了模型的灵活性。这提示推理引擎开发者需要设计更智能的约束处理机制，例如支持动态约束或允许特定类别的 Token（如工具调用 Token）在特定上下文中豁免于严格的语法掩码。

3. 标准化的解决方案路径

提出的 Transparent Two-Pass Execution 提供了一种轻量级、即插即用的解决方案。由于它不需要昂贵的模型微调（Fine-tuning）或重新训练，这使得现有的开源模型和闭源模型都能迅速受益于这一改进。这对于加速 Agent 技术的落地应用具有直接的商业价值。

4. 学术研究的实证价值

该研究不仅提出了一个现象，还通过可复现的实验和代码开源（Code, data, and docs will be released），为社区提供了宝贵的基准。它促使研究人员从单纯的“能力评估”转向更复杂的“交互行为分析”，推动了 LLM 可靠性研究向更深层次发展。

总之，这篇论文不仅解决了一个具体的技术 bug，更深刻地指出了当前 LLM 应用架构中约束管理与推理机制之间的深层矛盾，为未来更鲁棒的 Agent 系统设计指明了方向。