Behavior Leverage Imbalance in Multi-Teacher On-Policy Distillation

背景

随着大型语言模型向智能体（Agentic）方向演进，模型需要在一系列交互中自主决定何时调用外部工具（如搜索引擎、计算器、API）、何时消费工具返回的结果、以及何时直接给出自然语言回答。这种多模态决策能力对训练策略提出了更高要求。多教师同策略蒸馏（Multi-Teacher On-Policy Distillation）是一种自然的选择：让不同教师分别专精于特定行为——例如一个教师擅长工具调用，另一个教师擅长直接回答——然后学生模型在自己生成的分布上同时学习两个教师的信号。然而，这种策略可能引入隐性的行为偏移，仅通过聚合损失（如平均交叉熵）无法察觉。本文系统研究了这一问题，并提出了校准方法。

核心内容

本文在双教师工具使用场景下，使用广义知识蒸馏（Generalized Knowledge Distillation, GKD）作为基线。实验发现，GKD虽然显著提升了工具调用的召回率（即模型在应该调用工具时正确调用的比例），但同时也导致模型倾向于过度调用（over-calling），即在应该直接回答的样本上也错误地启动了工具调用流程。在APIGen-MT数据集上，vanilla GKD的过度调用率达到了13.7%。

作者首先排除了两种常见的聚合解释：第一，过度调用并非因为工具调用样本在训练数据中获得了更多的token曝光量；第二，工具调用教师的全序列逐token散度（per-token divergence）并不比直接回答教师更大。这说明问题不在宏观统计层面，而在于局部token信号的异常放大。

作者引入了行为杠杆不平衡（Behavior Leverage Imbalance）的概念：在某些关键位置——尤其是模式入口（mode-entry）和结构位置，如<tool_call>标记以及函数名称——少数token的局部散度信号可能对全局生成模式产生不成比例的控制。这些位置的Jensen-Shannon散度（JSD）异常高，使学生模型过度模仿了工具调用教师的输出，即使教师本身的意图只是在恰当时候调用工具。

为缓解这一问题，作者提出了Soft Clamp，一种逐token散度校准方法。其核心思想是：对于每个token位置，动态压缩极端JSD值，同时保留非零梯度，避免梯度消失。具体做法是：设定一个上限阈值，当某个token的JSD超过该阈值时，将其压缩到阈值附近，但保持梯度可导，从而在不破坏学习信号的前提下抑制过度杠杆。

在APIGen-MT数据集上，Soft Clamp将过度调用率从13.7%降至9.0%，同时决策准确率与vanilla GKD持平。在BFCL（Basic Function Calling Benchmark）的多轮对话诊断中，Soft Clamp也显著减少了工具调用循环（反复调用同一工具）和重复调用次数，效果优于其他GKD变体。这些结果共同表明，多教师同策略蒸馏不仅需要关注教师信号的总体大小，更需要监控信号作用的位置和局部强度。

关键要点

• 多教师OPD存在隐性行为偏移：聚合损失（如平均KL散度）无法反映过度调用问题，需要更细粒度的分析。
• 过度调用的根源是局部token杠杆不平衡：关键位置（如<tool_call>、函数名）的JSD异常高，使模型在非必要情况下也被迫进入工具调用模式。
• 标准聚合解释不成立：工具调用样本并没有获得更多token训练量，且工具调用教师的逐token全序列散度并不更大。
• Soft Clamp校准方法：动态压缩极端token级JSD，同时保留非零梯度，实现平衡。
• 实验效果显著：APIGen-MT上过度调用率从13.7%降至9.0%，准确率不变；BFCL多轮场景中减少了循环和重复调用。
• 建议监控教师信号的作用位置：未来多教师OPD应引入位置感知的监控机制，而非仅依赖聚合指标。

意义与影响

本文揭示了多教师蒸馏中一个被忽视的关键问题：教师信号的质量不仅取决于其全局大小，更取决于其在序列中的分布位置。行为杠杆不平衡的概念为理解蒸馏中的模式崩溃提供了新视角——即使总散度很小，局部极端信号也可能扭曲学生行为。Soft Clamp作为一种简单有效的校准方法，可以直接集成到现有蒸馏框架中，无需修改教师模型或训练流程。该工作对智能体语言模型的训练实践具有直接指导意义：在构建多教师蒸馏系统时，开发者应关注关键token位置的散度分布，并考虑引入动态校准机制。此外，该方法也为其他需要平衡多个行为目标的场景（如安全对齐、多任务学习）提供了参考思路。