SEAD：基于熵引导监督的能力感知在线策略蒸馏

背景

在大型语言模型（LLM）的训练范式中，在线策略蒸馏（On-Policy Distillation, OPD） 是一种关键的技术路径。与离线蒸馏（Offline Distillation）和传统的强化学习（RL）不同，OPD 的一个显著特性是：教师模型（Teacher）的监督质量高度依赖于学生模型（Student）当前的能力水平。

这种依赖性导致了训练过程中的效率浪费，主要体现在三个尺度上：

1. Token 尺度：学生模型尚未掌握的 Token 会产生噪声梯度，而已经掌握的 Token 则产生冗余梯度。
2. 训练阶段尺度：不同训练阶段对监督信号的需求不同。
3. Prompt 尺度：不同难度的提示词对模型能力的挑战程度不同。

然而，现有的大多数方法采用统一的监督策略，未能针对上述三个尺度进行差异化处理，从而造成了计算资源的浪费和训练效率的低下。

核心内容

为了解决上述问题，研究团队提出了 SEAD（Competence-Aware On-Policy Distillation via Entropy-Guided Supervision，基于熵引导监督的能力感知在线策略蒸馏）。SEAD 的核心思想是利用**熵（Entropy）**作为统一探针，来检测并应对这种依赖于学生能力的退化现象。

SEAD 通过以下三个相互协同的组件来实现这一目标：

1. 基于联合熵的 Token 分区与梯度过滤

SEAD 计算教师模型和学生模型的联合熵，以此将 Token 划分为不同的区域：

• 高不确定性区域：对于学生模型尚不确定的 Token，应用特定的散度（Divergence）损失进行引导。
• 低不确定性区域：对于学生模型已经高度确定的 Token，直接跳过梯度更新（即零梯度），从而避免冗余计算。
• 效果：这种方法大约可以跳过 50% 的 Token 计算，显著提升了训练效率。

2. 基于能力的 Cosine 调度 KL 散度

随着学生模型能力的提升，监督策略需要动态调整。SEAD 采用了一种 Cosine 调度（Cosine Schedule），在训练过程中从前向 KL 散度（Forward KL）平滑过渡到反向 KL 散度（Reverse KL）：

• 初期：使用 Forward KL，鼓励模型覆盖教师模型的概率分布，适合探索阶段。
• 后期：随着能力增长，切换为 Reverse KL，鼓励模型模仿教师的高概率行为，适合收敛阶段。
• 必要性：这种 annealing（退火）过程需要模型能力单调提升，否则会导致训练不稳定。

3. 能力门控的课程学习（Curriculum Learning）

为了支持上述两个组件的有效性，SEAD 引入了基于能力的课程学习机制：

• Prompt 难度排序：将提示词从易到难进行排序。
• 能力门控：根据学生模型当前的能力水平，动态选择适合的 Prompt 难度。
• 必要性：Token 的选择需要连贯的 Rollout（生成轨迹），而连贯的 Rollout 依赖于合理的课程安排；同样，KL 散度的退火也需要模型能力的单调改进，这也依赖于课程学习。

组件间的共生关系

SEAD 的这三个组件是共生且必要的：

• Token 选择需要连贯的 Rollout，这依赖于课程学习。
• KL 散度的退火需要模型能力的单调提升，这也依赖于课程学习。
• 课程学习的有效性又得益于 Token 选择和 KL 退火带来的更清晰的梯度信号。

关键要点

• 问题定义：在线策略蒸馏中，教师监督质量随学生能力变化，导致 Token、训练阶段和 Prompt 三个尺度上的效率浪费。
• 核心机制：利用熵作为统一探针，量化学生模型的能力状态，并据此动态调整监督信号。
• 三大组件：
  1. Token 级：通过联合熵分区，跳过已掌握 Token 的梯度计算（约节省 50% 计算量）。
  2. 损失函数级：使用 Cosine 调度，随能力增长从 Forward KL 退火至 Reverse KL。
  3. 数据级：实施能力门控的课程学习，按易到难顺序提供 Prompt。
• 协同效应：三个组件相互依赖，共同确保训练的稳定性和效率。
• 实验结果：在 OLMo-3（7B 到 32B 参数规模）上，SEAD 在六个数学基准测试中比原始 OPD 平均准确率提升了 +4.8%。消融实验证实了各组件之间存在超加性（super-additive）的交互作用。

意义与影响

SEAD 的提出标志着在线策略蒸馏技术向更高效、更智能的方向迈出了一步。其意义主要体现在以下几个方面：

1. 显著提升训练效率：通过跳过冗余 Token 的梯度计算，SEAD 大幅降低了计算成本，使得在相同算力下可以训练更大规模或更长时间的模型。
2. 优化学习曲线：通过动态调整 KL 散度方向和 Prompt 难度，SEAD 帮助模型更平稳地收敛，避免了因监督信号不当导致的训练震荡或陷入局部最优。
3. 通用性潜力：虽然本文主要在数学基准测试中验证了 SEAD 的有效性，但其基于熵的能力感知框架具有通用性，有望推广到其他领域的 LLM 训练中，如代码生成、自然语言理解等。
4. 为后续研究提供新思路：SEAD 证明了“能力感知”和“动态监督”在蒸馏过程中的重要性，为未来设计更自适应的训练算法提供了重要的参考范式。

总之，SEAD 不仅是一个具体的算法改进，更是一种训练理念的革新：即模型训练不应是静态和统一的，而应是动态的、个性化的，并始终围绕学生模型的实际能力状态进行调整。