Teaching the Way, Not the Answer: Privileged Tutoring Distillation for Multimodal Policy Optimization

背景

近年来，后训练方法，特别是可验证奖励强化学习（Reinforcement Learning with Verifiable Rewards, RLVR），显著提升了大型视觉语言模型（Large Vision-Language Models, LVLMs）的推理能力。然而，RLVR 面临一个核心挑战：可验证奖励具有稀疏性（sparse nature）。这意味着在复杂的 multimodal 推理任务中，只有最终答案正确时才能获得奖励，而失败的 rollout（ rollout 指模型生成完整序列的过程）在 token 级别上缺乏足够的监督信号。这种稀疏性导致模型在探索复杂推理路径时效率低下。

为了解决探索效率问题，策略蒸馏（Policy Distillation）提供了一种密集指导（dense guidance）的思路，但现有方法存在明显缺陷：

1. 基于外部教师的方法：需要运行一个独立的教师模型，引入了巨大的计算开销。
2. 基于答案条件微调的方法：虽然提供了指导，但直接暴露了最终答案信息，容易诱导模型产生“捷径式”（shortcut-like）的生成行为，即模型可能通过记忆答案而非真正理解推理过程来回答问题，损害了泛化能力。

因此，如何在提供密集 token 级指导的同时，避免暴露最终答案并降低计算成本，成为提升 LVLMs 推理能力的关键瓶颈。

核心内容

针对上述局限性，研究团队提出了 PTD-PO（Privileged Tutoring Distillation Policy Optimization，特权辅导蒸馏策略优化）框架。该框架专为 RLVR 设计，旨在不向学生策略（student policy）暴露最终答案的前提下，提供密集的推理指导。

1. 构建结构化特权提示（Privileged Hints）

PTD-PO 的核心创新在于构建“结构化特权提示”。这些提示并非直接给出答案，而是从两个维度提取中间推理信息：

• 空间注意力引导（Spatial Attention Guidance）：利用视觉模型在图像上的注意力分布，指示模型应关注图像的哪些区域。
• 中间文本推理步骤（Intermediate Textual Reasoning Steps）：提供逻辑链条中的中间步骤，而非最终结论。

2. 上下文学习与 Token 级分布监督

PTD-PO 利用上下文学习（In-Context Learning, ICL）机制，将上述特权提示注入到上下文中。

• 指导过程：模型基于这些提示生成逐步的 token 分布监督信号。
• 学生优化：学生模型仍在原始的、无答案的上下文中进行优化。
• 对齐机制：在失败的 rollout 中，学生模型的 token 分布被强制与“增强了提示的参考模型”（hint-augmented reference model）的 token 分布进行对齐。这意味着学生模型学习的是“如何思考”，而不是“答案是什么”。

3. 解决分布偏移：Top-K Jensen-Shannon 散度

由于引导上下文（有提示）和无引导上下文（无提示）之间存在分布偏移（distribution shift），直接蒸馏可能导致训练不稳定。为此，PTD-PO 引入了 Top-K Jensen-Shannon (JS) 散度目标函数：

• 聚焦信息量：该目标函数仅关注概率最高的 Top-K 个 token，这些 token 通常包含最多的信息量。
• 降低内存开销：通过限制比较范围，显著减少了计算和存储开销。
• 稳定蒸馏：这种聚焦机制有助于在分布偏移的情况下稳定蒸馏过程，防止模型学习到错误的噪声分布。

关键要点

• 方法论创新：提出了 PTD-PO 框架，结合特权辅导蒸馏与策略优化，解决了 RLVR 中奖励稀疏导致的探索低效问题。
• 隐私保护式指导：通过提取空间注意力和中间推理步骤构建“特权提示”，在不暴露最终答案的情况下提供密集监督，避免了捷径式学习。
• 高效对齐机制：利用上下文学习生成逐步 token 分布监督，并通过 Top-K JS 散度目标函数，在引导与无引导上下文之间建立稳定的对齐，同时降低内存负担。
• 实验验证：在参数量从 2B 到 8B 不等的 LVLMs 上进行了广泛实验。
• 性能提升：PTD-PO 在复杂多模态推理任务上 consistently（一致地）优于 RLVR 和蒸馏基线方法。
• 稳定性增强：该方法有效缓解了模型训练中的熵坍缩（entropy collapse）现象，提升了模型的探索能力和推理鲁棒性。

意义与影响

PTD-PO 的提出为多模态大模型的推理能力优化提供了新的范式。其核心价值在于平衡了指导密度与信息泄露风险之间的矛盾。

1. 提升推理效率：通过提供密集的 token 级监督，PTD-PO 显著改善了模型在复杂多模态任务中的探索效率，解决了 RLVR 因奖励稀疏导致的训练瓶颈。
2. 促进通用推理能力：避免暴露最终答案的设计，迫使模型学习真正的推理逻辑而非记忆答案，有助于提升模型在未见数据上的泛化能力和鲁棒性。
3. 计算资源优化：相比基于外部教师的方法，PTD-PO 通过特权提示和 Top-K 散度优化，在保持高性能的同时降低了计算和内存开销，使得该方法更具工程落地可行性。
4. 推动 RLVR 发展：该工作展示了如何将蒸馏技术与强化学习有机结合，为后续研究如何利用中间信号优化大模型推理提供了重要的参考路径。

总之，PTD-PO 不仅是一个技术改进，更是一种“授人以渔”的训练哲学体现——教会模型推理的路径，而非直接给予答案。