Weak Critics Make Strong Learners: On-Policy Critique Distillation for Scalable Oversight

背景

随着大型语言模型（LLMs）能力的飞速提升，传统的“弱监督强泛化”（Weak-to-Strong Generalization）范式正面临严峻挑战。在传统的监督学习场景中，通常假设存在一个“强模型”和一个“弱模型”或“弱教师”。弱模型负责提供标签、偏好或最终判断，强模型则通过模仿或对齐这些弱信号来学习。

然而，当强模型的能力远超弱模型时，这种范式会出现瓶颈。具体而言，对于复杂的推理任务或高度专业的输出，弱监督者（Weak Supervisors）往往无法提供可靠的标签、偏好排序或最终裁决。弱模型可能根本不懂如何正确解决任务，或者无法准确识别什么是“好”的答案。这种能力的巨大鸿沟限制了弱监督在可扩展监管（Scalable Oversight）中的有效性——即我们如何利用低成本、低能力的资源来高效训练或指导高成本、高能力模型。

核心内容

本文提出了一种新的弱监督范式，称为**“弱批评家强监管”**（Weak-Critic Strong Oversight）。作者认为，与其让弱模型去充当“标签生成器”或“最终裁判”，不如让它充当“批评家”（Critic）。

1. 从“做对”到“指路”：弱批评家的定义

在传统的弱监督中，弱模型需要尝试解决任务或选出正确答案。而在本文提出的设定中，弱批评家不需要解决任务，也不需要选出正确答案。它的唯一任务是提供一个**“非误导性的修订方向”**（non-misleading revision direction）。

换句话说，弱批评家不需要告诉强模型“什么是对的”，而是告诉强模型“哪里可能有问题”或“应该往哪个方向调整”。只要这个方向不将强模型引向错误的深渊，强模型就可以利用自身更强大的知识库和推理能力，结合这个微调信号，生成比原始输出更好的结果。

2. 推理时的即时提升

研究首先验证了弱批评家在推理阶段（Inference Time）对冻结的强模型（Frozen Strong Models）的有效性。实验表明，如果弱批评家提供的批评质量足够高，即使强模型本身不进行参数更新，仅通过引入批评信号进行后处理或引导，其输出质量也能得到显著提升。这证明了“批评质量”是这一范式成功的关键因素。

3. 渐进式在线策略批评蒸馏（OPCD）

为了系统地利用弱批评家来训练强模型，作者提出了渐进式在线策略批评蒸馏（Progressive On-Policy Critique Distillation, OPCD）。该方法包含两个核心步骤：

• 高质量批评筛选：并非所有弱批评家的输出都是有用的。OPCD 引入了一种机制来过滤掉低质量或误导性的批评，只保留那些能提供有效指导信号的批评。
• 自适应自我教师信号蒸馏：一旦筛选出高质量批评，系统会生成一个“批评引导的行为轨迹”。随后，强模型通过自适应的自我教师信号（Adaptive Self-Teacher Signals），将这些基于批评的行为模式蒸馏到自身参数中。这意味着强模型不仅学习了最终答案，还学习了“如何根据批评进行自我修正”的策略。

4. 实验验证

作者在推理能力（Reasoning）和对齐基准（Alignment）数据集上进行了广泛实验。结果显示，通过 OPCD 方法，强模型在训练周期内能够持续获得性能提升。这表明，即使监督信号来自能力较弱的模型，只要形式正确（即提供非误导性修订方向）且处理得当（通过 OPCD 进行蒸馏），依然可以实现高效的模型优化。

关键要点

• 范式转变：从“弱模型做标签/裁判”转变为“弱模型做批评家”。弱模型只需提供非误导性的修订方向，而非正确答案。
• 核心假设：强模型拥有足够的内在知识，只要弱批评家不将其引向错误方向，强模型就能利用批评信号优化输出。
• OPCD 方法：
  • 筛选：过滤低质量批评，确保监督信号的有效性。
  • 蒸馏：通过自适应自我教师信号，将批评引导的行为模式蒸馏进强模型。
• 推理时增强：弱批评家不仅能用于训练，还能在推理阶段即时提升冻结强模型的表现，前提是批评质量达标。
• 可扩展性：该方法为利用低成本、弱能力的资源来监管和训练高成本、强能力模型提供了一条可行的技术路径。

意义与影响

这项研究对大模型的可扩展监管（Scalable Oversight）具有重要的理论和实践意义：

1. 降低对齐成本：在人类反馈强化学习（RLHF）中，人类标注昂贵且难以规模化。本文证明，即使是能力远低于目标模型的自动化工具或小型模型，只要作为“批评家”使用，也能提供有价值的监督信号。这为构建大规模、自动化的对齐流程提供了新思路。
2. 解决“弱监督失效”问题：传统方法在强模型面前往往失效，因为弱模型无法胜任“裁判”角色。本文通过重新定义弱模型的角色（从裁判变为顾问/批评家），巧妙地避开了弱模型能力不足的短板，利用了强模型的自我修正能力。
3. 促进模型自我进化：OPCD 方法强调“自适应自我教师信号”，这意味着模型在学习过程中不仅依赖外部信号，还结合了自身的置信度和知识。这种机制有助于模型在缺乏完美人类反馈的情况下，实现更稳健的自我迭代和优化。
4. 推动弱-强泛化研究：本文为“弱监督如何有效指导强模型”这一经典问题提供了新的解法，即通过“批评蒸馏”而非“直接模仿”来实现知识转移。这为后续研究如何利用不完美的监督信号训练超级智能模型打开了新的窗口。