← 返回信息流
技术博客arXiv cs.AI·1 天前

重新思考奖励监督：基于量表的自蒸馏方法

原标题：Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation

速览

针对现有推理语言模型后训练中监督蒸馏依赖昂贵且可能噪声的思维链标注，以及强化学习奖励信号过于单一的问题，研究提出基于量表的自蒸馏框架。该方法将量表作为结构化细粒度反馈，指导教师模型对学生采样轨迹进行词元级引导，实现更精细的归因。实验表明，该方法在科学推理基准上平均超越GRPO 1.0分和OPSD 0.9分，有效将量表标准转化为推理过程的细粒度指导。

AI 深度解读

重新思考奖励监督：基于量规条件的自蒸馏

来源：arXiv cs.AI 提交日期：2026年6月17日 标题：Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation

背景

当前，推理语言模型（Reasoning Language Models）的后训练（Post-training）主要依赖于两种范式：带有可验证奖励的监督蒸馏（Supervised Distillation）和强化学习（Reinforcement Learning, RL）。然而，这两种主流方法在实际应用中均存在显著的局限性。

首先，监督蒸馏通常依赖于思维链（Chain-of-Thought, CoT）注释。获取高质量的思维链注释成本高昂，且这些注释本身可能包含噪声、不完整甚至部分错误。即使最终答案是正确的，不完美的推理过程也会干扰模型的学习效果，导致模型学到错误的中间步骤。

其次，基于可验证奖励的强化学习通常将评估反馈压缩为一个标量信号（Scalar Signal）。这种“黑盒”式的反馈机制掩盖了回答中具体哪些部分需要改进，使得模型难以进行细粒度的信用分配（Credit Assignment）。模型知道结果好不好，但不知道具体哪里做得好或不好，从而限制了推理能力的精细化提升。

核心内容

针对上述痛点，本文提出了一种名为**基于量规条件的自蒸馏（Rubric-Conditioned Self-Distillation, RCSD）**的新框架。该框架旨在将“量规（Rubrics）”作为结构化的、细粒度的反馈，整合到在线策略（On-policy）的自蒸馏过程中。

1. 核心理念：从“单一参考”到“标准约束”

传统的蒸馏方法往往将单一的参考思维链视为唯一的监督目标。RCSD 改变了这一范式，它不强制模型模仿某一条特定的推理路径，而是通过“量规”来规定一个强响应（Strong Response）应当满足哪些标准。

  • 量规（Rubrics）：在这里指代一组结构化的、细粒度的评估标准或准则。
  • 条件化教师模型（Conditioned Teacher Model）：教师模型不再仅仅输出答案，而是根据特定的量规条件，对学生模型采样生成的轨迹（Trajectories）提供**词元级别（Token-level）**的指导。

2. 方法机制：细粒度信用分配

RCSD 的设计核心在于利用量规实现比标量奖励优化更精细的信用分配。具体流程如下：

  1. 生成任务特定量规：首先学习生成针对特定任务的量规。这些量规定义了高质量回答应具备的特征。
  2. 量规引导的推理训练：在训练阶段，教师模型依据这些量规，对学生模型生成的每一步推理进行词元级别的指导。这意味着模型不仅关注最终结果，还关注推理过程中的每一个逻辑节点是否符合量规要求。

3. 两阶段流水线实现

为了实例化这一框架，作者设计了一个两阶段的流水线（Pipeline）：

  • 第一阶段：学习生成任务特定的量规（Task-specific Rubrics）。这一步旨在让模型理解在特定领域（如科学推理）中，什么样的推理步骤是符合标准的。
  • 第二阶段：训练一个由量规引导的推理模型（Rubric-guided Reasoner）。在这一阶段，模型利用第一阶段生成的量规作为反馈信号，通过自蒸馏的方式优化自身的推理能力。

关键要点

  • 克服噪声与成本问题：RCSD 避免了对昂贵且可能含有噪声的思维链注释的依赖，转而使用结构化的量规作为监督信号。
  • 细粒度反馈优于标量奖励：通过将评估反馈从单一的标量奖励扩展为词元级别的量规指导，模型能够更准确地识别推理过程中的具体优劣，实现了更精细的信用分配。
  • 在线自蒸馏：该方法属于在线策略（On-policy）学习，教师模型直接对学生模型自身采样的轨迹进行指导，增强了反馈的相关性和针对性。
  • 结构化标准替代单一答案：量规规定了“好回答”应满足的条件，而非强制模仿某一条具体的推理路径，这赋予了模型更大的灵活性和泛化能力。
  • 实验验证：在多样化的科学推理基准测试中，RCSD 被证明能有效将量规级别的准则转化为推理过程中的词元级指导。

意义与影响

RCSD 框架为推理语言模型的后训练提供了一种新的视角，其意义主要体现在以下几个方面：

  1. 提升推理质量与可解释性：通过引入量规，模型的学习过程变得更加透明和结构化。模型不仅学会了“是什么”，更学会了“为什么”这样推理是符合标准的。
  2. 突破强化学习的瓶颈：解决了传统 RLHF/RLVR 中奖励信号过于稀疏和模糊的问题，使得模型能够从更丰富的反馈中学习，从而在复杂推理任务中表现更佳。
  3. 性能提升显著：实验结果显示，RCSD 在平均性能上超越了 GRPO（Group Relative Policy Optimization）1.0 分，超越了 OPSD（Online Policy Self-Distillation）0.9 分。这证明了基于量规的细粒度监督在提升模型推理能力方面的有效性。
  4. 通用性潜力：虽然本文主要在科学推理基准上进行了评估，但这种将结构化标准引入自蒸馏的思路，有望推广到其他需要复杂逻辑推理的领域，如数学证明、代码生成和法律分析等。

总之，Rubric-Conditioned Self-Distillation 通过重新定义奖励监督的粒度与形式，为构建更强大、更可靠的推理语言模型提供了一条具有潜力的新路径。

相关推荐

查看原文 →arxiv.org