新正则化法FMR实现模仿学习离线对齐

背景

近年来，强化学习（Reinforcement Learning, RL）的研究重心日益向对齐（alignment）倾斜，目标是确保智能体学习到的行为符合人类价值观。人类演示（demonstrations）和人工反馈（feedback）已被证明是对齐的关键信号，但现有方法通常将这些信号组合成多阶段流水线（multi-stage pipelines），且主要针对语言生成的情境化赌博机框架（contextual bandit framing）。然而，在完全序列决策（sequential decision-making）环境中，如何将这两种互补输入作为更丰富的互联信号，用于单阶段离线训练（single-stage offline training），目前研究甚少。这一缺口促使了本文提出的新方法。

核心内容

本文提出一种名为 Feedback Manipulation Regularization (FMR) 的方法。FMR 是一种算法无关（algorithm-agnostic）的技术，它利用评估性反馈（evaluative feedback）作为纠正信号，以改进模仿学习（Imitation Learning）策略的对齐性能。

具体而言，FMR 不改变底层的模仿学习算法，而是在训练过程中引入一种正则化机制：通过操纵（manipulate）反馈信号，使策略在模仿演示的同时，主动避开那些被反馈标记为不良或不对齐的行为轨迹。这使得单一阶段的离线训练能够同时利用演示（demonstration）和反馈（feedback），而无需像语言生成任务那样构建多阶段流水线。

为了评估对齐能力，作者将 Safety Gymnasium 环境改编为一个原则性测试平台（principled testbed）。实验表明，在多种模仿学习算法上应用 FMR 后，智能体的对齐能力得到提升，其中 misalignment（不对齐行为）最高减少了 98%。此外，FMR 在有限数据场景（limited data regimes）下依然稳健，即使从稀疏的对齐演示和噪声较多的无用演示（uninformative noisy demonstrations）中学习，也能保持良好表现。

关键要点

• FMR 是一种算法无关的正则化方法：可应用于各类模仿学习算法（如行为克隆、生成式对抗模仿学习等），无需修改算法主体结构。
• 利用反馈作为纠正信号：将人工/自动化评估反馈融入单阶段离线训练，使策略在模仿演示时避免不对齐行为。
• 在 Safety Gymnasium 上进行对齐评估：将原有安全环境适配为专门测试对齐性能的基准，实验结果显示 misalignment 最高降低 98%。
• 数据效率高、鲁棒性强：即使在演示数量少、反馈噪声大的条件下，FMR 依然能有效改善对齐。
• 简化训练流程：无需多阶段流水线，在完全序列决策环境中实现端到端离线训练。

意义与影响

FMR 为离线智能体对齐提供了一种简洁而通用的框架。它将人类演示与评估反馈统一为一个互联信号，避免了传统方法在多阶段训练中的复杂工程与潜在误差积累。在 Safety Gymnasium 上的显著成果表明，该方法在机器人安全、自动驾驶、交互式系统等高风险序列决策领域具有实用潜力。此外，FMR 在数据稀缺和噪声环境下的鲁棒性，进一步拓展了其在现实世界中应用的可能性——因为真实场景往往难以获得大量高质量标注反馈。总体而言，FMR 迈出了从语言生成领域向通用序列决策对齐跨越的关键一步，为未来研究提供了可复用的工具与评估范式。