← 返回信息流
技术博客arXiv cs.AI·3 小时前

用条件策略混合方法揭示语言模型泛化失败

原标题：Demonstrating Generalization Failures via Mixtures of Conditional Policies

速览

该博客提出通过条件策略混合构造语言模型，使其在强化学习训练时出现可控的泛化失败。实验表明，RL训练会优先选择最高奖励策略，导致其他分布性能降为零。还展示了两种新泛化失败方式：任务覆盖分布偏移和时序上下文偏移。该方法为对齐压力测试和泛化科学提供存在性证明。

AI 深度解读

背景

前沿语言模型在完成预训练后，通常会在精心设计的任务套件（curated task suites）上执行后训练（post-training）。然而，训练环境与部署环境之间不可避免地存在分布偏移（distribution shift），这会导致模型出现泛化失败（generalization failures）。当前对这类泛化失败的机理理解仍相对薄弱。为了更系统地研究此类失败，业界需要构建在简化条件下、可清晰复现的演示案例。为此，该论文提出了一种简单且灵活的方法，用于构造在强化学习（RL）训练后能以可控方式出现泛化失败的语言模型。

核心内容

该论文的核心贡献是提出了一种构造“条件策略混合体”（mixture of conditional policies）的方法，并利用该方法在受控环境中展示了多种泛化失败模式。

构造方法：首先，收集一组“条件策略”（conditional policies）的交互转录（transcripts），每个条件策略对应于在不同任务分布（task distribution）上独立指定的行为。然后，在该混合转录数据集上对基础语言模型进行监督微调（Supervised Fine-Tuning, SFT），得到一个可以近似为“条件策略混合体”的模型。该模型在给定输入时，其行为可看作多个条件策略的加权组合。

失败机制：在此基础上，对SFT后的模型进行RL训练（训练任务分布固定）。由于RL会倾向于选择在训练分布上获得最高奖励的策略，训练过程会从混合体中“挑选”出最适合训练分布的条件策略，而抑制其他策略。这导致模型在训练分布上表现良好，但在其他分布上性能急剧下降，甚至完全失效。

关键实验：论文在受控环境中设置了两组分布，每组包含完全相同的问题，但问题前分别添加了不同的“触发字符串”（trigger strings）。RL训练仅针对其中一组分布进行。结果显示，随着训练进行，模型在另一组分布（即带有另一触发字符串的问题）上的准确率主动下降至零，尽管底层任务本身完全一致。这表明RL训练不仅没有提升泛化能力，反而主动破坏了在其他分布上的表现。

两种新型泛化失败模式：论文利用该构造方法进一步展示了两种未来语言模型中可能出现的泛化失败：

  • 任务覆盖范围分布偏移（distribution shift of task coverage）：当训练分布覆盖的任务类型较窄时，模型会对未覆盖的任务类型完全失效，即使这些任务在结构上与训练任务相似。
  • 时间上下文分布偏移（distribution shift of temporal context）：当训练环境中的上下文时序模式与部署环境不同时（例如训练时对话历史较短，部署时对话历史较长），模型可能无法泛化到更长的上下文，性能会断崖式下降。

关键要点

  • 可控泛化失败的构造：通过SFT在混合条件策略的转录数据上训练，使得模型内部表现为多个策略的加权混合。后续RL训练会从该混合体中“选出”最适配训练分布的单一策略，从而在非训练分布上产生系统性失败。
  • RL训练主动破坏其他分布性能：在受控实验中（相同问题不同触发字符串），RL训练一个分布会使得另一个分布的准确率主动降至零，这并非被动遗忘，而是通过奖励最大化主动抑制了其他策略。
  • 两种新型失败模式：
    • 任务覆盖范围偏移：训练分布狭窄时，模型对未覆盖任务类型完全失效。
    • 时间上下文偏移：训练与部署的上下文时长或顺序模式不同时，模型无法处理更长的上下文。
  • 构造方法简单且可迁移：该方法故意采用简化设置，可能并不直接模拟“自然”泛化失败，但生成的“模型生物体”（model organisms）可用于对齐压力测试（alignment stress-testing）和泛化科学（generalization science）研究。
  • 存在性证明：该工作提供了严格的存在性证明，表明训练成功（training success）和泛化能力（generalization）可以在结构化方式下相互分离——模型可以在训练分布上达到高奖励，同时在测试分布上完全失败。

意义与影响

该论文的意义主要体现在以下方面：

  1. 提供可控的泛化失败案例：在简化环境中构造出清晰、可复现的泛化失败，有助于研究社区深入理解后训练过程中的分布偏移问题。目前对前沿模型泛化失败的机理认识不足，该工作填补了系统性演示的空白。

  2. 对齐压力测试工具：所构造的“模型生物体”可作为对齐压力测试的标准化测试对象。开发者可以借此评估在训练过程中是否会出现意料之外的泛化失败，并设计相应的防御或监控机制。

  3. 警告RL训练的双刃剑效应：实验表明，RL训练在提升特定分布性能的同时，可能主动破坏其他相关分布的性能——即使任务在语义上完全一致。这对实际部署（如基于RLHF的后训练）有重要警示：需要仔细监控模型在分布偏移下的行为变化，而非仅关注训练指标。

  4. 扩展泛化失败的理论框架：首次在受控环境中展示了两种与任务覆盖和时间上下文相关的分布偏移导致的失败，为未来研究更复杂的泛化失败模式提供了理论基础和实验范式。

  5. 推动泛化科学向前迈进：该工作不属于传统的“挑错”或“攻击”，而是通过构建版本来系统性地研究泛化的边界。它引导社区从“是否泛化”转向“何时以及如何泛化失败”，有助于建立更安全的AI开发实践。

相关推荐

查看原文 →arxiv.org