Oyster-II: Reinforcement Learning for Constructive Safety Alignment in Large Language Models

背景

大型语言模型（LLM）在众多应用中展现了卓越能力，但如何在生成内容时同时确保安全性、有用性和可信度，始终是一个难题。传统的拒绝式对齐（refusal-oriented alignment）策略通过直接拒绝生成潜在有害内容来规避风险，然而这种方法会在系统层面无法满足用户的合法需求——当用户提出敏感查询时，模型往往一并拒绝提供那些可以安全且建设性地回应的信息，导致信息保留过度。为解决这一问题，Oyster-I 提出了「构造性安全对齐」（constructive safety alignment）范式，摒弃简单粗暴的全面拒绝，转向深思熟虑、面向回应的安全对齐方案。但 Oyster-I 基于监督微调（SFT）的方案存在两个关键局限：一是面对分布外（out-of-distribution）场景时安全泛化能力不足；二是我们称之为「安全思维链（CoT）过度泛化」的现象——安全导向的推理模式被过度应用于无害查询，反而降低了有用性和用户体验。

核心内容

为克服上述局限，本文提出 Oyster-II，一个基于强化学习（RL）的构造性安全对齐框架。Oyster-II 采用 Zero-RL 范式，并结合多阶段强化学习流程。该框架在广泛基准测试上进行了评估，结果全面超越了 Qwen3-14B 及其前身 Oyster-I，在安全维度上表现突出，且实现了跨规模（cross-scale）的性能——与 Qwen3-Max 和 Qwen3.5-397B 等更大模型相媲美。具体来说：

• Oyster-I 的 SFT 方案在训练数据分布之外的安全场景中泛化失败，导致模型在面对变体攻击或新型敏感查询时保护不足。
• 安全 CoT 过度泛化意味着模型在非敏感查询中也启动了冗余的安全推理链，不仅拖慢推理速度，还让用户感到不被信任或回答生硬。
• Oyster-II 通过强化学习直接优化安全与有用性的权衡，利用 Zero-RL 范式消除对人工标注奖励信号的依赖，再通过多阶段 RL 逐步调整策略，使模型学会只在真正需要时介入安全推理，而对无害查询保持自然流畅的回应。

实验结果表明，Oyster-II 在多个安全对齐指标（如有害内容拒绝率、合法查询响应率、用户满意度等）上均达成最佳表现，且模型规模为 14B 参数即可匹敌 397B 参数的超大模型，证明了构造性对齐结合强化学习的巨大潜力。

关键要点

• Oyster-II 基于强化学习（Zero-RL + 多阶段 RL）而非监督微调，从根本上解决了 Oyster-I 的安全泛化不足和安全 CoT 过度泛化两个问题。
• Zero-RL 范式意味着无需手动设计奖励模型或收集对比数据，降低了构建安全对齐系统的成本。
• 多阶段 RL 流程逐步引导模型在安全与有用性之间找到精细平衡，避免过度安全化导致的用户体验下降。
• 在标准安全对齐基准上，Oyster-II（14B）全面超过 Qwen3-14B 和 Oyster-I，并且跨规模性能可媲美 Qwen3-Max（约数百 B）和 Qwen3.5-397B，证明了构造性对齐路线的可扩展性。
• 安全思维链过度泛化是之前被忽视的问题，Oyster-II 通过 RL 让模型学会按需使用安全推理，而非无差别应用。

意义与影响

Oyster-II 的提出标志着 LLM 安全对齐从「拒绝式」向「构造性」的实质性迈进。传统方法视安全与有用性为对立面，而 Oyster-II 证明了通过强化学习可以同时提升两者。其 Zero-RL 范式降低了对人工标注的依赖，使得在多种语言和敏感话题上都能更高效地实施对齐。跨规模可比性意味着中小规模模型也能在安全维度上达到顶尖水平，这为资源有限的团队提供了务实路径。此外，安全 CoT 过度泛化的发现促使社区重新审视目前主流的「推理时安全干预」方法的负面影响——未来安全对齐的设计需要更细粒度地控制推理链的触发条件。Oyster-II 的工作不仅提供了具体技术方案，也为 LLM 的负责任部署照亮了新方向。