OPID：面向智能体强化学习的在线策略技能蒸馏

背景

基于结果的强化学习（Outcome-based Reinforcement Learning, RL）为语言智能体（Language Agents）提供了稳定的优化骨架。然而，这种范式存在一个显著的痛点：轨迹级别的奖励（trajectory-level rewards）通常非常稀疏。这意味着智能体在完成整个任务后才会收到反馈，导致算法难以判断在交互过程中的哪些中间决策应当被强化，哪些应当被抑制。

为了解决奖励稀疏问题，研究者引入了在线策略自蒸馏（On-policy self-distillation），通过提供密集的令牌级别（token-level）监督信号来指导训练。尽管这一方向潜力巨大，但现有的基于技能条件（skill-conditioned）的变体往往依赖于外部技能记忆库或检索到的特权上下文（privileged context）。这种设计带来了两个主要问题：

1. 维护成本高：外部记忆库的存储和检索增加了系统复杂性。
2. 分布不匹配：在多轮交互中，当前策略生成的状态分布可能与外部技能库所基于的分布不一致，导致技能指导失效或产生误导。

针对上述挑战，本文提出了 OPID（On-Policy Skill Distillation，在线策略技能蒸馏）框架。该框架的核心思想是从已完成的在线策略轨迹中直接提取技能监督信号，无需依赖外部存储，从而实现与当前策略状态分布完美匹配的密集监督。

核心内容

OPID 框架通过以下机制实现从轨迹到技能监督的高效转化：

1. 轨迹后见之明的层次化技能表示

OPID 将轨迹的后见之明（hindsight）表示为层次化的技能结构，分为两个层级：

• 剧集级技能（Episode-level Skills）：捕捉全局的工作流模式或避免失败的规则。这类技能关注整个任务序列的宏观结构。
• 步骤级技能（Step-level Skills）：捕捉关键时间步（critical timesteps）上的局部决策知识。这类技能针对具体的、高风险的决策点提供微观指导。

2. 关键优先路由机制（Critical-first Routing）

为了有效利用上述两种技能，OPID 设计了一种关键优先路由机制：

• 当系统识别出当前处于关键决策节点时，路由机制会优先选择步骤级技能进行指导。
• 在其他非关键情况下，系统默认回退到剧集级技能作为全局引导。

3. 技能注入与优势计算

选定的技能会被注入到交互历史中。随后，旧策略（old policy）会在两种上下文中对同一采样响应进行重新评分：

1. 原始上下文：即未注入技能时的原始交互历史。
2. 技能增强上下文：即注入了选定技能后的交互历史。

通过比较这两种上下文下的对数概率（log-probability），OPID 计算出一个令牌级别的自蒸馏优势（self-distillation advantage）。

4. 策略优化

最终的策略优化目标结合了两种优势信号：

• 结果优势（Outcome Advantage）：来自传统的基于结果的强化学习奖励。
• 自蒸馏优势（Self-distillation Advantage）：来自上述令牌级别的技能监督。

这种混合优化方式使得 OPID 在保留强化学习作为主要训练目标的同时，引入了密集且分布匹配的 hindsight 监督信号，从而提升了训练的稳定性与效率。

关键要点

• 无需外部依赖：OPID 直接从在线策略生成的轨迹中提取技能，避免了维护外部技能记忆库或检索特权上下文的高昂成本和分布不匹配问题。
• 层次化技能结构：将技能分为“剧集级”（全局工作流/防错规则）和“步骤级”（局部关键决策知识），实现了从宏观到微观的全面覆盖。
• 动态路由机制：通过“关键优先”策略，在关键决策点使用细粒度的步骤级技能，在非关键点使用粗粒度的剧集级技能，平衡了指导的精度与泛化性。
• 双重优势信号：将令牌级别的自蒸馏优势与传统的结果优势相结合，既保留了 RL 的全局优化能力，又获得了密集的中间过程反馈。
• 实验验证：在 ALFWorld、WebShop 和基于搜索的 QA（Search-based QA）等基准测试中，OPID 在智能体性能、样本效率和鲁棒性方面，普遍优于仅基于结果的 RL 以及现有的技能蒸馏基线方法。

意义与影响

OPID 的提出解决了智能体强化学习中“稀疏奖励”与“密集监督”难以兼得的长期难题。其核心价值在于证明了无需外部辅助，仅通过挖掘自身轨迹中的后见之明，即可构建出高质量、分布匹配的密集监督信号。

这一方法对于推动语言智能体在复杂多步任务（如网页导航、复杂推理、长期规划）中的应用具有重要意义：

1. 提升样本效率：通过密集的技能监督，智能体能更快地从少量交互中学习有效的决策模式，减少了对大规模交互数据的依赖。
2. 增强鲁棒性：层次化的技能表示和动态路由机制使得智能体在面对未知状态或分布偏移时，仍能保持较好的决策稳定性。
3. 简化系统架构：去除了对外部技能库的依赖，降低了系统的部署复杂度和维护成本，使得基于 RL 的智能体训练更加轻量化和可扩展。

随着大语言模型在智能体领域的深入应用，OPID 所代表的“在线策略自我蒸馏”范式为构建更高效、更稳健的智能体训练框架提供了新的思路。