TurnOPD提出回合感知预算加速长周期智能体训练
速览
TurnOPD针对长周期智能体在线蒸馏的两种低效问题提出两阶段预算控制器：自适应rollout深度预算终止弱监督回合尾部，渐进回合归一化损失预算平衡各回合训练权重。实验在ALFWorld等任务上验证其较原始方法更高效精准，推动蒸馏在长周期任务中的实用化。
AI 深度解读
背景
在语言智能体训练中，同策略蒸馏（On-Policy Distillation, OPD）是一种有前景的框架：它通过在学生自身生成的轨迹上匹配更强的教师模型来训练学生策略。然而，OPD 在长周期（long-horizon）智能体任务中的应用尚未得到充分探索。现有 Vanilla OPD 存在两个关键低效问题：一是完整轨迹生成（full-horizon rollouts）往往在尾部回合（tail turns）上浪费大量墙钟时间，而尾部回合提供的 KL 散度监督信号微弱且噪声大；二是以轨迹为单位的 KL 损失目标将大部分损失集中在浅层 token 上，一旦初始行为对齐后，更深层的决策回合就得不到充分训练。针对这些挑战，研究者提出了 TurnOPD。
核心内容
TurnOPD 是一种面向回合级预算（turn-level budget）的策略，用于实现对长周期智能体的高效同策略蒸馏。它包含两个预算控制器：
-
自适应轨迹深度预算控制器（Adaptive Rollout-Depth Budgeting）
该控制器利用基于探测（probe）的回合统计数据来确定每次 rollout 的长度。具体来说，它会在训练过程中动态评估当前学生策略在各个回合的表现，只生成到那些仍能提供有效监督信号的前置回合，从而避免在尾部噪声回合上浪费墙钟时间。 -
渐进式回合归一化损失预算控制器（Progressive Turn-Normalized Loss Budgeting）
该控制器负责逐步调整 KL 损失权重，从以 token 为单位（token-level）过渡到以回合为单位均衡（turn-balanced）的监督。初始阶段，损失权重侧重于 token 级对齐；随着训练进行，KLD 权重逐渐向各回合均匀分布，确保深层决策回合也能获得充分的梯度反馈。
TurnOPD 在三个基准任务上进行了实验：ALFWorld（具身家居任务）、WebShop（在线购物环境）以及 Multi-Hop Search（多跳检索问答）。每个任务都使用了专为该任务优化的教师模型进行蒸馏。结果证明，在相等的墙钟训练预算下，TurnOPD 取得了更优的验证准确率，并且在准确率-时间前沿曲线上超越了原始 Vanilla OPD。
关键要点
- Vanilla OPD 在长周期任务中效率低下的两个根源：尾部回合噪声多、深层回合欠训练。
- TurnOPD 将预算控制从轨迹粒度细化到回合粒度，直接针对这两个根源设计。
- 自适应轨迹深度预算通过 probe 动态截断 rollout 长度，节省墙钟时间。
- 渐进式回合归一化损失预算通过平滑地从 token 级权重向回合级权重过渡，解决深度回合训练不足问题。
- 实验覆盖了三种不同性质的智能体任务（具身、电子商务、检索推理），均使用各自专门的教师模型。
- 在等量训练时间下，TurnOPD 的验证准确率显著高于 Vanilla OPD，且实现了更好的准确率-时间权衡。
意义与影响
TurnOPD 提出的回合级预算框架为长周期智能体训练中的同策略蒸馏提供了一种即插即用的改进方案。它不改变 OPD 的基本范式，而是通过精细化的资源分配和损失加权解决了实际部署中的墙钟效率问题。这项工作表明，对于多步骤、多回合的智能体任务，静态的完整轨迹生成和均匀的损失定义都不是最优的；动态的、感知回合层次的计算策略能够带来显著的性能提升。随着语言智能体在复杂交互场景（如工具使用、多步推理、机器人控制）中的广泛应用，TurnOPD 所体现的“按需 rollout”和“渐进式损失均衡”思路有望成为后续蒸馏方案的标准组成部分。同时，本文也为未来研究开辟了方向：如何为不同任务自动学习最优的回合预算分配策略，以及如何将 turn-level 预算扩展到更广泛的策略优化框架中。