← 返回信息流
技术博客arXiv cs.AI·3 小时前

LAPO: Leave-One-Turn Attribution for Self-Generated Process Rewards in Multi-Turn Search Reasoning

AI 深度解读

背景

多轮搜索推理（multi-turn search reasoning）是当前大语言模型（LLM）智能体需要解决的核心挑战之一。这类任务中，智能体需要通过多轮检索与推理的交替，逐步收集信息、验证假设，最终给出答案。传统的强化学习方法通常只在最终回合（terminal turn）给出结果奖励（terminal reward），而对中间每一轮搜索行为的贡献（有用、冗余还是有害）缺乏区分能力。这种“终端奖励”模式导致训练效率低下，智能体难以学会在正确时机进行检索、放弃无用信息或修正错误方向。

近年来，过程监督（process supervision）被提出作为一种替代方案，即对每个中间步骤给予细粒度的奖励信号。然而，现有的过程监督方法要么依赖人工标注（成本高、可扩展性差），要么需要额外的奖励模型或验证器（如LLM-as-a-Judge），这些方法不仅增加了计算开销，还可能引入偏差。在搜索推理场景中，回合之间的交互复杂，一个回合的贡献往往依赖于后续回合的上下文，这使得简单的独立步骤奖励难以准确刻画。

针对上述问题，该论文提出了一种名为 LAPO（Leave-One-Turn Attribution）的自生成过程监督方法，它不需要任何额外模型或人工标注，仅利用策略自身对正确答案的似然变化来为每个搜索回合分配奖励信号。

核心内容

LAPO 的核心思想是“留一回合归因”（leave-one-turn attribution）。对于多轮搜索推理中的每一轮（第 t 轮），LAPO 执行以下操作：

  1. 构造对照序列：将原始推理轨迹中第 t 个回合及其对应的检索观察（retrieval observation）替换为一个固定的占位符 [DELETE]。该占位符表示该回合被“移除”，但保留该回合之前和之后的所有交互（包括后续回合的检索和推理步骤）。

  2. 计算答案似然增益：使用当前策略模型（policy model）分别计算原始完整轨迹和替换后轨迹下，正确答案（gold answer）的平均对数似然（mean log-likelihood）。答案似然增益定义为： [ \text{ALG}t = \log P{\pi}(\text{answer} \mid \text{complete trajectory}) - \log P_{\pi}(\text{answer} \mid \text{trajectory with turn } t \text{ removed}) ] 这个增益量化了该回合的净贡献。如果移除该回合后答案似然下降（即 ALG_t > 0），说明该回合有用；如果似然上升（ALG_t < 0），说明该回合有害或冗余；如果几乎不变，则说明该回合中性。

  3. 符号一致性门控：LAPO 进一步应用一个门控机制。它首先计算每个回合的原始归因分数（raw attribution score），即 ALG_t。然后，它使用策略模型在完整轨迹上计算每个回合的“过程优势”（process advantage），即该回合的贡献相对于其他回合的归一化值。但并非所有过程优势都可靠：LAPO 只保留那些方向（正负）与原始归因分数一致的过程优势，以此过滤掉噪声信号。最终，每个回合的过程奖励（process reward）为： [ R_t = \begin{cases} \text{normalized advantage}_t, & \text{if sign(normalized advantage}_t) = \text{sign(ALG}_t) \ 0, & \text{otherwise} \end{cases} ]

  4. 自生成流程：整个奖励信号完全由策略模型自身生成，不依赖任何外部奖励模型、教师模型、验证器或 LLM-as-a-Judge。LAPO 仅需在训练过程中对每个轨迹执行一次前向传播（计算原始轨迹的似然）和若干次部分前向传播（计算移除每个回合后的似然），计算量可控。

实验设置：论文在七个知识密集型问答数据集上进行了评估，包括自然问题、WebQuestions、TriviaQA 等，所有任务均使用本地检索（local retrieval）。基线方法包括终端奖励（terminal reward）、步骤奖励（step reward）如 IGPO（Incremental Gain Policy Optimization），以及带有外部验证器的方法。

主要结果：LAPO 在所有数据集上平均 Exact Match 分数为 0.326，比最强步骤奖励基线 IGPO（0.273）高出 0.053。消融实验表明，后向归因（backward attribution）和符号一致性门控（sign-consistency gating）各贡献了显著的增益，两者结合效果最佳。

关键要点

  • 留一回合归因：LAPO 通过“删除一个回合并观察答案似然变化”来估计该回合的贡献，是一种后向归因（backward attribution）方法，能够评估每个回合在完整推理上下文中的真实影响。
  • 自生成流程监督：不需要额外奖励模型、教师、验证器或 LLM-as-a-Judge；所有奖励信号均来自策略模型自身对正确答案的似然评估。
  • 符号一致性门控：通过仅保留方向与原始归因分数一致的过程优势，有效过滤噪声，提升奖励信号的可靠性。
  • 计算效率：每个轨迹只需一次完整前向传播（计算原始轨迹似然）和每个回合一次部分前向传播（替换为占位符后计算），无需重新生成整个轨迹。
  • 性能优势：在七个知识密集型问答数据集上，LAPO 平均精确匹配得分 0.326，显著优于现有最强步骤奖励方法 IGPO（0.273），提升幅度达 19.4%。
  • 消融实验证实互补性：后向归因和符号一致性门控各自贡献了独立的增益，两者结合后效果最佳。

意义与影响

LAPO 提出了一种简洁而有效的过程监督方案，其核心意义在于：

  1. 降低对人工标注和外部模型的依赖：传统过程监督需要大量人工标注或额外训练一个奖励模型，而 LAPO 完全由策略自身生成奖励，使得多轮搜索推理的强化学习变得更容易部署，尤其适用于资源受限的场景。

  2. 提供更细粒度的信号：相比终端奖励，LAPO 能够区分每个回合的有用性，从而指导智能体减少无用检索、避免有害信息、强化有效证据收集。这有助于提升多轮搜索的准确性和效率。

  3. 保持上下文完整性：通过留一回合归因，LAPO 保留了所有下游交互，使得早期证据可以在完整推理链中得到评估，避免了独立步骤奖励的上下文割裂问题。

  4. 可拓展性：该方法不限于特定模型或检索方式，

相关推荐

查看原文 →arxiv.org