基于信息增益的展开策略优化提升多轮LLM智能体性能

背景

近年来，强化学习已成为提升大语言模型（LLM）智能体在长视野搜索任务中表现的重要范式。在这类任务中，智能体需要在没有即时反馈的情况下，依次做出多个中间决策，最终才能获得结果。例如，在需要多轮推理的问答系统中，智能体必须依次调用工具、查询知识库或生成中间推理步骤，最后一刻才能判断答案的正确性。然而，现有方法存在一个关键局限：展开（rollout）预算的分配往往没有显式评估中间状态的价值。由于不同分支的信息量可能差异极大，许多计算资源被浪费在低价值的状态上，导致整体搜索效率低下。为了解决这一问题，本文提出了一种新的策略优化框架——基于信息增益的展开策略优化（Information Gain-based Rollout Policy Optimization, IGRPO）。

核心内容

IGRPO 的核心思想是将中间状态的信息量作为组织展开收集（rollout collection）的原则，从而在有限的预算下高效地探索搜索树。具体而言，该框架执行预算感知的树状展开（budget-aware tree-structured rollouts），根据节点级别的信息量来分配展开预算：信息量更高的分支被分配更多展开次数，而希望不大的分支则被逐步抑制。

形式上，IGRPO 通过计算某个中间状态 s 的信息增益（Information Gain）来衡量其价值。信息增益定义为：对该状态进行展开后，策略分布相对于先验分布的预期变化程度。这一度量天然地反映了该状态对于降低最终决策不确定性的贡献。在树搜索过程中，智能体维护一个展开树，每个节点对应一个对话历史或中间状态。每次展开时，IGRPO 从当前叶子节点中根据信息增益与预算约束选择最有潜力的节点进行扩展，并收集轨迹。

该论文进一步证明，基于信息增益的展开方式隐式地导出了一个显式的限制性教师分布（limiting teacher distribution）——即理想情况下，在无限预算下应遵循的最优轨迹分布。这个教师分布直接为策略优化提供了明确的目标。因此，IGRPO 将自适应的树状探索与有原理的策略学习统一在同一个框架下：一方面通过信息增益引导展开，另一方面利用由树搜索诱导出的教师分布来更新 LLM 策略。

实验部分在七个具有挑战性的搜索增强型问答基准（search-augmented QA benchmarks）上进行评估。这些基准任务要求智能体在多轮交互中搜索外部知识（如维基百科、数据库）来回答问题。在相同的展开预算约束下，IGRPO 始终优于各种强基线（如标准的强化学习方法、束搜索、蒙特卡洛树搜索等），证明了利用诱导出的教师分布来指导长视野搜索智能体策略优化的有效性。

关键要点

• 问题定位：现有强化学习方法在分配展开预算时忽略中间状态的信息价值，导致低价值分支占用过多计算资源。
• 核心创新：IGRPO 使用信息增益（而非传统奖励或 Q 值）作为树展开的分配准则，动态调整各分支的展开次数。
• 理论支撑：证明了基于信息增益的展开会收敛到一个限制性教师分布，该分布可以直接作为策略优化的目标，从而将探索与学习统一。
• 方法流程：
  1. 构建搜索树，每个节点代表一个中间状态（对话历史）。
  2. 计算每个叶节点的信息增益（基于当前策略对后续动作的不确定性）。
  3. 在预算约束下，优先展开信息增益最高的节点。
  4. 收集展开轨迹，并利用诱导出的教师分布更新 LLM 策略。
• 实验验证：在 7 个搜索增强型 QA 数据集上（如 HotpotQA、2WikiMultihopQA 等），IGRPO 在相同预算下显著优于现有方法，包括基于奖励的树搜索策略。
• 额外发现：IGRPO 能够自动抑制低信息量分支，从而避免了对剪枝阈值的敏感调参，提升了鲁棒性。

意义与影响

IGRPO 的提出为多轮 LLM 智能体的策略优化提供了一种新的理论基础和实用工具。其意义体现在以下几个方面：

首先，它将“信息增益”这一经典概念重新引入 LLM 搜索领域，提供了一种比传统奖励信号更普适的中间状态评估指标。在长视野任务中，最终奖励往往稀疏且延迟，而信息增益可以在搜索过程中实时计算，使得预算分配更加高效。

其次，IGRPO 通过显式诱导出教师分布，将探索策略与策略优化目标紧密耦合，避免了以往“先探索再学习”或“探索与学习分离”带来的优化差距。这一思路可能启发后续研究，将其他基于不确定性的探索策略（如熵搜索、贝叶斯优化）也纳入 LLM 策略学习的框架。

第三，该方法在计算效率上具有潜力。由于它根据信息增益动态调整展开深度，相比固定深度或均匀展开的基线，能在相同预算下覆盖更多高价值状态。这对于部署中受限于推理成本的 LLM 系统尤其重要。

最后，IGRPO 实验覆盖了多个具有挑战性的 QA 基准，证明了其泛化能力。未来可进一步扩展到工具使用、代码生成、多轮对话等更复杂的多步骤决策场景，甚至与检索增强生成（RAG）系统结合，提升长文档问答和知识密集型任务的性能。