SPADER：面向多答案问答的步级同伴优势与多样性感知探索奖励机制

背景

随着大型语言模型（LLMs）被广泛部署为增强工具的智能体（Tool-augmented Agents），它们获取超出参数化知识范围信息的能力得到了显著提升。尽管近期研究在长视野（Long-horizon）工具使用推理方面取得了进展，但大多数现有方法仍聚焦于具有单一正确答案的任务场景。

然而，现实世界中的许多查询要求发现一组全面的有效答案，这一设定被称为多答案问答（Multi-Answer QA）。与单答案任务不同，多答案问答面临两个核心挑战：

1. 细粒度的信用分配（Credit Assignment）：在漫长的搜索轨迹中，如何准确评估每一步决策对最终结果的贡献。
2. 奖励对齐（Reward Alignment）：如何引导模型在发现高频、容易获取的实体之外，持续进行探索以发现长尾实体。

现有的强化学习（RL）方法在处理此类问题时，往往难以平衡探索的广度与深度，或者依赖复杂的批评家模型（Critic models）导致训练不稳定。

核心内容

为了解决上述挑战，研究人员提出了 SPADER，这是一个专为多答案问答场景设计的、用于长视野工具使用的强化学习框架。SPADER 的核心创新在于其独特的信用分配机制和奖励函数设计。

1. 步级同伴优势（Step-wise Peer Advantage, SPA）

SPADER 引入了一个无需批评家模型（Critic-free）的步级信用分配机制，称为 SPA。

• 并行轨迹对齐：SPA 通过将并行生成的搜索轨迹按决策步骤进行对齐，使得模型能够在同一时间步比较不同动作的效果。
• 同伴回报估计优势：该机制不依赖独立的价值网络来估计优势函数（Advantage Function），而是直接从“同伴”（即同一时间步其他并行轨迹中的动作）的回报中估算优势。这种方法简化了架构，降低了训练复杂度，同时提供了更稳定的梯度信号。

2. 多样性感知探索奖励（Diversity-Aware Exploration Reward）

为了鼓励模型发现多样化的答案，特别是那些难以获取的长尾实体，SPADER 设计了一种特殊的奖励函数：

• 加权罕见发现：对于模型发现的罕见或低频实体，给予更高的奖励权重，激励模型跳出舒适区。
• 惩罚冗余发现：对于重复发现或高频实体，降低奖励权重，避免模型在已知信息上过度消耗计算资源。

这种机制有效地解决了多答案问答中常见的“早熟收敛”问题，即模型过早地只返回少数几个高频答案而忽略了其他有效答案。

3. 实验验证

研究团队在四个基准数据集上对 SPADER 进行了评估：QAMPARI、Mintaka、WebQSP 和 QUEST。实验结果表明：

• 与基于提示（Prompting-based）的智能体相比，SPADER 在召回率（Recall）和整体 F1 分数上均有显著提升。
• 与结果监督强化学习（Outcome-supervised RL）方法相比，SPADER 表现更优，证明了步级信用分配的有效性。
• 与最近的步级监督方法相比，SPADER 依然保持了竞争力，特别是在处理复杂的多答案查询时。

关键要点

• 问题定义：SPADER 针对的是**多答案问答（Multi-Answer QA）**场景，旨在从复杂查询中挖掘全面的答案集合，而非单一答案。
• 核心架构：这是一个基于强化学习的框架，专门优化长视野下的工具使用推理。
• 技术创新一（SPA）：提出步级同伴优势（Step-wise Peer Advantage），这是一种无批评家模型的机制，通过并行轨迹的对齐和同伴回报比较来实现细粒度的步级信用分配。
• 技术创新二（奖励函数）：引入多样性感知探索奖励，通过上调罕见实体的权重、下调冗余实体的权重，促进对长尾实体的发现。
• 性能优势：在 QAMPARI、Mintaka、WebQSP 和 QUEST 数据集上，SPADER 在召回率和 F1 分数上均优于基于提示的方法、结果监督 RL 方法以及步级监督方法。
• 开源资源：代码和模型权重已公开，便于社区复现和进一步研究。

意义与影响

SPADER 的提出标志着 LLM 智能体在复杂信息检索和推理任务上的重要进步。

1. 突破单答案范式：它证明了强化学习可以有效解决多答案场景下的信用分配难题，为处理更复杂的、非确定性的查询提供了新的思路。
2. 简化 RL 架构：通过消除对批评家模型（Critic）的依赖，SPADER 展示了在长视野任务中，利用并行轨迹进行自我评估的可行性，这有助于降低训练成本并提高稳定性。
3. 促进知识发现的全面性：多样性感知奖励机制鼓励模型探索长尾知识，这对于构建更全面、更公平的知识检索系统具有重要意义，有助于减少算法偏见并提高信息获取的覆盖率。
4. 推动工具使用智能体的发展：随着 LLM 越来越多地作为工具使用智能体部署，SPADER 提供的框架为优化这些智能体的长期规划和探索策略提供了宝贵的参考。