反事实监督优化大模型搜索决策策略

背景

大语言模型（LLM）在知识密集型任务中常依赖内部参数化知识，但存在知识缺失或过时的问题。搜索增强语言模型（Search-augmented language models）通过引入外部检索来弥补这一局限，然而搜索并非总是有益的：模型可能对自己已能回答的问题仍发起搜索，或者在需要纠正、澄清甚至拒绝回答时，反而依赖有噪声的检索证据。因此，如何判断一个具体问题是否需要搜索，即搜索路由问题，成为提升模型任务成功率的关键。现有方法通常以固定策略或启发式规则决定是否搜索，缺乏针对实例级别的精细化决策指导。

核心内容

本文针对搜索增强语言模型，提出了一项实例级别的搜索路由问题：对于给定的问题，决定是否进行搜索，以改善任务成功与否（相对于不搜索的执行结果）。为了获得监督信号，作者比较了同一问题在无搜索（no-search）和强制搜索（forced-search）两种条件下的执行结果，并基于任务特定的成功标准，构建了一个 oracle 标签体系，包含三个类别：NO SEARCH（不需要搜索）、SEARCH（需要搜索）和 UNSOLVED（无法解决）。该 oracle 既作为评估准则，也作为学习信号。

利用这一 oracle，作者通过监督微调（SFT）和偏好优化（preference optimization）训练搜索路由策略。在 oracle 可判定的样本上，模型的搜索路由 macro-F1 指标得到显著提升：Gemma E2B 从 0.7082 提升至 0.8235，Qwen3.5-4B 从 0.7053 提升至 0.8365。进一步分析表明，学习到的策略能够减少模型特定的路由失败模式：Gemma 主要学会了不搜索的约束（即减少不必要的搜索），而 Qwen 则进一步减少了遗漏搜索的情况。剩余的 UNSOLVED 案例揭示了异构的瓶颈，涉及模型容量、检索预算、证据使用以及策略行为等多个方面。

关键要点

• 将搜索决策形式化为一个实例级别的路由问题，通过比较无搜索与强制搜索的输出来构建 oracle 监督信号（NO SEARCH / SEARCH / UNSOLVED）。
• 采用监督微调与偏好优化相结合的方法训练搜索路由策略，有效提升了 oracle 可判定样本上的 macro-F1。
• 实验在 Gemma E2B 和 Qwen3.5-4B 两个模型上进行，分别从 0.7082→0.8235 和 0.7053→0.8365。
• 不同模型表现出不同的路由学习偏好：Gemma 更倾向于抑制不必要的搜索，Qwen 则更擅长弥补遗漏搜索。
• 未解决的 UNSOLVED 案例揭示了多重瓶颈，包括模型自身能力、检索预算限制、证据利用效率以及策略行为偏差。

意义与影响

本文提出的反事实监督框架为搜索增强语言模型的搜索路由提供了系统性的解决方案。通过 oracle 标签的构建，将搜索决策从经验规则转向数据驱动的学习，显著提升了模型在需要搜索时主动搜索、不需要搜索时拒绝搜索的准确性。这一方法具有较强的通用性，可适用于不同模型和任务场景。此外，对剩余 UNSOLVED 案例的分析有助于指导未来在模型容量、检索机制和策略设计上的改进方向，推动搜索增强语言模型在可靠性上的进一步突破。