Think Big, Search Small: Where Capacity Matters in Hierarchical Search Agents?

背景

随着大型语言模型（LLM）在搜索场景中的广泛应用，基于 LLM 的搜索智能体（search agent）正越来越多地采用多智能体架构。在这种架构中，一个主智能体（main agent）将复杂问题分解为若干子查询，并分发给多个并行子智能体执行。然而，现有系统通常使用同一规模的单一模型来实例化所有角色——无论是负责拆解任务的“委派者”，还是负责检索与证据提取的“执行者”。这种“一刀切”的做法忽略了模型容量在不同角色间应该如何分配的问题。以往研究主要关注如何提升单一模型的整体能力，但尚未系统探究：在分层搜索智能体中，哪一角色对模型容量的变化最敏感？将更大或更小的模型部署到不同角色上，是否能带来更好的性能与效率权衡？

核心内容

本文作者将分层搜索系统的任务流程分解为三个角色：

• 委派角色（Delegation Role）：负责将原始问题拆解为若干子问题（子查询）；
• 执行角色（Execution Role）：负责针对每个子查询进行检索，并提取相关证据片段；
• 答案生成角色（Answer Generation Role）：负责整合所有证据并生成最终答案（本文将其固定为控制变量，以隔离委派和执行的影响）。

为了探究模型容量在不同角色上的影响，作者在五个多跳问答（multi-hop QA）基准数据集上进行了系统的容量扫描实验，逐步改变委派角色和执行角色所用模型的参数量。实验发现如下三点：

1. 角色分解优于单一智能体基线：将原有单一智能体（同一模型同时承担所有任务）拆分为不同角色后，即使模型规模相同，Exact Match（EM）得分也提升了 4.5 到 8.6 个百分点（跨越六种模型规模）。这说明任务分解本身就能带来显著收益。

2. 容量敏感性不对称：委派角色的规模缩放对性能影响巨大——将委派模型从 1.7B 参数扩展到 70B 参数，EM 提升了约 11 个百分点；而执行角色的规模缩放仅带来约 2.6 个百分点的提升。这表明任务分解能力（decomposition）是整体性能的瓶颈，而非检索或证据提取能力。

3. 高效执行者能推进帕累托前沿：作者通过质量过滤后的轨迹蒸馏（quality-filtered trajectory distillation）训练了一个 1.7B 参数的执行子智能体，该执行者在准确率上与前沿（frontier）子智能体相当，同时消耗的 token 数减少了 37%。这意味着在委派角色保持较大容量时，执行角色可以使用更小、更高效的模型，而不会牺牲准确率。

关键要点

• 分层搜索智能体的角色分解（委派 vs 执行 vs 答案生成）比单一智能体架构在 Exact Match 上提升 4.5–8.6 个百分点。
• 委派角色（任务分解）是性能瓶颈：扩大委派模型容量可带来约 11 个点的 EM 提升，而扩大执行模型容量仅带来约 2.6 个点的提升。
• 通过质量过滤轨迹蒸馏训练出的 1.7B 参数执行子智能体，在准确率上与前沿模型相当，但 token 消耗减少 37%。
• 建议的工程配方：将更多容量集中在委派角色上，执行角色可使用较小的模型，以实现性能与效率的最优权衡。
• 实验在五个多跳问答基准数据集上进行，覆盖多种模型规模（1.7B 到 70B）。

意义与影响

该研究为多智能体 LLM 系统的容量分配提供了首个系统性实证证据，揭示了“角色不对称性”这一关键发现。其直接意义在于：过去开发者往往倾向于为所有子智能体部署相同规模的模型（例如全部使用 GPT-4 或全部使用 Llama-7B），而本文表明，将计算资源集中到“分解”任务上，同时用更小、更高效的模型执行检索与证据提取，可以在不牺牲准确率的前提下大幅降低推理成本。这对于构建实际可部署的搜索智能体（如企业知识库问答、多跳文档检索系统）具有重要指导价值——它意味着在资源受限的场景下，团队可以优先优化委派模块，而无需为每个子模块都配备大模型。

此外，轨迹蒸馏方法证明了通过合成数据训练小模型替代大模型执行子任务的可能性，为未来更高效的智能体蒸馏技术提供了方向。从研究角度看，该工作也提醒社区：在分层多智能体系统中，不同角色的能力需求差异巨大，统一缩放模型容量是一种低效做法。后续研究可以进一步探索委派角色的具体能力瓶颈（如何时需要多步推理？何时需要外部知识？），并设计更精细的容量分配策略。