搜索API准确率相同但证据经济悬殊

背景

随着大语言模型（LLM）驱动的智能体（Agent）越来越多地依赖外部工具完成复杂任务，搜索 API 成为其最常调用的基础检索层。传统搜索 API 返回 URL、标题和片段（snippet），这些片段是对网页内容的预览。由于完整页面检索的 token 成本高昂，现代智能体检索架构普遍采用渐进式披露（progressive disclosure）：智能体首先看到片段，然后自主决定是否获取完整页面。在这种系统中，搜索 API 的性能通常主要依据答案准确率来评估。然而，作者认为，商业搜索 API 更应该被理解为一个“决策表面”（decision surface）——由排序后的片段、URL 和元数据组成的界面，这些元素决定了智能体是立即给出答案、重新搜索，还是消耗 token 打开页面。这一视角将评估从简单的召回率问题，扩展为预算与策略问题。

核心内容

这篇论文（arXiv cs.CL, 2026 年 7 月 11 日提交）通过受控实验验证上述观点。研究使用一个固定的 GPT-5.4 智能体，配备两个工具（search_web 和 fetch_page），并在 SEALQA-HARD 数据集的 100 个问题上进行测试。唯一变化的是搜索提供商：Brave、Tavily、Firecrawl。一个 Kimi-K2.6 oracle 对智能体可看到的每个内容元素（URL、标题、片段，以及在智能体选择获取时的页面内容）进行标注，共生成 6,869 条有效的逐 URL 判断。

实验采用经过审计的正确答案标签“语义匹配”（semantic match），该指标保留精确匹配，同时允许无害的格式和命名变体。在此指标下，三个提供商的准确率非常接近（分别为 25、25、26 / 100）。然而，它们的“证据经济”（evidence economy）差异显著：

• Brave 提供的片段中富含黄金答案（gold-answer-rich snippets），即片段本身已包含问题所需的关键信息。
• Tavily 将包含黄金答案的 URL 高度集中在排名第 1 位。
• Firecrawl 在该固定智能体策略下，倾向于促使智能体进行更广泛的探索（broader exploration）。

此外，论文引入了一个新指标：表面矛盾-黄金 URL 比率（surface contradiction-to-gold URL ratio），该比率在不同提供商之间从 0.92 到 2.59 不等，反映了搜索 API 返回结果中误导性或无关信息的比例差异。

作者由此得出结论：选择搜索提供商不仅仅是召回率决策，更是检索预算和策略决策。搜索 API 的表现不能仅用最终答案准确率衡量，还需考虑其如何塑造智能体在决策表面的行为轨迹。

关键要点

• 搜索 API 应被视为决策表面：智能体根据片段、URL 和元数据决定下一步行动，而非仅仅检索相关文档。
• 准确率相近 ≠ 证据经济相同：三个提供商在 SEALQA-HARD 上的准确率仅差 1 分（25–26/100），但它们的证据分布和行为诱导模式截然不同。
• 不同提供商的证据策略差异：
  • Brave：片段本身已包含大量黄金答案，减少了对获取完整页面的需求。
  • Tavily：黄金答案几乎全部出现在排名第一的 URL 中，使智能体可快速收敛。
  • Firecrawl：促使智能体进行更多探索（即多次搜索或获取页面），消耗更多 token。
• 引入新指标：表面矛盾-黄金 URL 比率：该比率（0.92~2.59）衡量了搜索 API 返回结果中与正确答案矛盾或无关的内容比例，有助于量化决策表面的“噪声水平”。
• 提供商选择影响 token 预算与智能体行为：开发者不仅应关注最终准确率，还需考虑搜索 API 对智能体搜索次数、页面获取概率和 token 消耗的影响。

意义与影响

• 评估范式的转变：传统上，搜索 API 的评估聚焦于召回率或排名指标（如 NDCG、MAP）。本研究提出，在智能体系统中，API 的表现应通过其作为“决策表面”的质量来评估，包括片段信息密度、黄金答案分布和误导性内容比例。
• 智能体设计启示：当构建工具使用智能体时，选择搜索提供商需要权衡准确率与检索成本。例如，Brave 可能更适合需要快速获取 snippet 信息的场景，而 Tavily 适合依赖 top-1 结果的任务，Firecrawl 则适用于需要广撒网探索的复杂查询。
• 推动新评估指标的建立：表面矛盾-黄金 URL 比率等指标有助于量化搜索 API 对智能体行为的影响，未来可纳入智能体系统的基准测试套件。
• 对搜索 API 提供商的启示：服务商不仅需要提高检索结果的准确率，还应优化片段质量、减少误导性内容，并考虑如何使智能体以更低 token 成本获得正确证据。
• 局限与展望：当前实验仅使用一个固定智能体（GPT-5.4）、一个 oracle（Kimi-K2.6）和 100 个问题，未来需扩展至更多智能体、模型和数据集，以验证结论的普适性。此外，不同搜索 API 的定价和速率限制也将在实际部署中影响选择。