超越单语深度研究：利用跨语言 BrowseComp-Plus 评估智能体与检索器

背景

随着大型语言模型（LLMs）能力的提升，基于智能体（Agents）的“深度研究”（Deep Research）系统正逐渐成为信息检索和问答领域的焦点。这类系统不仅需要具备搜索证据的能力，还需要对检索到的来源进行推理，并最终生成有据可依的答案。

然而，现有的浏览基准测试（Browsing Benchmarks，如 BrowseComp 系列）大多基于一个核心假设：用户的查询（Query）与支持证据（Supporting Evidence）使用的是同一种语言。这种单语设定虽然简化了评估环境，却忽略了一个在现实世界多语言互联网中至关重要的场景——当相关证据以另一种语言呈现时，智能体搜索系统是否依然能够有效运作？

为了填补这一空白，研究人员引入了 XBCP (Cross-lingual BrowseComp-Plus)，这是一个受控的基准测试集，旨在评估智能体在跨语言环境下的表现。

核心内容

XBCP 基准测试的设计

XBCP 是在 BrowseComp-Plus 的基础上构建的。BrowseComp-Plus 本身是一个旨在评估复杂推理和检索能力的基准，其原始版本主要关注英语环境下的问答。XBCP 保留了 BrowseComp-Plus 的英语问题-答案空间，但改变了支持文档的语言分布，从而创造出两个互补的实验设置：

1. 跨语言设置（Cross-lingual Setting）： 在此设置中，每个英语查询都配有一组特定语言的证据。也就是说，用户用英语提问，但所有相关的支持文档都被翻译成同一种非英语语言。这模拟了用户在单一外语环境中寻找信息的情景。

2. 多语言设置（Multilingual Setting）： 在此设置中，完整的证据语料库被平均且随机地分布在 12 种语言中。这 12 种语言涵盖了高资源语言（如英语、中文、西班牙语等）和低资源语言（如斯瓦希里语、孟加拉语等）。这种设置更贴近真实的互联网环境，即证据分散在各种语言中，且资源丰富度不均。

评估方法与指标

研究团队对四种主流的“深度研究”智能体进行了评估，并结合了稀疏（Sparse）和密集（Dense）两种类型的多语言检索器。评估维度非常全面，包括：

• 答案准确率（Answer Accuracy）：最终生成的答案是否正确。
• 证据召回率（Evidence Recall）：系统是否成功找到了所有必要的支持证据。
• 搜索行为（Search Behavior）：智能体的搜索策略和效率。
• 校准度（Calibration）：智能体对自身答案确定性的评估是否准确（即是否“知道自己是知道的”）。
• 引用保真度（Citation Fidelity）：智能体引用的来源是否真实存在且与答案内容匹配。
• Oracle Retrieval（神谕检索）：在已知正确答案的情况下，检索器能否找到相关证据，用于隔离检索器本身的问题与智能体推理的问题。

主要发现

实验结果揭示了跨语言深度研究面临的严峻挑战：

1. 证据翻译导致性能显著下降： 当证据从英语翻译为其他语言时，智能体的整体表现出现大幅退化。

2. 检索器的局限性： 即使是性能强大的密集检索器（Dense Retrievers），在跨语言场景下也会丢失大量的证据召回率。这意味着现有的多语言嵌入模型在捕捉跨语言语义匹配方面仍有不足。

3. 智能体的独立困难： 更令人担忧的是，即使研究人员通过“神谕检索”直接将所有黄金标准证据（Gold Evidence）提供给智能体，其准确率依然低于单语场景。这表明，除了检索失败外，智能体本身存在一个独立的、与语言不匹配相关的困难。也就是说，即使智能体“看”到了证据，它在整合和理解语言不匹配的证据时，推理能力也受到了影响。

4. 校准度与引用可靠性降低： 在跨语言设置下，智能体变得更加“不校准”，即它们对自己答案的置信度评估变得不可靠，并且引用证据的可靠性也显著下降。

关键要点

• 现有基准的局限性：当前的浏览基准测试主要假设查询和证据语言一致，无法真实反映多语言互联网环境下的检索挑战。
• XBCP 的创新性：XBCP 通过保留英语问答空间并改变证据语言，提供了两个关键设置：单一外语证据（跨语言）和混合12种语言证据（多语言），覆盖了从高资源到低资源的语言场景。
• 检索与推理的双重瓶颈：跨语言深度研究的性能下降不仅源于检索器找不到证据（召回率降低），更源于智能体在处理语言不匹配证据时的推理困难（即使证据直达，准确率仍低）。
• 多语言检索器的不足：即使是先进的密集多语言检索器，在跨语言任务中也表现出明显的证据召回率损失，尤其是在涉及低资源语言时。
• 可信度危机：跨语言场景导致智能体的校准度（Calibration）和引用保真度（Citation Fidelity）下降，这意味着系统生成的答案不仅可能错误，而且其自我评估和来源引用的可靠性也大打折扣。

意义与影响

这项研究对开发下一代多语言 AI 智能体具有重要的指导意义：

1. 揭示“黑盒”中的推理缺陷： 以往的研究往往将跨语言性能下降归咎于翻译质量或检索失败。XBCP 的结果证明，智能体在整合语言不匹配的证据时存在固有的认知或架构缺陷。这提示开发者，仅优化检索器（Retriever）不足以解决跨语言问题，必须改进智能体（Agent）的推理模块，使其能够更好地处理多模态或多语言的输入对齐。

2. 推动多语言嵌入技术的发展： 密集检索器在跨语言任务中的召回率损失，表明当前的多语言向量表示空间尚未完全对齐。这为 NLP 社区指明了改进方向：需要开发更鲁棒的多语言嵌入模型，特别是针对低资源语言，以提高跨语言语义匹配的精度。

3. 提升 AI 系统的可信度与安全性： 校准度和引用保真度的下降意味着现有的深度研究智能体在跨语言场景下更容易产生“幻觉”或提供无法验证的来源。对于依赖 AI 进行事实核查、学术研究或新闻调查等高信任度场景的应用来说，这是一个严重的安全隐患。未来的系统需要引入更强的验证机制，以确保跨语言输出的一致性。

4. 为真实世界应用提供基准： 随着全球化协作的深入，用户查询和数据来源的语言差异将成为常态。XBCP 提供了一个标准化的评估框架，帮助研究者和工程师量化系统在真实多语言环境下的性能，从而推动更实用的多语言 AI 产品的落地。

总之，XBCP 不仅是一个新的基准测试，更是一次对当前 AI 智能体在多语言环境下能力的深刻体检。它表明，要实现真正的“全球智能”，我们必须在检索和推理两个层面同时突破语言壁垒。