Cost-Pragmatic Quality Gating and Selection-Fusion Multi-Model Combiners for BioASQ Phases A+ and B

背景

BioASQ（BioMedical Question Answering）是生物医学领域最具影响力的问答评估任务之一，涵盖 Phase A（检索）与 Phase B（回答）两个阶段。Task 14B 2026 延续了该系列的挑战，要求系统同时处理面向大规模医学文献的精确检索和基于大语言模型（LLM）的答案生成。实际应用中，检索阶段（Phase A+）的弱召回会直接导致答案质量下降，而多模型集成（即使用多个 LLM 回答同一问题）虽能提升鲁棒性，但如何低成本地融合或选择最佳回答仍是开放难题。本文提出的系统聚焦于两个关键设计点：何时应主动进行代价感知的二次检索，以及如何结构性地拆解多模型集成的收益，进而针对性选择与融合。

核心内容

本系统对应 BioASQ Task 14B 2026 的完整 pipeline，核心由两大模块构成。

1. 代价-实用导向的质量门控与选择性重检索（Phase A+）

检索部分并行运行两条管道：

• 混合第一阶段检索：结合密集检索（BGE 嵌入模型）、稀疏检索（BM25）以及交互式排名融合（RRF）。在 BioASQ-13b 历史存档上，该方法达到了 R@200 = 99.3% 的极高召回率。
• Agent 驱动的分解检索：将原始问题通过 agent 分解后，分别查询 PubMed、Europe PMC 和 iCite 三个独立生物医学数据库。

重检索的触发由一层 BGE 交叉编码器质量门控 控制：该门控评估第一阶段检索所得的文档集对问题的支撑程度，仅当支撑结果弱（即门控“标记”为弱支撑）时，才触发代价更高的二次检索（即启动 agent 管道）。这种设计直接控制重检索的代价预算。

在 Task 12B 2024 验证集 上，该 cost-pragmatic（代价-实用）重检索策略 相比于一种严格的“技能优先”基线（skill-strict baseline），在 list F1 和 list precision 上均显著提升，同时重检索成本降低了 12%。

进一步的验证：当控制 prompt 和模型在 val（12B 验证集）和 test（13B 测试集）完全一致时，模型在 BioASQ 官方提供的黄金输入池（gold-input pool）上，list F1 绝对值提升 +0.132，这被作者解读为 检索侧存在显著的提升空间（substantial retrieval-side headroom）。

2. 多模型组合的 Selection-Fusion 分解（Phase B）

针对 Phase B 的多模型集成（即使用多个 LLM 回答同一问题），作者提出将传统的“集成提升”分解为两个可独立优化的组件：

• Selection 组件：对应“从多个模型中选出一个最佳答案”的能力，其上限由**每问题先知（per-question oracle）**给出（即已知哪个模型在该问题上表现最好）。Selection 得分反映了集合内最优单模型的选择正确性。
• Fusion 组件：对应“将多个模型的答案融合为一个更优答案”的能力，该组件可以超越每问题先知的上界（因为融合可以综合不同模型的优势）。

该分解方法在实验前即做出了可验证的预测：

• Selection 主导的指标（如 yes/no 问答、基于多参考的 ROUGE 分数）上，LLM-as-judge（用一个 LLM 去评判并选择）将获胜。
• Fusion 偏好的指标（如 factoid 的 rank-1 准确率、list recall）的召回部分，纯靠 selection 的结构性不足——LLM-as-judge 无法提升召回，因为选择只能选已有答案，而融合可以扩充候选集。

在 Task 13B 2025 的实际评测中：

• 本文提出的**同义词联合解析器（synonym-union resolver）**在每个头（head）的 list recall 上均取得领先。该解析器通过同义词扩充的方式合并多个模型答案，从而提升召回。
• 但 GPT-5.5 单独模型（GPT-5.5 solo） 在 list F1 上保持领先，因为同义词解析器更宽的候选集会引入噪声，拉低 precision。

在 Task 14B 2026 初步排行榜 中：

• 团队在 8 个（阶段 × 批次）排行榜中的 3 个 上取得 combined-exact aggregate（组合-精确聚合）第一名。
• 在 4 个独立问题类型单元格 中获胜。
• 在 Phase B batch 3 ideal 排名第一。

关键要点

• 代价感知重检索策略：用 BGE 交叉编码器作为质量门控，仅在弱支撑时触发 agent 管道重检索，在 Task 12B 上成本降低 12% 同时提升 list F1。
• 检索侧提升空间验证：固定模型和 prompt 后，list F1 提升 +0.132 绝对值，证明检索可极大优化下游答案质量。
• Selection-Fusion 分解框架：将多模型集成提升拆解为 selection（上限为先知）和 fusion（可超先知）两个组件，并预测了 LLM-as-judge 在 selection 指标上的优势和在 fusion 指标召回维度的不足。
• 同义词联合解析器 vs 单模型：在 list recall 上通过解析器获胜，但 precision 受损导致 list F1 不如最强单模型 GPT-5.5，体现了 recall-precision 的权衡。
• 实际评测成绩：在 Task 14B 2026 初步排行榜上，团队在 3 个（阶段 × 批次）排行榜上取得 combined-exact aggregate 第一，并在 Phase B batch 3 ideal 排名第一。

意义与影响

本文对生物医学问答系统做出了两项即实用又有理论深度的贡献。

第一，代价-实用重检索策略直接回应了大规模检索系统的高成本问题——不是所有问题都需要穷尽所有数据库，通过轻量级质量门控（BGE cross-encoder）可以在保持甚至提升精度的同时显著降低二次检索成本。这一思路对于任何依赖多数据库、多步检索的领域（如法律、科学文献综述）都具有借鉴价值。

第二，Selection-Fusion 分解提供了一种先验理论工具：在投入大量计算资源进行多模型集成之前，可以预测哪些指标适合用 LLM-as-judge 选择，哪些指标需要设计专门的融合策略（如同义词扩展或排序器）。该框架也解释了为何在许多榜单中“最佳单模型”往往在 F1 上超过复杂的集成系统——因为集成系统若不特意优化 precision，单纯扩展召回会伤害 F1。这一洞察有助于研究者在 2026 年后的大模型应用（例如 GPT-5.5 这类强基座模型）中更理性地选择集成策略。

此外，在 Task 14B 2026 排行榜中的多项第一，验证了该工作所提出的设计原则在最新评测上依然有效，并显示出“检索-回答联合优化”相比于单纯提升模型规模仍是一条极具潜力的路线。