BioASQ 14b：答案类型感知LLM流水线夺冠

背景

生物医学问答（Biomedical Question Answering）是一项极具挑战性的任务：系统不仅需要从海量科学文献中准确提取信息，还必须可靠地将多个文档中的证据整合起来，以支持最终答案。BioASQ 是生物医学领域最权威的评测基准之一，其 Task B 聚焦于基于 PubMed 摘要的问答。以往的工作多采用统一的提示策略（single prompting strategy）处理所有类型的问题，但不同类型的问题——如是非题（yes/no）、事实性实体题（factoid）和列表题（list）——在推理逻辑和评估标准上存在本质差异。为此，本研究提出了一种面向问题类型的 LLM 管道框架，专门用于 BioASQ 14b Task B，旨在提升答案的鲁棒性和证据溯源能力。

核心内容

本研究框架的核心思想是：根据问题类型选择不同的推理流程，而不是对所有问题使用相同的提示策略。

• 对于是非题（yes/no questions）：采用片段洗牌（snippet shuffling）和自反思（self-reflection）技术。片段洗牌随机打乱输入证据片段的顺序，以降低模型对证据排列顺序的敏感性；自反思则让模型在输出最终答案前进行自我校验，从而提高决策的稳定性。这一设计有效缓解了 LLM 在是非判断时易受上下文顺序干扰的问题。

• 对于事实性实体题（factoid questions）：采用完整片段输入（full-snippet input）结合基于思维链的上下文学习（chain-of-thought-based in-context learning）。完整片段输入确保模型能访问全部相关证据，而链式推理则引导模型逐步识别和确认正确的生物医学实体（如基因、疾病、药物名称等）。这种组合提升了实体识别的准确度。

• 对于列表题（list questions）：设计了一个多智能体架构（multi-agent architecture）。其中，智能体分别负责证据提取（evidence extraction）、候选生成（candidate generation）、答案验证（answer verification）和最终聚合（final aggregation）。多个智能体协同工作，先独立抽取候选列表，再相互验证，最后由聚合智能体输出最终答案。这种分工协作机制有效减少了单次推理可能带来的遗漏或错误。

整个框架的构建分为两个阶段：首先，利用 BioASQ 13b 的数据进行初步实验，为每种问题类型确定最有效的推理策略；然后，将优化后的框架投入官方 BioASQ 14b Task B 评测。在官方评估中，该框架在多个批次中展现了有竞争力的性能，并在第4批次的事实性实体子任务（factoid subtask）中取得了第一名。这些结果证明了结合问题类型特定推理、集成预测（ensemble prediction）和基于智能体的验证（agent-based verification）对于可靠生物医学问答的有效性。

关键要点

• 提出了一个问题类型感知的 LLM 管道框架，为 yes/no、factoid 和 list 三类问题分别设计推理流程，而非使用统一策略。
• 对于 yes/no 问题，通过片段洗牌 + 自反思降低对证据顺序的敏感性，提升决策稳定性。
• 对于 factoid 问题，采用完整片段输入 + 思维链上下文学习，强化生物医学实体识别的准确性。
• 对于 list 问题，引入了多智能体协作架构，将证据提取、候选生成、验证和聚合任务分配给不同智能体协同完成。
• 所有策略先在 BioASQ 13b 上进行了预实验筛选，最终框架在 BioASQ 14b Task B 官方评测中表现优异，并在第4批次的 factoid 子任务中夺得第一名。
• 该工作证明了问题类型定制化 + 集成预测 + 智能体验证的组合是提升生物医学问答可靠性的有效途径。

意义与影响

该研究在方法论上展示了精细化设计的重要性：不同问题类型需要不同的推理范式，单一通用策略难以兼顾所有场景。尤其是多智能体协作架构的引入，为列表题等需要枚举多个答案的问题提供了一种可扩展的解决方案，其验证-聚合机制可有效降低遗漏和误判。此外，该框架在 BioASQ 官方评测中的出色表现，说明其具有很强的实用价值和迁移潜力，可以直接应用于其他生物医学 QA 系统或扩展到更广泛的科学文献问答场景。未来，结合更大规模的 LLM 以及更细粒度的证据对齐技术，有望进一步提升该方法在复杂多文档推理任务中的表现。