Healthier LLMs: Retrieval-Augmented Generation for Public Health Question Answering

背景

大型语言模型（LLM）在医疗问答基准测试中已展现出令人鼓舞的成绩，但在公共卫生场景下的实际应用却面临两大障碍：模型容易产生幻觉（hallucination），以及官方指南更新频繁、时效性强。Retrieval-Augmented Generation（RAG）通过将回答锚定在显式维护的语料库中，能够有效缓解这些问题。然而，RAG 的端到端性能高度依赖于检索配置和评估方式，尤其是现有研究大多仅采用多选题形式，未充分考察自由形式问答的真实表现。

核心内容

该研究将 PubHealthBench——一个基于英国政府公共卫生指南构建的、包含 7,929 道题目的问答（QA）基准——扩展为检索增强设定，并对检索和生成环节进行了系统评估。具体工作包括：

1. 检索方法比较：在多种 embedding 模型和语料库变体上，对比了稠密检索（dense）、稀疏检索（sparse）和混合检索（hybrid）。结果显示，混合检索在召回率和排序质量上持续优于单一策略，且 chunk length（段落长度）与 topic（主题）会与排序性能产生交互作用。
2. 生成阶段实验：为多组不同的 LLM 提供检索上下文后，多选题准确率显著提升。即使使用较小规模的开放权重模型，只要搭配高质量的检索和仔细的上下文选择，就能匹配甚至超越不借助检索的大型模型。
3. 自由形式回答评估：为了更贴近实际应用，作者提出了一种基于评分规则（rubric）的 LLM-as-a-judge 评估方法，从忠实度（faithfulness）、完整性（completeness）、清晰度（clarity）和事实一致性（factual consistency）四个维度打分，并利用双重人工标注进行验证。结果发现，judge 与人工的一致性在忠实度和完整性上最强，而事实一致性和清晰度则较难可靠复现，提示在大规模自动评估时应谨慎解读这两个维度。

关键要点

• 混合检索（hybrid retrieval）在公共卫生 RAG 系统中始终优于纯稠密或纯稀疏检索，召回率和排序质量均有提升。
• chunk length 和 topic 的选择会影响检索排序效果，实际部署时需根据语料特点调优。
• 提供检索上下文可大幅提升 LLM 的多选题准确率，并能帮助小模型弥补与大模型之间的差距，关键在于检索质量与上下文筛选。
• 使用 LLM-as-a-judge 评估自由形式回答时，忠实度和完整性的自动评分较可靠，但事实一致性和清晰度的评分与人工标注偏差较大，需要人工抽检或更精细的评分规则。
• 整体而言，检索是构建可靠公共卫生问答系统的首要杠杆，官方指南作为语料源是保证回答准确性的基础。

意义与影响

该研究为公共健康领域部署 RAG 提供了系统的实验证据和实用指导。实践者可以据此优先投入资源优化检索组件（如选择混合检索、调优 chunk length），而非盲目追求大模型参数规模。通过引入更全面的评估维度（忠实、完整、清晰、一致），论文推动了 RAG 评估从简单多选题走向更具挑战性的自由形式评判，同时揭示了自动评估的局限性——特别是在事实一致性和清晰度上，为未来设计更好的评估协议指明了方向。此外，PubHealthBench 的检索增强版和基于官方指南的方法论，可直接迁移到其他需要实时、可靠回答的领域（如法律、政策咨询）。