MamaBench反事实基准测试揭示LLM母婴诊断鲁棒性不足

背景

大型语言模型在医学基准测试中取得了高分，但现有基准通常孤立地评估每个问题，无法衡量模型能否区分临床表现相似但需要不同干预措施的情况。在母婴健康领域，诊断的细微差别尤为关键——例如，产后出血与胎盘残留的早期表现可能高度重叠，但治疗方案截然不同。缺乏针对这种“反事实”场景的评估，导致模型在真实临床环境中的鲁棒性被高估。为此，来自 arXiv 的研究团队提出了 MamaBench，这是首个专门针对母婴健康 AI 的反事实基准测试，旨在系统性地揭示模型在面对临床扰动时的脆弱性。

核心内容

MamaBench 由 434 个专家撰写的临床叙事组成，形成 217 个配对案例，覆盖 371 种病理。每个配对包含一个“基础案例”（base case）和一个“反事实案例”（counterfactual case），后者通过对基础案例进行临床意义明确的扰动得到（例如改变症状发生时间、合并症或用药史），使得两个案例虽临床表现相似但诊断或干预方案不同。评估指标为偏差陷阱率（Bias Trap Rate, BTR），即模型在基础案例上回答正确时，在对应的反事实案例上却回答错误的条件概率。BTR 越高，说明模型越容易受到表面相似性的误导，缺乏真正的诊断鲁棒性。

为了应对这一挑战，论文提出证据锚定检索增强生成（Evidence-Anchored RAG, EA-RAG），一种三阶段检索方法：

1. 临床参数提取：从查询中提取结构化的临床关键参数（如症状、体征、检查结果、孕周等）；
2. 覆盖审核：基于提取的参数，评估现有检索结果对关键证据的覆盖情况，识别缺失的临床证据；
3. 对比性子查询：针对覆盖不足的证据，生成对比性子查询，定向补充检索相关文档。

EA-RAG 将传统聚合相似度检索替换为以证据覆盖率为目标的检索策略，确保模型在回答问题前获得足够且精准的临床上下文。

实验在四个前沿大模型（Claude Sonnet 4.6、GPT-4o、Gemini 2.5、Llama 4）的八种配置上进行。结果显示：所有模型的基础准确率（base accuracy）都显著高于鲁棒准确率（robust accuracy，即同时正确回答基础案例和反事实案例的比例），差距达 16–28 个百分点。例如，在 Claude Sonnet 4.6 上，基础准确率约为 85%，但鲁棒准确率仅为 65% 左右。使用 EA-RAG 后，Claude Sonnet 4.6 的 BTR 降至 20.3%，鲁棒准确率提升至 65.0%，相比基线方法 BTR 降低了 5.5 个百分点，且未降低基础准确率。然而，残余的 20% BTR 表明，在临床 AI 中实现反事实鲁棒性仍是一个未解决的开放挑战。

关键要点

• 首个母婴健康反事实基准：MamaBench 包含 434 个临床叙事（217 对），覆盖 371 种病理，由专家精心设计，确保反事实扰动具有临床意义。
• 偏差陷阱率（BTR）：作为核心评估指标，BTR 测量模型在基础案例正确时被反事实案例误导的概率，直接反映模型对临床细微差别的辨别能力。
• 基础准确率与鲁棒准确率的巨大差距：所有前沿模型的基础准确率都比鲁棒准确率高 16–28 个百分点，说明现有基准严重高估了模型的实际诊断能力。
• EA-RAG 方法：通过临床参数提取、覆盖审核和对比性子查询三个阶段，将检索目标从“相似性”转为“证据覆盖率”，显著提升反事实鲁棒性。
• EA-RAG 效果：在 Claude Sonnet 4.6 上，BTR 从约 25.8% 降至 20.3%，鲁棒准确率从约 59.5% 提升至 65.0%，且不牺牲基础准确率。
• 残余挑战：即使使用 EA-RAG，仍有约 20% 的 BTR，说明当前大模型在理解临床反事实场景方面存在根本性局限，需要更深入的结构化推理能力。

意义与影响

MamaBench 的提出填补了医疗 AI 评估中的一个关键空白：从“单点正确率”转向“反事实鲁棒性”。在真实临床实践中，医生需要具备区分相似病例的能力，这一能力正是当前 LLM 所欠缺的。BTR 指标为开发者提供了一个清晰的改进方向，而 EA-RAG 方法则为提升诊断鲁棒性提供了可落地的技术路径。

该工作对医疗 AI 的安全部署具有直接警示作用：仅仅在标准基准上取得高分，并不代表模型在临床中可靠。对于母婴健康这类高风险领域，任何误导性诊断都可能造成严重后果。MamaBench 的公开数据与评估框架（代码已关联至 arXiv 页面）可帮助研究者和企业系统性地测试和改进模型，推动临床 AI 从“论文指标”走向“真实可信”。同时，论文指明残余 20% BTR 的存在，意味着需要在模型架构、训练策略或推理机制上做出更根本性的变革，而不仅仅是依赖检索增强。