临床RAG模型存在“欺骗性归因”漏洞，误将其他药物证据当作查询结果

背景

大型语言模型（LLM）驱动的检索增强生成（RAG）系统在临床领域被广泛用于回答药物相关问题，其核心流程是：从外部知识库检索相关文档，然后基于这些文档生成回答。当前的评估体系主要检查模型生成的内容是否“事实性基于”检索到的文档——即是否存在幻觉、是否忠实于原文、是否提供了真实可验证的引用。然而，这套标准遗漏了一个关键维度：检索到的证据是否真正归属于正确的实体。

例如，当用户查询“药物X的疗效”时，RAG系统可能检索到关于药物Y的文献，并据此生成回答。由于回答中的所有陈述都确实来自某篇真实论文，且引用真实存在，因此会通过所有现有自动化检查（零幻觉、高忠实度、真实引用）。但这种回答实质上是将错误实体的证据“嫁接”到了查询实体上，属于一种隐蔽的归因失败。论文将这种现象称为 Deceptive Grounding（欺骗性归因，DG）。

核心内容

论文《Deceptive Grounding: Entity Attribution Failure in Clinical Retrieval-Augmented Generation》来自arXiv cs.CL（提交日期：2026年7月10日），首次系统定义了临床RAG中的实体归因失败问题，并提供了量化分析、机制解释和检测方案。

问题定义

欺骗性归因（DG）是指：RAG系统在回答中声称的每个事实都来自真实检索文档，且文档引用有效，但这些文档实际讨论的是另一个实体（例如不同药物、不同疾病）。这种失败对现有的忠实度检查、幻觉检测和引用验证完全不可见，因为所有输出在表面语义和引用层面都是“正确”的。

研究方法与关键发现

1. 受控因子基准实验
   论文构建了一个包含13个模型的受控基准，在对抗性条件下（刻意构造检索文档中混入相似实体的证据）测试DG发生率。结果发现：

   • DG率在8%–87%之间波动，取决于模型和对抗强度。
   • 医学和生物医学领域微调模型（如专门针对临床数据训练的模型）的DG率最高可达 86.7%。
   • 领域专业化不但没有缓解问题，反而显著放大了归因失败——因为微调模型对医学文献的“忠实度”更高，更容易接受来自相似实体的证据而不加质疑。

2. 机制消融实验
   通过控制变量，论文揭示了DG的核心触发机制：

   • 当检索文档中包含与查询实体相似但不同的实体（如药物X vs. 药物Y）的临床证据时，模型倾向于直接使用这些证据，产生DG。
   • 移除检索文档中所有与查询实体无关的实体特异性证据后，DG完全消失，所有失败模式转化为传统的“妄想（confabulation）”（即模型凭空捏造内容）。
   • 结论：DG和妄想两种失败模式共享同一个触发条件（缺乏正确的实体特异性证据），但走了不同的失败路径——DG利用真实文献“包装”错误实体，妄想则直接编造。

3. 产线实测（Production Measurement）
   在真实的临床RAG部署系统中，对740个药物-疾病对进行测量：

   • 总体DG率为 7.8%。
   • 对于近期获批的新药（缺乏足够临床文献覆盖），DG率上升至 13.6%。
   • 这表明数据稀缺性加剧了实体归因失败风险。

4. 检测方法
   论文提出了一种简单而有效的检测策略：实体归因验证——检查引用证据是否真正适用于查询实体（例如，检查证据中提及的药物名称与查询药物是否一致）。该方法在IPW调整的人工黄金标准下：

   • 精确率：97.0%
   • 召回率（DG召回）：98.7%
   • 现有任何评估框架均未实现这一检查。

关键要点

• 现存评估体系的盲区：RAG评估（忠实度、幻觉、引用检查）只保证“事实来自某文献”，不保证“事实属于正确的实体”。欺骗性归因是所有自动化指标的漏洞。
• 领域专业化放大风险：医学/生物医学微调模型反而更容易产生DG（最高86.7%），因为模型更“信任”医学文献，倾向将任何真实文献中的证据当作查询实体的证据。
• 两种失败同源但殊途：DG和妄想都因缺乏实体特异性证据而触发。当检索文档中有错误实体的真实证据时，模型走DG路径；当无任何相关证据时，模型走妄想路径。
• 真实系统风险高：实测7.8%的DG率（新药13.6%）意味着每13个药物回答中就可能有一个在引用错误实体的文献，对临床决策构成严重误导。
• 简单验证即可显著提升安全性：实体归因验证（检查引用中实体名称是否匹配）能以接近99%的召回率检测DG，且实现成本极低，但现有框架均未采用。

意义与影响

这项研究揭示了临床RAG系统中一个此前未被察觉的“伪装型”失败模式，其影响远超学术范畴：

1. 对RAG评估范式的冲击：当前主流的“忠实度+幻觉+引用”三重检查不再足够。论文呼吁将“实体归因验证”纳入RAG评估流水线，作为标准组件。
2. 对临床AI安全的警示：医疗领域对LLM/RAG的信任建立在“引用真实文献”这一承诺上。欺骗性归因意味着系统可能在不产生任何显性错误的情况下，系统地提供错误实体的证据，导致医生或患者基于错误文献做出决策。特别是对于新药（文献稀缺），风险更高。
3. 对模型设计方向的启示：领域微调不能自动提升归因能力，反而可能因为模型对专业文献的“盲目信任”而加剧DG。未来需要设计能够主动进行实体一致性检查的机制，例如在生成前验证检索文档中提及的实体是否与查询匹配。
4. 简单有效、可落地的解决方案：实体归因验证（97%精确率/98.7%召回率）可以在不增加模型复杂度的情况下大幅提升安全性。论文建议所有临床RAG系统应立即部署此检查，作为最低安全标准。
5. 泛化性讨论：虽然论文聚焦临床领域（药物-疾病配对），但欺骗性归因可能普遍存在于任何需要精细实体区分的RAG场景，如法律（不同条款引用）、金融（不同公司财报）等，为后续跨领域研究提供了框架。