MedGuards：基于多智能体系统的可靠医疗错误检测与纠正

背景

随着大型语言模型（LLMs）在医疗领域的部署日益广泛，确保生成文本或现有文本中的错误检测与纠正的准确性变得至关重要。在医疗场景中，即使是微小的错误也可能对患者安全构成严重风险。

然而，现有的错误检测与纠正方法（包括自动化检查和基于启发式的方法）在面对未见过的数据集时，泛化能力往往不佳。这种局限性阻碍了 LLM 在高风险医疗环境中的可靠应用。因此，业界急需一种能够适应不同数据分布、具备高鲁棒性且无需对基础模型进行额外训练的错误处理框架。

核心内容

本文提出了 MedGuards，这是一个作为医疗安全护栏（medical safety guardrail）的新框架。该框架将医疗错误检测与纠正视为一个**多智能体上下文学习（multi-agent in-context learning）**任务。

1. 多智能体协作架构

MedGuards 的核心设计在于将复杂的错误处理任务分解，由专门化的智能体分别执行以下三个步骤：

• 检测（Detect）：识别文本中潜在的错误。
• 定位（Localize）：精确定位错误发生的具体位置。
• 纠正（Correct）：对错误进行修正。

这种分工协作的设计旨在提高系统的整体性能和可解释性。

2. 基于置信度的仲裁机制

为了解决不同智能体之间可能出现的分歧，MedGuards 引入了一种置信度引导的仲裁机制（confidence-guided arbitration mechanism）。该机制利用推理轨迹（reasoning traces）和置信度分数（confidence scores）来裁决最终结果。这一设计不仅增强了系统的鲁棒性，还提高了决策过程的透明度。

3. 无需额外训练

与许多需要微调基础 LLM 的方法不同，MedGuards 的设计无需对基础 LLM 进行额外的训练。它通过上下文学习（in-context learning）的方式发挥作用，这使得系统具有极高的适应性和部署灵活性。

4. 新的评估指标：KPCS

为了更全面地评估医疗文本纠正的效果，作者引入了关键词优先纠正分数（Keyword-Prioritized Correction Score, KPCS）。

• 传统指标的局限：传统指标往往只关注整体文本的相似度，可能忽略关键医学术语的错误。
• KPCS 的优势：该指标特别关注参考文本中**关键医学术语（critical keywords）**是否被正确生成。这提供了一种比传统指标更全面的评估视角，因为医疗文本中关键术语的准确性直接关系到诊断和治疗的安全性。

5. 实验结果

作者在四个包含临床笔记的多语言医疗数据集上进行了实验。结果显示，MedGuards 框架在多个指标和不同基础模型上均取得了显著的性能提升。

关键要点

• 多智能体分工：MedGuards 采用专门化的智能体分别负责错误检测、定位和纠正，实现了任务的细粒度处理。
• 智能仲裁：通过结合推理轨迹和置信度分数的仲裁机制，有效解决了多智能体间的意见分歧，提升了结果的可信度。
• 零样本/少样本适应性：无需对基础 LLM 进行额外训练，通过上下文学习即可适应新的医疗数据分布，增强了系统的泛化能力。
• KPCS 评估体系：提出 KPCS 指标，强调关键医疗术语的准确性，弥补了传统评估指标在医疗垂直领域评估不足的缺陷。
• 开源与复现：代码已公开，旨在促进社区对医疗 LLM 安全性的研究和复现。

意义与影响

MedGuards 的提出对于推动 LLM 在真实世界医疗应用中的安全部署具有重要意义。

1. 提升患者安全：通过更可靠地检测和纠正医疗文本中的错误，MedGuards 有助于降低因 AI 生成内容错误导致的医疗风险，直接服务于患者安全。
2. 增强可解释性与信任：多智能体架构和基于推理轨迹的仲裁机制使得错误处理过程更加透明，有助于医生和研究人员理解 AI 的决策逻辑，从而建立对 AI 系统的信任。
3. 降低部署门槛：无需额外训练的特性使得医疗机构和开发者可以更容易地将 MedGuards 集成到现有的 LLM 工作流中，加速了医疗 AI 安全护栏的普及。
4. 推动评估标准进步：KPCS 指标的引入为医疗 NLP 任务提供了更贴合领域需求的评估标准，有助于引导后续研究更加关注关键术语的准确性。

总之，MedGuards 不仅是一个技术框架，更是构建可信、安全医疗 AI 生态系统的重要一步。