中国在线问诊多模态基准MedRealMM发布
速览
MedRealMM是一个大规模多模态在线医疗咨询基准，从中国互联网医院脱敏的真实医患对话中构建，包含5620个病例覆盖64个科室。它使用多模态临床挑战点框架提取关键时刻，并生成下一轮回复任务，配有医生制定的评估准则。评估19个通用和医疗专用大模型发现，图像信息对性能至关重要，前沿模型虽满足正面标准但触发更多负面标准，安全性仍是瓶颈。
AI 深度解读
背景
大型语言模型（LLMs）正越来越多地被部署于在线医疗咨询场景，然而现有基准测试与真实临床实践之间存在显著脱节。许多基准依赖合成对话或患者模拟器，忽略了患者上传的医学图像，或使用选择题、词汇重叠等指标来评估开放式临床回答——这些方法无法真实反映临床质量。为弥补这一空白，研究者提出了 MedRealMM：一个基于中国全国性互联网医院中脱敏医患真实交互数据构建的大规模多模态在线医疗咨询基准。
核心内容
MedRealMM 是一个专门针对中文在线医疗咨询的多模态基准。其核心创新在于提出了一种 多模态临床挑战点（Multimodal Clinical Challenge Point，MCCP） 抽取框架。该框架从真实的咨询轨迹中识别出临床上的关键决策时刻，并将每个时刻转化为一个标准化的“下一响应生成”任务，同时保留该时刻之前的所有文本和图像上下文。
每个实例都配有由医生团队精心编写的病例特定评分规则（case-specific rubric）。这些规则奖励符合临床期望的行为，惩罚不安全、无依据或自相矛盾的回复。当前发布的版本包含 5,620个真实世界多模态案例，覆盖 64个临床科室。
研究评估了 19个通用型和医学专用型 LLM（包括纯文本和多模态系统）。主要发现包括：
- 图像信息对于可靠的临床性能至关重要；
- 当前最先进模型的表现仍低于在线医生的响应水平；
- 虽然部分前沿模型在满足积极临床标准（如给出正确建议）方面不逊于甚至超过医生，但它们触发了更多消极标准（如给出危险或错误建议），说明 安全敏感的错误避免 仍是核心瓶颈。
MedRealMM 提供了一个真实、可复现的基准，用于评估多模态医学推理在实际在线咨询场景中的表现。该数据集将在 Hugging Face 上公开。
关键要点
- 真实数据来源：基于中国全国性互联网医院的真实脱敏医患交互，而非合成数据或模拟器。
- 多模态挑战点抽取：MCCP 框架自动定位临床关键决策节点，保留历史文本与图像上下文。
- 病例特定评分：由医生设计规则，不仅评估正确性，还重点惩罚不安全、无依据或矛盾的回复。
- 大规模多科室覆盖：5,620个案例涵盖64个科室，体现临床多样性。
- 严格对比测试：19个模型（含通用/医学专用、纯文本/多模态）的系统评估，揭示当前模型与在线医生的差距。
- 安全性瓶颈：前沿模型虽能在积极指标上达标，但在避免错误触发消极指标方面仍有显著不足。
意义与影响
MedRealMM 填补了在线医疗咨询多模态基准的空白。它强调了三个关键方向：
- 真实数据的重要性：合成数据或简化假设无法捕捉临床咨询中图像与文本交织的复杂决策过程。
- 多模态的必要性：纯文本模型在包含图像的咨询场景中表现显著下降，验证了图像信息不可或缺。
- 安全优先的评价体系：传统基于正确率或匹配度的指标无法反映临床风险；MedRealMM 的评分规则直接将安全性纳入考核，推动模型向更负责任的方向发展。
该基准为研究者提供了可在真实场景中复现的评估框架，有望引导下一代在线医疗对话系统在可靠性、安全性和临床价值上实现实质提升。