虚拟环境MentalHospital评估精神科临床中的LLM表现

背景

大型语言模型（LLM）在精神科的孤立任务（如对话、诊断和治疗规划）中已展现出强劲性能，但现有的基准测试极少能模拟完整的精神科临床接触流程。临床精神科接触涉及从主观访谈、客观检查、诊断评估到治疗规划的全链条协作，而现有评估体系缺乏对这一完整过程的虚拟化模拟和标准化测评。为此，研究人员提出了一种名为 MentalHospital 的虚拟环境，旨在填补这一空白。

核心内容

MentalHospital 是一个基于 LLM 的精神科临床接触虚拟评估环境。它实例化了 S.O.A.P. 工作流（主观访谈、客观检查、诊断评估、治疗规划），利用技能增强的标准化病人（由 1,193 份去标识化的精神科电子健康记录案例构建而成）进行模拟，这些案例覆盖 ICD-11 所有主要类别和 76 种障碍。每场接触通过双轨协议进行评估：一方面将 LLM 的表现与电子健康记录导出的参考标准进行客观比较，另一方面对临床过程质量进行主观评估。

为了规模化专家评估，研究团队开发了 MentalEval——五个领域特定的评估器，分别覆盖沟通共情、访谈专业性、临床笔记质量、诊断严谨性和治疗适宜性。这些评估器通过基于评分准则的监督微调（SFT）和专家指导的偏好优化（DPO）进行训练。

来自 22 名临床医生的问卷调查支持 MentalHospital 的临床逼真度（3.88/5 分），而 MentalEval 实现了与专家的强一致性，平均加权 Cohen's Kappa（QWK）达 0.944。基准测试结果显示，即使是最强的 LLM，在客观精神科能力上仍落后临床医生 37.28 个百分点，其中精神状态评估是关键的瓶颈环节。

关键要点

• 虚拟环境：MentalHospital 模拟完整的精神科临床接触流程（S.O.A.P.），而非孤立的单一任务。
• 数据驱动：基于 1,193 份真实去标识化的精神科 EHR 案例构建标准化病人，涵盖 ICD-11 全部主要类别和 76 种障碍。
• 双轨评估：客观维度（与 EHR 参考标准比较）与主观维度（临床过程质量评估）并行，确保评估全面性。
• 自动化评估器：MentalEval 包含五个领域专用的评估器（共情、访谈专业性、笔记质量、诊断严谨性、治疗适宜性），均经过 SFT + DPO 训练，且与专家高度一致（平均 QWK = 0.944）。
• 临床逼真度：22 名临床医生的反馈评分为 3.88/5，表明环境具有较好的临床可信度。
• LLM 短板：最强 LLM 的客观精神科能力比临床医生低 37.28 个百分点，精神状态评估是主要瓶颈。

意义与影响

• 填补评估空白：MentalHospital 首次提供了可复现、标准化的虚拟精神科临床接触评估框架，有助于系统性地衡量 LLM 在真实临床场景中的表现。
• 推动临床 AI 安全：通过识别 LLM 在精神状态评估等关键环节的显著差距，该工作为未来精神科 AI 系统的优化指明了方向，并可能加速更安全、更可靠的临床辅助工具研发。
• 可扩展的评估范式：双轨评估 + 自动化专家评估器的设计思路可推广到其他医学专科的临床接触模拟中，为医疗 AI 的通用评估提供参考。
• 挑战与局限：当前 LLM 在主观访谈和客观检查环节仍存在明显短板，尤其是精神状态评估能力不足。未来需要开发更精细的对话推理、情感理解和结构化问诊框架，以弥合与人类临床医生的差距。