压力测试医疗大语言模型：揭示基准准确率之外的潜在安全病理

背景

随着大型语言模型（LLMs）逐步进入临床实践，其评估体系正面临严峻挑战。当前的行业共识往往过度依赖基准测试（benchmarks）中的准确率指标，然而，这种静态的评估方式可能无法有效检测出与安全性相关的关键故障模式。在真实的医疗场景中，患者病史、叙述方式存在巨大的变异性，模型在面对非标准、带有干扰或逻辑陷阱的输入时，其表现可能与基准测试中的完美表现大相径庭。

为了弥补这一评估缺口，研究人员提出了一种新的评估范式：借鉴肝脏病学中“代谢压力测试”的逻辑，对临床 LLM 进行压力审计。这项研究旨在揭示模型在极端或扰动条件下的真实鲁棒性，特别是那些隐藏在高分基准背后的“潜在安全病理”。

核心内容

本研究引入了 AI-MASLD 框架，这是一种专门针对临床 LLM 的压力审计方法。该框架的核心创新在于将医学诊断中的压力测试逻辑迁移至 AI 评估领域。研究团队通过以下三个维度构建了完整的评估体系：

1. 实验设计：

   • 数据规模：涵盖了 240 个临床案例。
   • 扰动探针：设计了六种叙事扰动探针（narrative perturbation probes），用于模拟真实世界中复杂、模糊或带有误导性的患者叙述。
   • 测试对象：对七种主流模型进行了双重压力测试。

2. 量化指标： 研究定义了三个关键指标来量化模型在压力下的表现：

   • 代谢指数（Metabolic Index, MI）：衡量模型在压力下的整体功能维持能力。
   • 扰动翻转率（Perturbation Flip Rate, PFR）：反映模型在输入发生微小扰动时，输出结果发生反转或不稳定的频率。
   • 反事实公平指数（Counterfactual Fairness Index, CFI）：评估模型在面对反事实情境时的公平性和逻辑一致性。

3. 主要发现：

   • 基准表现的误导性：在干净的基线条件下（即标准、无扰动的测试数据），所有测试模型的表现均良好且均匀，这容易给评估者造成“模型已准备好临床应用”的错觉。
   • 压力下的分化：一旦引入真实的叙事压力，模型性能出现急剧分化，并呈现出两种截然不同的“压力反应表型”：
     • 伪正常化（Pseudonormalization）：量化模型（Quantized models）表现出低翻转率，但这是一种假象。低 PFR 掩盖了模型内部的功能崩溃，意味着模型可能在看似稳定的输出下隐藏着严重的逻辑缺陷。
     • 微调的副作用：经过医学监督微调（Supervised Fine-Tuning, SFT）的模型，其逻辑稳定性、公平性和信息提取能力出现了系统性退化。这表明，针对特定领域数据的微调可能以牺牲通用逻辑鲁棒性为代价。
   • 开源模型的崛起：令人意外的是，某开源权重模型（open-weight model）在每一个安全维度上的表现均匹配或超越了专有模型（proprietary alternatives）。

关键要点

• 基准准确率不足以保障安全：仅依靠标准基准测试的高准确率，无法识别模型在真实临床环境中的安全隐患。
• 叙事扰动是关键：通过六种叙事扰动探针进行的压力测试，能有效暴露模型在逻辑稳定性和公平性方面的弱点。
• 量化模型存在“伪正常化”风险：量化模型虽然在扰动翻转率上表现优异，但这可能掩盖了深层的功能性崩溃，需警惕此类假象。
• 医学微调并非万能：监督微调（SFT）虽然提升了领域适应性，但可能系统性地损害模型的逻辑稳定性和公平性，需权衡领域知识与通用鲁棒性。
• 开源模型具备竞争力：在安全维度上，开源模型的表现不低于甚至优于闭源专有模型，打破了“专有模型必然更安全/更强大”的刻板印象。
• 新评估范式的必要性：叙事压力审计（Narrative stress auditing）应作为基于准确率的评估的必要补充，而非替代。

意义与影响

这项研究对医疗 AI 的评估和应用具有深远的影响。首先，它挑战了当前以准确率为核心的单一评估体系，提出了“压力审计”作为临床部署前的必要环节。对于医院和监管机构而言，这意味着在引入 LLM 辅助诊断或决策支持系统时，不能仅看模型在标准数据集上的得分，而必须考察其在面对复杂、非标准患者叙述时的鲁棒性。

其次，研究揭示了“伪正常化”和“微调陷阱”这两个具体的安全病理机制。这提醒开发者，在优化模型性能时，需警惕量化带来的隐蔽风险，以及微调过程中可能丢失的逻辑一致性。特别是对于医疗领域，逻辑错误可能导致严重的误诊或偏见，因此，反事实公平性（CFI）等指标的引入为评估模型偏见提供了新的量化工具。

最后，开源模型在安全维度上的优异表现，为医疗 AI 的开源生态注入了强心剂。它表明，开源社区有能力开发出在安全性上媲美甚至超越商业巨头的模型，这有助于降低医疗 AI 的部署门槛，促进更广泛的创新和技术普及。总之，AI-MASLD 框架的建立，标志着医疗 LLM 评估从“静态准确率”向“动态鲁棒性”的重要转变。