开源小LLM评估共享决策：隐私与可持续性研究

背景

共享决策（Shared Decision Making, SDM）是医患沟通中的核心实践，指医生与患者共同权衡治疗方案、尊重患者偏好和价值观的过程。准确评估 SDM 的实施质量对于改善临床沟通和患者结局至关重要。现有的评估工具中，Observer OPTION12 是一个经过验证的 12 项观察性编码框架，用于量化医生在临床咨询中促进 SDM 的程度。

此前，自动化 SDM 评估主要依赖大型商业语言模型（如 GPT-4）以及相对简短的 OPTION5 工具。然而，这些方法存在两大瓶颈：一是隐私隐患——临床转录文本涉及敏感健康信息，上传至云端推理不符合合规要求；二是可持续性问题——大型模型的计算成本极高。因此，探索可在本地部署、保护隐私的开源小语言模型（Open-Sourced Smaller LLMs, OS-sLLMs）成为自然方向。

本文献来自 arXiv cs.CL（2026 年 7 月 7 日提交），题为 Measuring the practice of shared-decision making (OPTION12): An Investigation into Open-sourced Smaller LLMs (OS-sLLMs) for Better Privacy and Sustainability。研究首次系统评估 OS-sLLMs 在 OPTION12 框架下的 SDM 自动评分能力，重点关注隐私保护和可持续性。

核心内容

该研究名为 LLM4SDM，是第一个使用开源小语言模型自动评估共享决策（基于 Observer OPTION12 框架）的工作。与依赖大型商业模型和较短 OPTION5 工具的以往研究不同，本研究聚焦于可本地部署、保护隐私的模型，并采用荷兰语黑色素瘤门诊咨询的专家标注转录文本作为测试数据。

在开发阶段的试点研究中，研究员评估了 5 个 OS-sLLMs，分为两类：

• 通用领域模型（3 个）
• 医学领域模型（2 个）

评估方式为：让每个模型基于 OPTION12 的 12 个项目对临床对话进行评分，并与人类专家标注进行一致性比较。

主要结果：

1. 通用领域模型整体优于医学领域模型。医学领域模型表现出明显的幻觉（hallucination）和指令遵循失败（instruction-following failures），例如编造评分标准中不存在的维度或无法正确理解任务。
2. 在所有模型中，Gemma3:12b 取得了与人类标注最强的相关性：Pearson r = 0.51，Spearman ρ = 0.59。这一结果虽然远低于人类间的一致性水平，但表明个别小模型已具备一定程度的 SDM 识别能力。
3. 项目级（item-level）和定性分析揭示了模型面临的三个系统性挑战：
   • 时间话语推理：OPTION12 要求判断医患对话中 SDM 行为是否随时间推进而自然出现，模型难以捕捉对话的时序依赖关系。
   • 对话角色归属：模型常混淆医生和患者的发言角色，例如将患者的主张错误归因于医生。
   • 证据基础：模型无法可靠地将自身判断与具体对话片段关联（即缺乏 grounded reasoning），导致评分缺乏可解释性。

为了缓解单一模型的局限性，研究者进一步提出了一个 Judge-LLM 共识框架。该框架利用多个小模型各自对同一段对话进行评分，然后通过一个额外的“裁判”模型（Judge-LLM）汇总并解决模型间的分歧，从而获得更稳健的评分。

结论：当前 OS-sLLMs 尚无法取代人类标注者，但它们在隐私保护的人机协同（human-in-the-loop）SDM 评估中展现出有潜力的基础。研究建议将模型作为初步筛选或辅助工具，由人类专家介入争议案例。

关键要点

• 任务定义：首次使用 OPTION12（而非较短的 OPTION5）作为自动评估框架，提升评估粒度。
• 模型选择：全部使用开源小语言模型（OS-sLLMs），兼顾本地部署、隐私保护和低计算成本。
• 数据来源：荷兰语黑色素瘤门诊会话文本，经专家标注，具有高生态效度。
• 性能对比：通用域模型（如 Gemma3:12b）优于医学域模型；医学模型在幻觉和指令跟踪上存在系统性问题。
• 最佳成绩：Gemma3:12b 与人类标注的 Pearson r = 0.51，Spearman ρ = 0.59，处于中等相关水平，远未达到实用门槛。
• 关键挑战：
  • 时间话语推理不足
  • 对话角色归属错误
  • 证据基础缺失（无法引用具体对话片段支撑评分）
• 创新方案：提出的 Judge-LLM 共识框架，通过多模型投票+裁判模型融合，提升评分稳定性和可信度。
• 定位：本研究并非提供可直接部署的替代方案，而是证明了 OS-sLLMs 作为隐私友好型辅助工具的可行性，为未来人机协同 SDM 评估奠定基础。

意义与影响

1. 隐私与合规：在医疗领域，患者数据高度敏感。依赖 OpenAI、Anthropic 等大型商业模型需要将数据传输至云端，违反 GDPR、HIPAA 等法规。本研究展示了完全本地部署的小模型路径，为医疗 AI 的隐私合规设计提供了实证参考。

2. 可持续性：大型 LLM 推理成本高昂且能耗巨大。OS-sLLMs（如 12B 参数级别的 Gemma3）可在消费级 GPU 上运行，大幅降低硬件门槛和碳足迹，使自动化评估在资源受限的医疗机构中成为可能。

3. 评估工具的创新：从 OPTION5 升级到 OPTION12，评估维度从 5 项扩展至 12 项，覆盖更细致的 SDM 行为（如解释选项、探索患者偏好等）。这要求模型具备更复杂的语境理解和推理能力，而本文揭示的挑战恰好指明了未来改进方向。

4. 方法论贡献：Judge-LLM 共识框架为多模型集成提供了新思路。类似技术在其他 NLP 任务中已有探索（如多判别器投票），但将其用于 SDM 评分并处理分歧，具有一定新颖性。该框架可推广至其他依赖人类标注且需要高可靠性的任务。

5. 局限与未来方向：当前模型的相关系数（～0.5）远低于人类间一致性（通常 >0.7），直接取代人工标注尚不可行。但研究提示，若将模型作为“第二标记者”或“异常检测器”，可减少人工标注工作量。未来可探索：

   • 更精细的微调策略（如使用荷兰语临床数据进行领域适应）
   • 引入外部知识库（如临床指南）辅助证据基础
   • 改进时间推理架构（如基于对话状态追踪的模型）
   • 扩大语言和数据覆盖范围（从荷兰语扩展到多语种、多种癌症咨询）

总体而言，本文为隐私保护与可持续性的临床 AI 评估开辟了新方向，尽管当前能力有限，但 OS-sLLMs 作为人机协同方案中的一环具有明确的现实意义。研究同时清晰地画出了技术边界：在模型未解决上述三个核心挑战之前，不应将其视为独立评估工具。