The Clinician's Veto: Navigating Trust, Liability, and Uncertainty in Autonomous AI Prescribing

背景

随着人工智能（AI）在医疗领域的应用从辅助诊断向自主决策延伸，处方权这一核心医疗权力正面临前所未有的重构。近期，美国众议院法案 H.R. 238 以及犹他州（Utah）推出的处方续方试点项目，均授权 AI 以“代理（agentic）”身份进行药物处方。这标志着 AI 角色从单纯的“建议者”向“自主执行者”转变。

然而，当前的监管框架存在显著滞后。现有的监管指南主要依赖模型的聚合性能指标（aggregate model performance metrics）来批准系统上线，却忽视了三个关键的技术与伦理维度：

1. 校准后的置信度：缺乏针对具体预测动作的校准置信度阈值。
2. 不确定性的差异化沟通：未区分源于模型无知（epistemic uncertainty，即模型缺乏相关知识）与源于临床固有模糊性（aleatoric uncertainty，即数据本身的噪声或个体差异）的不确定性。
3. 推理透明度：在决策时刻缺乏足够的透明度，导致责任归属（liability allocation）模糊。

在此背景下，一项由 Eileanor LaRocco 等人提交至 arXiv 的研究（2026年6月23日提交）通过技术论证与针对136名美国处方临床医生的调查，探讨了如何在自主 AI 处方中建立信任、明确责任并处理不确定性。

核心内容

本研究提出了一套监管与技术论证框架，认为上述三个维度应作为安全自主处方的最低架构要求。研究通过问卷调查收集了临床医生的反馈，并据此分析了 AI 系统在处方过程中的行为模式与医生接受度。

1. 临床医生对“完全自主”的拒绝

调查结果显示，处方临床医生不会允许在没有基于校准置信度的升级机制（calibrated confidence-based escalation mechanism）的情况下进行自主处方。这意味着，如果 AI 无法准确评估自身决策的可信度，并在低置信度时主动寻求人类介入或拒绝决策，医生将拒绝采纳该系统。

2. 不确定性的类型决定医生的偏好

研究区分了两种不确定性，并发现临床医生对此有截然不同的反应：

• 当不确定性源于 aleatoric（临床固有模糊性）时：医生偏好 AI 提供竞争性选项摘要（competing-options summary）。在这种情况下，医生希望看到多种可能的治疗方案及其概率，以便结合临床经验做出最终判断。
• 当不确定性源于 epistemic（模型无知）时：医生倾向于让 AI 弃权（abstention）。如果 AI 因为缺乏相关知识或数据不足而产生不确定性，医生不希望 AI 强行给出建议，而是希望其保持沉默或请求人类专家介入。

3. 责任承担的前提：推理透明度

临床医生表示，只有在**推理透明度（inferential transparency）**能够支持其在承认不确定性的情况下做出实质性判断时，他们才愿意接受额外的法律责任。换言之，医生愿意为 AI 辅助下的决策承担责任，前提是 AI 清晰地展示了其推理过程，使医生能够理解并验证 AI 的逻辑。

4. “自主”定义的重新校准

研究结论指出，上述推荐的架构特征将显著提高临床医生的采纳率。然而，这种提高并非通过赋予 AI 更多传统意义上的“自主权”来实现，而是通过大幅削减“自主性”的传统含义来达成。

符合这些要求的系统将不再被视为一个独立的“自主代理（autonomous agent）”，而更像一个受到高度监督的决策支持工具（heavily supervised decision-support tool）。在这种模式下，AI 的“自主”仅限于在极高置信度且无认知盲区时执行标准化操作，而在复杂或模糊情境下，其角色退化为提供信息和支持，最终决策权牢牢掌握在人类医生手中。

关键要点

• 监管缺口：现有监管仅关注聚合性能，忽略了单条预测的置信度校准、不确定性类型区分及决策时的推理透明度。
• 三大最低架构要求：
  1. 基于校准置信度的动作门控阈值。
  2. 区分并差异化沟通 epistemic（模型无知）与 aleatoric（临床模糊）不确定性。
  3. 决策时刻的推理透明度，以支持责任分配。
• 医生态度：
  • 无置信度升级机制 = 拒绝自主处方。
  • Aleatoric 不确定性 = 偏好多选项摘要。
  • Epistemic 不确定性 = 偏好 AI 弃权/不决策。
  • 接受额外责任的前提 = 推理透明度支持实质性判断。
• 系统定位转变：满足上述要求的 AI 处方系统，其本质应从“自主代理”回归为“高度监督的决策支持工具”。
• 立法建议：随着 H.R. 238 等法案推进，监管应利用这些技术论证来约束 AI 在处方中被赋予的道德自主权程度，并将法律责任对齐给控制系统设计与部署的机构行为者。

意义与影响

这项研究对 AI 医疗应用的落地路径具有深远影响，主要体现在以下三个方面：

1. 重新定义“安全自主”： 研究挑战了业界对“自主 AI”的盲目追求。它表明，在高风险的医疗处方领域，真正的安全并非来自 AI 的独立决策能力，而是来自其对自身局限性的诚实表达（如弃权）和对人类监督的无缝衔接。这为制定更务实的 AI 医疗标准提供了理论依据。

2. 责任归属的法律锚点： 通过强调“推理透明度”与“责任承担”之间的正相关关系，研究为法律界提供了一个清晰的框架：如果 AI 系统提供了足够的透明度，使得医生能够进行实质性判断，那么医生和医疗机构可以更安全地承担部分责任；反之，若系统黑盒化，责任应更多指向系统设计者和部署者。这有助于厘清 AI 医疗事故中的法律边界。

3. 推动人机协作的新范式： 研究指出，通过引入置信度门控和不确定性分类，AI 系统将从“替代者”转变为“协作者”。这种转变不仅提高了医生的采纳率，也优化了临床工作流程。医生不再需要花费大量时间审查 AI 的低质量建议，而是专注于处理 AI 标记为“高不确定性”或“需要多选项比较”的复杂病例，从而提升整体医疗效率和质量。

总之，该研究呼吁监管机构和开发者在推进 AI 处方自动化时，必须将“可解释性”、“不确定性管理”和“责任对齐”置于核心地位，确保技术发展与伦理、法律要求同步演进。