PORTER：面向可移植结构化电子健康记录（EHR）基础模型的语义词汇解耦方案

背景

电子健康记录（EHR）基础模型在处理临床数据时，通常面临一个核心瓶颈：词汇表的固化与不可见概念的限制。

目前主流的 EHR 基础模型大多采用离散事件标记（discrete event tokens）的方式，将临床事件编码为来自固定词汇表中的特定标记。这种机制虽然简化了处理流程，但也带来了严重的局限性：

1. 无法直接表示未见过的概念：当遇到训练词汇表中没有的新疾病、新药物或新属性时，模型无法直接编码。
2. 难以处理概念与属性的新组合：例如，模型难以直接理解数值型属性（如具体的血压值、血糖值）与临床概念的新颖组合。
3. 跨机构迁移困难：由于不同医院或同一医院不同部署管道使用的 EHR 词汇表标准（如 ICD-10, SNOMED CT 的不同本地化变体）存在差异，导致模型在跨机构迁移时性能大幅下降，甚至需要重新训练或进行复杂的词汇映射。

这种对固定词汇表的依赖，阻碍了 EHR 基础模型在真实世界多中心、多源异构数据环境下的广泛应用和高效复用。

核心内容

为了解决上述问题，研究团队提出了 PORTER（Portable Structured EHR Foundation Model with Language-Grounded Event Representations），这是一种基于语言锚定（language-grounded）的结构化 EHR 基础模型。PORTER 的核心创新在于将事件表示从固定的词汇表中解耦出来，通过自然语言描述和专用数值路径来动态构建事件表示。

1. 架构设计：解耦与融合

PORTER 的架构主要由三个关键部分组成，共同协作以构建患者时间线上的动态临床表示：

• 冻结的文本编码器（Frozen Text Encoder）： PORTER 不再使用固定的离散标记，而是利用预训练的大型语言模型中的冻结文本编码器，通过事件的自然语言描述来生成事件表示。这种方法使得模型能够泛化到训练期间未见过的概念和属性组合，因为语言本身具有强大的语义泛化能力。

• 专用数值路径（Dedicated Numeric Pathway）： 为了处理临床数据中至关重要的数值型属性（如实验室检查结果、生命体征），PORTER 设计了一条独立的数值处理路径。该路径专门用于整合数值信息，确保模型能够敏感地捕捉数值的大小变化，同时不干扰临床概念本身的语义身份。

• 自回归预训练的时间骨干网络（Autoregressively Pretrained Temporal Backbone）： 在获取事件表示后，模型利用一个时间骨干网络来学习患者时间线上的临床动态。该网络采用自回归预训练目标，能够捕捉疾病进展、治疗反应等时序依赖关系。

2. 实验验证：性能与迁移能力

研究团队在一家儿童医院的数据集上，对 PORTER 进行了全面评估，涵盖 74 项临床预测任务，并与基于固定词汇表的基线模型进行了对比。

• 基准性能匹配： 在使用相同的时序骨干网络和预训练目标的情况下，PORTER 在 74 项临床预测任务上的平均 AUROC（曲线下面积）与固定词汇表模型相当。这证明了基于语言锚定的表示方法在保留原有预测能力方面的有效性。

• 零样本跨词汇表迁移（Zero-shot Cross-Vocabulary Transfer）： 这是 PORTER 最显著的优势。当使用在预训练阶段从未见过的事件描述来渲染相同患者时间线时，PORTER 无需重新训练或进行词汇映射，即可直接迁移。

  • 结果：PORTER 恢复了目标词汇表上直接训练模型 97.1% 的平均 AUROC。
  • 对比：相比之下，固定词汇表模型在面对未见过的标记时，直接丢弃了 69% 的事件，导致性能严重受损。

• 跨数据集迁移（MIMIC 迁移）： 在迁移到 MIMIC 数据集时，PORTER 的表现优于固定词汇表模型。固定词汇表模型因大量标记为“未见”而丢失了大量事件信息，而 PORTER 凭借语言泛化能力成功应对了分布差异。

• 效率优势： 与针对特定任务进行文本序列化的基线模型相比，PORTER 在实现更高 AUROC 的同时，其摊销计算成本（amortized compute）降低了 329 倍。

3. 机制分析

研究还通过机制分析深入探讨了 PORTER 为何能成功实现跨词汇表迁移：

• 几何结构保持而非规模依赖：跨词汇表迁移的成功主要归功于患者级表示几何结构（representation geometry）的保持，而不是单纯依赖文本编码器的大小。
• 数值路径的作用：专用数值路径显著提高了模型对数值大小的敏感性，且没有破坏临床概念的语义一致性。

关键要点

• 解耦事件表示：PORTER 通过自然语言描述和专用数值路径，成功将事件表示从固定的离散词汇表中解耦，解决了“未见概念”无法编码的问题。
• 卓越的迁移能力：在无需重新训练或词汇映射的情况下，PORTER 能够直接迁移到使用不同事件描述的数据集，并恢复目标模型 97.1% 的预测性能。
• 克服数据丢失：相比固定词汇表模型在跨域迁移时丢弃 69% 的“未见”事件，PORTER 能够完整利用所有事件信息，从而在 MIMIC 等跨数据集任务中表现更优。
• 计算效率极高：PORTER 在保持高预测精度的同时，其摊销计算成本比任务特定的文本序列化方法低 329 倍，极大地降低了部署和维护成本。
• 几何结构保持机制：迁移能力的提升源于对患者级表示几何结构的保持，而非单纯依赖模型规模。
• 数值与语义的平衡：专用数值路径在增强数值敏感性的同时，确保了临床概念语义身份的完整性。

意义与影响

PORTER 的提出标志着 EHR 基础模型向**词汇表无关（vocabulary-independent）**方向迈出了关键一步。其深远影响体现在以下几个方面：

1. 降低词汇标准化需求：传统 EHR 模型高度依赖统一的词汇标准（如统一的 ICD 编码），这在多中心研究中成本高昂且难以实施。PORTER 证明了模型可以直接理解临床事件的语义描述，从而大幅减少了对词汇表 harmonization（协调/统一）的依赖。
2. 提升模型的可移植性：由于不再受限于特定机构的固定词汇表，PORTER 使得基础模型能够更轻松地在不同医院、不同电子病历系统之间进行迁移和复用，促进了医疗 AI 模型的规模化应用。
3. 增强泛化能力：通过语言锚定和数值专用路径，模型能够更好地处理罕见病、新发疾病以及复杂的数值-概念组合，提升了在真实世界复杂临床场景中的鲁棒性。
4. 经济高效的部署：329 倍的成本降低意味着医疗机构可以更经济地部署和维护高性能的临床预测模型，使得小规模医院或资源有限的环境也能受益于先进的基础模型技术。

总之，PORTER 不仅是一个技术上的突破，更是推动 EHR 基础模型从“实验室专用”走向“通用基础设施”的重要里程碑。