ReportMedSAM: Guiding Segmentation Through Radiology Reports

背景

在医学影像分析中，将放射学报告中的自由文本描述转化为可靠的图像分割结果是一项长期挑战。放射学报告通常包含丰富的临床描述，但自然语言的固有可变性（如同一解剖结构可能有多种表述，如 "renal" 与 "kidney"）使得直接从文本中提取精确的分割目标变得困难。现有方法通常依赖预定义的器官短语列表或基于规则的推理时提取策略。这些做法存在两个主要局限：一是可扩展性差，难以应对新颖的解剖结构；二是对语言变化敏感，同一器官的不同表述极易导致提取失败。因此，亟需一种更灵活、鲁棒的机制，能够自动理解自由文本并动态引导分割模型。

核心内容

针对上述问题，本文提出 ReportMedSAM，一个以放射学报告驱动的医学图像分割框架。其核心创新是用一个可学习的概念库（learnable concept bank）取代传统的离散提取步骤，从而避免对固定短语或规则引擎的依赖。

具体实现上，ReportMedSAM 利用一个冻结的医学视觉-语言编码器 BiomedCLIP，通过对比学习（contrastive learning）将器官级的概念嵌入（organ-level concept embeddings）与大规模临床语料对齐。这些概念嵌入被训练为相互正交的语义锚点（mutually orthogonal semantic anchors），明确区分不同器官的语义空间。这种设计能有效抑制器官级别的语义坍塌（semantic collapse），即防止不同器官的表示在嵌入空间中混叠，同时保证对临床同义词的高度鲁棒性（例如 "renal" 与 "kidney" 会被映射到同一正交锚点附近）。

推理阶段，一个临床报告首先被嵌入，然后与概念库中的各概念进行匹配。根据匹配结果，动态激活对应的任务特定混合专家模块（Mixture-of-Experts, MoE）。由于概念库与 MoE 模块是解耦的，新增新的概念或专家模块时无需重新训练任何已有组件，实现了参数隔离的扩展机制（parameter-isolated extension mechanism），即新知识以独立参数形式加入，不会干扰已学习的专家模型。

实验在 AbdomenAtlas 3.0 数据集上进行评估。结果显示，ReportMedSAM 能够有效解释自由形式的放射学报告，取得有竞争力的分割精度，并且能够无缝、无干扰地扩展到新的临床任务。

关键要点

• 可学习概念库：用对比学习训练的器官级嵌入替代预定义短语或规则提取，端到端可学习。
• 冻结的 BiomedCLIP 编码器：利用大规模预训练的医学视觉-语言模型，无需针对分割任务微调，降低训练成本。
• 正交语义锚点：通过约束概念嵌入相互正交，防止不同器官的语义表示混淆，同时兼容临床同义词。
• 动态 MoE 激活：根据报告匹配到的概念自动激活对应的专家模块，实现报告内容与分割模型的精准对齐。
• 参数隔离扩展：新概念或新专家可独立添加，无需重训练已有模块，支持持续学习与任务增量。
• 评估结果：在 AbdomenAtlas 3.0 上验证了其对自由文本的理解能力和分割精度，并展示了良好的任务扩展性。

意义与影响

ReportMedSAM 为医学图像分割中文本驱动的灵活交互提供了一种新范式。其核心价值在于：

1. 突破语言变异性限制：通过对比学习与正交锚点，模型能够自然处理同义词和多样化表述，大幅提升对临床报告的理解鲁棒性。
2. 消除扩展瓶颈：传统方法每遇到新解剖结构或新任务就需要重新设计规则或重新训练整个模型；ReportMedSAM 的解耦架构允许以新增概念和专家模块的方式低成本扩展，这对于不断涌现的医学影像分析需求（如新器官、新病变）尤为重要。
3. 保持已有知识稳定：参数隔离机制确保了新增任务不会干扰已学习的专家，避免了灾难性遗忘问题，有助于构建持续进化的临床辅助系统。
4. 推动自动化报告导航分割：该方法使得放射学报告可以直接驱动分割流程，无需人工指定目标或繁琐的规则编写，有望提升临床工作流效率。

总体而言，ReportMedSAM 将自然语言理解与图像分割通过可学习概念库有机结合，为医学影像分析中的零样本或少样本任务扩展提供了可行的技术路径，具有重要的研究与应用前景。