SDR：基于集合距离奖励的放射科报告生成优化

背景

在视觉-语言模型（Vision-Language Models, VLMs）领域，带有可验证奖励的强化学习（Reinforcement Learning with Verifiable Rewards）正在迅速推动模型推理能力的进步。然而，在胸部 X 光报告生成这一特定任务中，现有的标准奖励机制存在明显的局限性。

传统的奖励信号通常依赖于“精确匹配准确率”（exact-match accuracy）或基于因果推理链的“步骤级过程”评估。但放射科报告的结构特性与数学推导或逻辑推理不同：它由一系列无序且正交的医学发现（findings）组成，而非一个严格的因果链条。因此，传统的基于顺序或精确匹配的奖励函数无法有效捕捉报告内容的语义完整性，导致模型难以通过强化学习获得实质性的性能提升。

核心内容

为了解决上述不兼容问题，研究团队提出了一种基于“集合”（Set-based）视角的创新方法，并开发了名为 SDR（Set-Distance Rewards，集合距离奖励） 的新机制。

1. 方法论：从序列到集合的范式转换

SDR 的核心思想是将放射科报告视为一个无序的语义集合，而非有序的句子序列。具体实现步骤如下：

• 句子分割与嵌入：将生成的报告拆分为单个句子，并使用冻结的 Sentence Transformer（句子转换器）模型将这些句子转化为高维向量嵌入（embeddings）。
• 构建嵌入集合：这些句子嵌入共同构成一个无序的嵌入集合。由于 Transformer 的冻结特性，该过程计算高效且稳定。
• 集合间距离计算：SDR 计算生成报告的嵌入集合与参考报告（Ground Truth）嵌入集合之间的距离。这种距离度量是连续且对排列不变的（permutation-invariant），即无论句子在报告中的顺序如何，只要包含的语义信息一致，距离值就相同。

2. 实验验证：后训练性能提升

研究者在两个数据集上，针对三种视觉-语言模型（Qwen3-VL-2B/4B, Gemma3-4B）进行了广泛实验。通过基于集合距离奖励的 GRPO（Group Relative Policy Optimization）进行后训练（Post-training），结果显示：

• 全面超越基线：在所有主要指标上，SDR 方法均优于监督微调（SFT）和基于精确匹配的 GRPO。
• 具体增益：
  • BERTScore：平均相对提升 6.80%
  • RadGraph F1：平均相对提升 7.82%
  • CheXbert F1：平均相对提升 4.45%

这些指标涵盖了语义相似度、医学实体关系抽取以及临床标签分类，证明了 SDR 在提升报告质量和临床准确性方面的有效性。

3. 测试时扩展（Test-Time Scaling）：最佳 N 选择与流式剪枝

SDR 不仅适用于模型训练阶段，还作为一种统一的信号应用于测试时的扩展策略：

• 最佳 N 选择（Best-of-N Selection）： 在生成多个候选报告后，通过计算候选报告与训练报告嵌入集合的距离来评分。实验表明，这种基于 SDR 的评分机制在筛选最佳报告时，优于随机选择。

  • 在训练模型以及三个闭源大语言模型（Mistral-Small, Gemini-2.5 Flash-Lite, GPT-4o-mini）上，BERTScore 平均实现了 16.4% 的相对提升。

• 流式剪枝（Streaming Signal & Pruning）： SDR 可以作为生成过程中的流式信号，支持更高效的测试时扩展。

  • 在生成过程中，如果某个候选报告的得分低于阈值，即可提前剪枝（停止生成）。
  • 这种策略将生成的 Token 数量减少了 50% 以上，同时保持了与完整“最佳 N 选择”相当的 Findings（医学发现）质量。这意味着在保持临床报告关键信息完整性的前提下，显著降低了计算成本和延迟。

关键要点

• 解决痛点：针对胸部 X 光报告中“无序且正交”的医学发现特性，传统精确匹配奖励失效的问题，提出了集合距离奖励（SDR）。
• 技术核心：利用冻结的句子转换器将报告转化为无序嵌入集合，通过计算生成集合与参考集合之间的距离，提供连续、排列不变的奖励信号。
• 训练效果：基于 SDR 的 GRPO 后训练在 Qwen3-VL 和 Gemma3 系列模型上，显著超越了监督微调和精确匹配 GRPO，BERTScore、RadGraph F1 和 CheXbert F1 均有显著提升。
• 推理优化：SDR 支持高效的测试时扩展。通过最佳 N 选择机制，显著提升了包括 GPT-4o-mini 在内的多种模型（含闭源）的报告质量。
• 效率提升：利用 SDR 作为流式信号进行早期剪枝，可在减少超过 50% 生成 Token 的同时，维持高质量的医学发现输出，实现了计算效率与临床质量的平衡。
• 统一信号：研究证实，集合距离奖励是连接后训练（Post-training）和测试时扩展（Test-time Scaling）的统一且有效的信号。

意义与影响

SDR 的提出为医学影像报告生成领域提供了一个新的优化范式。它打破了传统 NLP 任务中依赖序列顺序和精确匹配的局限，证明了在处理结构化但无序的医学语义时，集合距离度量具有更高的鲁棒性和有效性。

这一方法不仅提升了开源视觉-语言模型在放射科报告生成上的性能，使其接近甚至超越部分闭源模型的表现，还通过高效的测试时剪枝策略，解决了大模型在医疗场景落地时面临的延迟和成本问题。随着代码的公开，SDR 有望成为视觉-语言模型在复杂医学报告生成任务中的标准优化手段之一，推动 AI 辅助诊断工具向更精准、更高效的方向发展。