Exploring Post-Training Alignment of Small Language Models for Biomedical Data-to-Text Generation: A Case Study of Medication Leaflet

背景

将复杂的生物医学数据转化为患者易于理解的叙述文本，是现代生物医学信息学的核心任务之一。然而，大型语言模型（LLM）在资源受限场景下的部署成本较高，且领域专用性不足。近年来，小语言模型（Small Language Models, SLMs）因其低计算需求和可本地化部署的优势受到关注，但在生物医学数据到文本（data-to-text）生成这种高度专业化的任务中，如何通过后训练（post-training）对齐来提升其表现，仍缺乏系统的比较研究。本研究以药品说明书（medication leaflet）生成为案例，探索了多种后训练对齐方法对SLMs性能的影响。

核心内容

该研究来自arXiv预印本（cs.CL，2026年7月提交），题为“Exploring Post-Training Alignment of Small Language Models for Biomedical Data-to-Text Generation: A Case Study of Medication Leaflet”。作者针对生物医学数据到文本生成任务，对基于Qwen架构的小语言模型（Qwen-based SLMs）进行了一系列后训练对齐实验。研究采用了当前广泛使用的四种后训练方法：

• 监督微调（SFT）
• 直接偏好优化（DPO）
• 胜率比偏好优化（ORPO）
• 组相对策略优化（GRPO）

实验数据方面，模型在药品说明书数据集上进行训练和评估。此外，为了检验跨数据集的泛化能力，作者还从openFDA（美国食品药品监督管理局公开数据库）中收集并整理了一组药品标签数据。评估指标包括传统词汇重叠指标ROUGE以及语义相似度度量。

主要结果如下：

1. 经过后训练对齐的SLMs在目标任务上的表现超过了专有闭源模型GPT-5。
2. 在对比不同对齐方法时，ORPO的性能优于SFT基线。
3. 在所有测试的对齐方法中，GRPO展现出最强的跨数据集鲁棒性，其泛化能力甚至优于GPT-5。

关键要点

• 研究聚焦于小语言模型在生物医学专用数据到文本生成任务中的后训练对齐效果，以药品说明书为具体案例。
• 对比了SFT、DPO、ORPO、GRPO四种后训练方法，均基于Qwen架构的SLM。
• 使用了标准药品说明书数据集，并额外从openFDA提取药品标签数据用于跨数据集泛化测试。
• 评估同时采用ROUGE（词汇重叠）和语义相似度两类指标，确保评价的全面性。
• 对齐后的SLMs在任务表现上超过了GPT-5，表明小模型在专用领域经过精心调整后可媲美甚至超越大模型。
• ORPO在同等条件下优于SFT基线，显示出偏好优化对微调的改善作用。
• GRPO在所有测试的方法中跨数据集性能最稳定，优于其他对齐方法和GPT-5，提示GRPO可能更适合需要泛化到新数据源的生物医学应用。
• 该研究未披露具体模型参数量、数据集规模及训练细节，但结论基于实验数据统计得出。

意义与影响

本研究为生物医学数据到文本生成领域中SLM的后训练对齐提供了实证比较，填补了方法选择的空白。其价值体现在以下几个方面：

• 实践指导意义：对于需要在资源受限环境（如医院本地服务器、移动设备）部署生物医学文本生成系统的从业者，该结果表明GRPO可能是兼顾性能与泛化能力的优选方法，而ORPO可作为提升SFT基线的有效手段。
• 模型规模与性能权衡：对齐后的SLM超越GPT-5这一发现，挑战了“越大越好”的传统观念，提示在专用领域通过精心设计的后训练可以释放小模型的潜力，降低对云端大模型的依赖。
• 跨数据集鲁棒性：GRPO在openFDA数据上的突出表现表明，该对齐范式可能更适用于现实世界中数据分布变化频繁的生物医学场景，减少模型上线后的重新训练成本。
• 方法学启示：该研究为其他专业领域（如法律、金融数据到文本生成）提供了方法借鉴，即偏好优化与策略优化类方法在特定任务定制中的优势值得进一步探索。

需要注意的是，该研究仅基于一种SLM架构（Qwen）和一类任务（药品说明书生成），未来需要在更多模型族、更多生物医学子领域（如临床试验报告、电子病历摘要）中验证结论的普适性。