← 返回信息流
技术博客arXiv cs.AI·3 小时前

强化学习让大模型学会循证诊断推理

原标题：Reinforcement Learning for Evidence-Seeking Diagnostic Reasoning with Large Language Models

速览

最新研究将医学诊断形式化为迭代证据搜索任务，通过强化学习与可验证奖励机制，引导大模型在闭环环境中主动获取证据。文中引入基于检索增强生成的模拟器RAGES，提供逼真的临床反馈。实验表明，该框架使LLM从被动推理转为自主助手，性能媲美更大规模的模型基线，RAGES在生成生物合理性反馈上优于普通LLM。

AI 深度解读

背景

近年来，以推理能力为核心的大语言模型（LLM），如 OpenAI o1、DeepSeek-R1 等，在数学、编程等结构化任务上取得了显著突破。然而，这些模型大多数仍遵循“被动推理”模式——即假设所有必要信息已在上下文中完全给出，模型只需一次性推理出结论。这种范式在现实世界的临床诊断中面临根本性挑战：医生并非一开始就拥有全部检查结果，而是需要通过反复询问病史、选择检查项目、解读反馈来逐步逼近诊断，这是一个主动、迭代的证据搜寻过程。当前 LLM 缺乏这种主动探究能力，无法模拟临床实践中“提出假设 → 搜集证据 → 更新信念”的闭环推理。为弥合这一差距，该研究将医学诊断形式化为一个迭代证据寻求任务，并引入强化学习（RL）来训练 LLM 学会主动获取证据。

核心内容

该论文提出了一种基于强化学习与可验证奖励（RLVR，Reinforcement Learning with Verifiable Rewards）的框架，旨在让 LLM 在闭合模拟环境中自主进行证据寻求式诊断推理。具体而言，作者将医学诊断定义为一个迭代过程：模型在每个轮次基于已有信息生成诊断假设，并主动请求特定的检查（如实验室检验、影像学检查），然后接收来自模拟环境的反馈，再据此更新推理，直到得出最终诊断结论。

为实现这一闭环训练，论文设计了两个关键组成部分：

  1. RLVR 奖励设计：一组精心构造的可验证奖励函数，既奖励最终诊断的准确性（即模型给出的疾病标签是否正确），也强制要求中间环节的检查行为与临床逻辑一致（例如，不应在不必要时重复检查，也不应跳过关键鉴别步骤）。这些奖励完全基于可自动化验证的标准，无需人类标注，从而支持大规模强化学习。

  2. RAGES 模拟器：全称为 Retrieval-Augmented Generation-based Examination Simulator（基于检索增强生成的检查模拟器）。这是一个高保真度的“临床预言机”，能够根据模型当前提出的假设和请求的检查项目，生成现实的、基于医学知识支持的后续证据（例如，“胸部X光显示右侧肺门肿块”）。RAGES 基于检索增强生成（RAG）技术，从权威医学知识库中检索相关信息，再通过生成模型输出符合病理生理学逻辑的检查结果，从而避免出现生物学上不合理或违背医学常识的反馈。与直接使用通用 LLM 作为模拟器相比，RAGES 能产生更逼真、更一致的临床反馈。

研究团队在多个不同的诊断数据集上进行了实验。结果表明：

  • 经过 RLVR 训练后，LLM 能够从被动回答者转变为主动的自主诊断助手，能够根据已有证据策略性地选择下一步检查，而非一次性猜测答案。
  • 该框架实现的诊断性能可与更大规模的模型（包括专门强化推理能力的基线）相媲美，显示出参数效率上的优势。
  • 在生成临床反馈的真实性方面，RAGES 显著优于直接使用未微调的 LLM，能够产出更符合生物医学原理的检查结果。

论文还提供了相关代码、数据及媒体资源的链接（如 Hugging Face 上的模型权重、DagsHub 上的数据集等），便于复现与进一步研究。

关键要点

  • 问题定义：将医学诊断重新定义为迭代证据寻求任务，突破了传统 LLM 被动推理的局限。
  • 训练方法：采用具有可验证奖励的强化学习（RLVR），无需人类标注即可驱动模型学会主动搜集证据。
  • 奖励设计：奖励同时覆盖最终诊断准确性和中间检查行为的一致性，确保推理过程符合临床规范。
  • 环境模拟：提出 RAGES（基于检索增强生成的检查模拟器），通过知识检索和生成相结合的方式提供高保真、生物学合理的临床反馈。
  • 实验结果：所训练的模型在多个数据集上展现出与更大规模或专门推理增强模型相当的性能，且 RAGES 在反馈真实性上优于普通 LLM。
  • 资源开源：论文附带了代码、模型、数据集等资源，可通过 arXiv 页面上的链接获取（如 alphaXiv、Hugging Face、DagsHub）。

意义与影响

该工作为 LLM 在临床诊断领域的应用开辟了新方向，其核心贡献在于证明了强化学习能够使 LLM 从“一次性推理器”进化为“自主探究代理”。这一转变具有以下深远意义：

  • 提升诊断的鲁棒性：主动寻求证据的过程更接近真实医生的工作流，有助于减少因初始信息不足而造成的错觉或误判。
  • 降低数据标注成本：RLVR 利用可自动验证的奖励（如诊断标签是否匹配）驱动学习，无需专家逐条标注推理步骤，使得在更大规模临床场景中训练成为可能。
  • 推动交互式诊断系统：结合 RAGES 这样的高保真模拟器，未来可以构建安全、低成本的临床训练沙盒，用于培养模型（甚至医学生）的诊断推理能力。
  • 向通用主动推理扩展：该框架不限于医学诊断，其“证据寻求 → 反馈 → 更新”的范式可推广至其他需要迭代信息收集的领域，如科学实验设计、法律案例调查、故障排查等。

当然，目前该工作仍处于 arXiv 预印本阶段，其实际临床有效性还需在真实患者数据或前瞻性试验中进一步验证。此外，RAGES 模拟器的保真度仍有提升空间，如何防止生成误导性临床证据也是未来需要关注的问题。但总体而言，这项工作为 LLM 在复杂决策任务中从被动到主动的转型提供了坚实的方法论和可行的技术路线。

相关推荐

查看原文 →arxiv.org