← 返回信息流
技术博客arXiv cs.AI·2 小时前

SAGEAgent多模态生存预测减负55%

原标题：SAGEAgent: A Self-Evolving Agent for Cost-Aware Modality Acquisition in Multimodal Survival Prediction

速览

本文提出SAGEAgent，一种基于大语言模型的自我进化临床智能体，可在多模态生存预测中主动决定是否为患者获取下一项诊断检查。该方法平衡预测准确性与临床侵入性，在胶质瘤数据集上实现与现有方法相当的精度，同时将平均检查负担降低55%。

AI 深度解读

背景

在临床肿瘤学中，准确的生存预测对制定个体化治疗方案至关重要。传统上，医生会收集患者的多模态诊断数据，包括人口统计学信息、影像学检查、组织病理学分析以及基因组测序等。然而，这些诊断模态遵循着临床上的既定顺序，其侵入性和成本依次递增：从初次就诊时轻易获取的人口学信息，到需要复杂设备和专业分析的基因检测。现实中，并非所有癌症患者都需要完成全部检查才能得到可靠的生存预测——过度检查不仅增加医疗负担，还可能给患者带来不必要的生理和心理压力。

现有的多模态生存预测方法主要分为两类：一类假设所有模态数据均可获得，在完整数据集上训练模型；另一类则被动处理缺失模态，例如通过插补或屏蔽缺失值。但这些方法都缺乏主动推理能力——无法根据患者当前已有的诊断信息，判断是否需要获取下一个更昂贵的模态。这一问题本质上是一个序列决策问题：在给定患者当前诊断状态下，如何决定是否进行下一步检查，以在预测准确性和临床侵入性之间取得最佳平衡。

核心内容

针对上述挑战，来自arXiv cs.AI的一篇论文提出了 SAGEAgent（Sequential Acquisition Guided by Experience），一个基于大语言模型（LLM）的自我进化临床智能体。SAGEAgent 的核心思想是：将多模态诊断获取问题建模为顺序决策问题，智能体根据每个患者不断演变的诊断状态，主动决定下一个要获取的模态，同时兼顾预测准确性和临床侵入性（成本）。

工作流程：SAGEAgent 接收患者当前已有的诊断模态数据（如只有人口学信息和影像学检查），然后通过以下三个核心组件进行推理：

  1. 临床工具（Clinical Tools）：将数值形式的预测结果（例如当前模态下的生存预测概率）转化为文本描述，使 LLM 能够理解临床状态的含义。例如，将“5年生存率0.3”转化为“患者预后较差，需要更多信息确认”等自然语言表述。

  2. 情景记忆（Episodic Memory）：检索历史上与当前患者相似度高的病例，提取这些病例在后续模态获取中的决策路径及其预后结果，为当前决策提供参考。这类似于医生回忆“类似病人”的既往经验。

  3. 语义记忆（Semantic Memory）：从大量历史决策经验中总结可复用的通用决策规则，例如“对于影像学显示肿瘤体积较大且年龄>65岁的患者，获取基因组信息的收益通常较低”。这些规则由智能体在训练过程中自动积累，并随着新案例不断更新。

决策机制：SAGEAgent 综合上述信息，使用 LLM 进行推理，输出是否获取下一个模态（例如“进行组织病理学检测”或“停止获取，使用当前模态进行预测”）。如果决定获取，则新模态数据被加入患者状态，智能体再次评估，直到达到停止条件（如预测可信度足够高，或已获取所有模态）。

实验验证：论文在胶质瘤（glioma）患者队列上进行了实验，数据集结合了 TCGA-LGG、TCGA-GBM 和 BraTS，包含四个诊断模态（人口学、影像、病理、基因组）。结果表明，SAGEAgent 在保持与全模态模型相当的生存预测准确率的同时，将平均获取负担（即所需模态数量）降低了 55%。

关键要点

  • 问题定义：将多模态诊断获取建模为顺序决策问题，智能体需在每一步决定是否获取下一个成本更高的模态，平衡准确性与侵入性。
  • 核心技术：基于 LLM 的智能体，结合三种记忆机制——临床工具（数值转文本）、情景记忆（相似病例检索）、语义记忆（可复用决策规则），实现自我进化的决策能力。
  • 自我进化特性：智能体通过不断积累新案例的决策经验，更新语义记忆中的规则，从而在后续任务中表现更好，无需人工重新训练。
  • 显著效果：在胶质瘤多模态生存预测任务中，SAGEAgent 在保持竞争性预测准确率的前提下，将平均诊断模态获取负担降低 55%，意味着大多数患者只需完成部分检查即可获得可靠预后。
  • 临床意义：该方法直接遵循临床实践中的诊断顺序（从低侵入性到高侵入性），具有实际部署潜力，可减少不必要的侵袭性检查，降低医疗成本和患者风险。

意义与影响

SAGEAgent 是首个将 LLM 代理用于主动、成本感知的多模态诊断获取的工作，具有重要的学术和临床价值。

从学术视角看，它突破了传统多模态学习“被动处理缺失数据”的范式，将决策过程从“预测”扩展为“主动获取”。通过引入记忆机制和 LLM 推理，该框架能够处理复杂、非结构化的临床决策边界，并具备自我进化能力，为其他医疗领域的顺序诊断问题（如影像学阶梯检查、实验室检测优先级）提供了可借鉴的通用框架。

从临床视角看，SAGEAgent 直接回应了“个性化诊断”这一核心需求：不是所有患者都需要全套检查。通过智能地减少不必要的模态获取，可以显著降低医疗资源消耗、缩短诊断时间，并减轻患者因侵入性检查（如活检、基因测序）带来的痛苦。55% 的负担降低意味着在真实世界中可能转化为大量的成本节约和效率提升。

此外，该方法的自进化特性使其能够随临床数据积累不断改善决策质量，无需频繁人工干预，具有长期可扩展性。未来，SAGEAgent 有望被整合到临床决策支持系统中，辅助医生在诊断流程中做出更精准、更经济的决策。

相关推荐

查看原文 →arxiv.org