CLIR-Bench：评估不规则临床时序问答的新基准

背景

临床时间序列数据（如心率、血压、血氧等）是患者监测、风险评估和临床决策支持的核心。然而，真实世界中的临床时间序列往往稀疏、采样间隔不规则且不同变量之间不同步。这使得模型在回答临床问题（Clinical Question Answering, QA）时，难以定位所需的时间证据。现有的基准测试大多集中于规则采样时间序列上的问答任务，或基于静态数据的医学问答，很少测试模型是否能够忠实地将其答案建立在非规则的时间观测之上。为了填补这一空白，该研究提出了 CLIR-Bench，一个针对非规则临床时间序列问答的基准测试。

核心内容

CLIR-Bench 基于去标识化的 ICU 记录，通过一个四阶段流程（four-stage pipeline）构建而成。该流程确保了数据质量和任务设计的系统性。整个基准包含 6,600 个问答实例，涵盖 11 个临床变量，并按照能力维度划分为 4 个维度和 11 个子任务。

每个问题都关联了明确的时间证据（explicit temporal evidence）和任务特定的答案推导规则，从而能够同时评估两方面的表现：答案的准确性（answer accuracy）以及模型对证据的使用情况（evidence use）。这种设计使得 CLIR-Bench 不仅可以评测最终的答案正确性，还能分析模型是否正确利用了给定的时间序列片段来推导答案。

实验结果表明，现有的通用模型（generalist models）在检索和推理稀疏临床证据方面表现不佳，突显出发展更强的不规则时间序列推理方法的必要性。论文的代码和数据已公开（链接见原文）。

关键要点

• 问题定义：针对非规则、稀疏采样的临床时间序列进行多模态问答（Multimodal QA）——这里的“多模态”可能指时间序列与文本问题的结合，因为临床变量数值本质上是数值型时间序列，而问句是自然语言。
• 数据来源：使用去标识化的 ICU 记录（de-identified ICU records），保证了隐私合规性。
• 规模与结构：6,600 个 QA 实例，11 个临床变量，4 个能力维度，11 个任务，覆盖多种推理需求。
• 可追溯性设计：每个问题配有明确的时间证据和答案推导规则，使得评估不仅限于答案正确与否，还能诊断模型是否真正基于证据推理。
• 性能发现：现有通用模型（如 GPT-4、Llama 等通用大模型）在处理这种不规则时间序列时表现不佳，尤其在稀疏数据下检索和推理能力显著不足。
• 公开资源：代码与数据集在 arXiv 论文页面提供的链接中开放获取。

意义与影响

CLIR-Bench 填补了非规则临床时间序列问答基准的空白，为未来研究提供了标准化的评估工具。其重要性体现在：

1. 推动模型能力提升：明确指出当前通用模型在时间序列证据推理上的短板，激励研究者开发专门针对稀疏、不规则时间序列的预训练、注意力机制或推理架构。
2. 促进临床AI的可信度：通过将答案与显式证据关联，CLIR-Bench 促进了可解释 AI 在临床场景中的应用——模型必须展示“哪些时间点/变量”支持了结论。
3. 加速真实部署：ICU 数据最能反映实际临床环境的复杂性，该基准有助于验证模型在真实低质量数据上的鲁棒性，从而减少从研究到临床的转化鸿沟。
4. 为其他领域提供参考：非规则时间序列并不限于医疗（如传感器网络、金融、物联网），该基准的设计原则和方法论（四阶段流程、证据锚定）可被借鉴到其他领域的时间序列问答基准构建中。