Optimizing Large Language Models for Causality Assessment in Pharmacovigilance: Developing a Performance Metric as Objective for Bayesian Hyperparameter Optimization

背景

药物警戒（pharmacovigilance）中，因果关系评估是判断药物与不良事件之间关联的关键环节。传统上依赖临床专家手动评估，但随着个体病例安全报告（ICSR）数量的急剧增长，亟需可扩展的自动化评估方法。大型语言模型（LLM）在该领域展现出潜力，但在临床要求较高的任务上表现仍不理想，且推理时的超参数优化（尤其是温度参数）尚未被系统研究。本文由Maurizio Sessa等人发表于arXiv（cs.CL），旨在开发一种与高斯过程（GP）兼容的优化目标，并探索温度优化能否提升LLM与专家在Naranjo因果关系评估上的一致性。

核心内容

研究采用专家对FAERS（FDA不良事件报告系统）中分层抽样的723个案例进行因果关系评估作为金标准。使用OpenAI的GPT-5.2模型，结合链式思维（chain-of-thought, CoT）提示进行评估。研究者开发了四种复合指标作为优化目标：加权余弦相似度（WCS）、信息加权一致得分（IWAS）、熵加权一致与余弦相似度得分（EWACS）、以及共识加权余弦相似度（CWCS）。采用基于高斯过程代理模型与提升概率（Probability of Improvement, PoI）采集函数的贝叶斯优化，在温度区间[0, 2]内进行优化。实验表明，GPT-5.2在默认温度（T=0）下已优于先前的生物医学LLM，在Naranjo量表的第5题和第10题上分别达到74.1%和65.4%的一致率。熵分析确认仅这两题是信息量充分的优化目标。温度在总体层面未显示系统性影响（β=0.002, p=0.959）。但采用EWACS引导的贝叶斯优化后，因果关系分类一致率从45.0%提升至72.0%（提高27个百分点），其中“可疑”类案例提升最大（+42.9个百分点）。最终结论：EWACS被确定为最优的GP兼容指标；虽然不存在全局最优温度，但针对具体案例的个体化温度选择能带来有意义的改进，支持对温度进行优化以辅助LLM在药物警戒中的应用。

关键要点

• 研究背景：ICSR数量增长推动自动化因果关系评估需求，LLM有潜力但现有性能不足，推理时超参数（尤其是温度）优化未受关注。
• 方法：
  • 以723个FAERS案例的专家评估为基准。
  • 使用GPT-5.2配合CoT提示。
  • 开发四种复合指标：WCS、IWAS、EWACS、CWCS。
  • 采用高斯过程代理模型+PoI采集函数的贝叶斯优化，搜索温度范围[0,2]。
• 基线结果：GPT-5.2在T=0时优于先前生物医学LLM，Naranjo第5题一致率74.1%，第10题65.4%。
• 优化目标筛选：熵分析发现仅第5和第10题有信息量，其他题目无优化价值。
• 温度总体效应：无显著系统性影响（β=0.002, p=0.959），说明LLM性能主要由ICSR内容驱动。
• 优化效果：EWACS引导的贝叶斯优化将因果关系分类一致率从45.0%提升至72.0%（+27 pp），其中“可疑”类提升+42.9 pp。
• 最佳指标：EWACS被定义为最优的GP兼容优化目标。
• 结论：温度优化可提升案例级表现，支持在LLM辅助药物警戒中实施个体化温度调优。

意义与影响

本研究首次系统探索了LLM在药物警戒推理任务中的温度超参数优化，填补了该方向的空白。开发出与高斯过程兼容的复合指标EWACS，为未来自动化超参数调优提供了可行框架。虽然温度在总体层面无显著效应，但案例级优化带来了实质改进，提示LLM在临床评估中应结合案例内容进行个性化调整，而非依赖单一固定温度。该工作有望推动LLM在实际药物警戒系统中的可靠部署，提高因果关系评估的自动化程度和准确性，减少专家人工负担。同时，EWACS指标的设计思路（结合一致性与信息熵）或可迁移至其他需要专家-模型对齐的任务中。