CaresAI在SMM4H-HeaRD 2026上预测TNM分期

背景

癌症分期是临床诊疗的核心环节，其中TNM分期系统（Tumor、Node、Metastasis）通过描述原发肿瘤、区域淋巴结转移和远处转移情况来评估癌症严重程度。传统的TNM分期依赖病理学家对临床报告的手工判读，过程耗时且存在主观差异。随着自然语言处理（NLP）技术的成熟，利用病理报告文本自动预测TNM分期成为降低人力成本、提高一致性的潜在途径。SMM4H-HeaRD 2026第六届共享任务正是基于这一需求，要求参与者使用TCGA（The Cancer Genome Atlas）病理报告独立预测T、N、M三个标签。CaresAI团队参与了该任务，并提出了结合传统机器学习与深度学习的方法，本文即为该工作的完整描述。

核心内容

本研究的目标是利用TCGA病理报告文本，独立预测T（肿瘤）、N（淋巴结）、M（远处转移）三个分期标签，将其建模为三个多标签分类任务。实验探索了经典机器学习和深度学习方法。在特征层面，使用了TF‑IDF（词频‑逆文档频率）以及预训练语言模型ClinicalBERT、BioBERT和PubMedBERT产生的嵌入表示。这些表示随后输入到以下分类器中：Logistic Regression (LR)、LightGBM（轻量级梯度提升机）、Feed‑Forward Neural Networks (FFNN) 和Wide Residual Networks (WRN)。

主要结果如下：

• 单独使用各嵌入模型时，它们在TNM标签分类上的表现相近；而将不同嵌入组合后，预测能力有所提升。
• 在训练阶段，WRN取得了AUROC分数：T=0.839、N=0.8502、M=0.803，对应的F1分数分别为0.622、0.702、0.9337。
• 在训练阶段，LightGBM + TF‑IDF表现最佳：AUROC分数分别为T=0.9368、N=0.9524、M=0.8311；F1分数分别为T=0.7559、N=0.7384、M=0.7017。
• 在Codabench的测试集上（两个测试集），测试集1的Macro‑F1分数：T=0.978、N=0.957、M=0.879；测试集2的Macro‑F1分数：T=0.807、N=0.767、M=1.0。

然而，模型的整体性能在测试阶段出现下降。从测试集1到测试集2，跨所有分期的Macro‑F1分数从0.938降至0.858，表明存在模型泛化能力不足、对类别不平衡敏感以及处理长篇幅临床文档的挑战。尽管本研究提供了高效的基线模型和可复现的流程，但在实际临床部署前仍需进一步优化和验证。

关键要点

• 任务定义：将TNM分期预测分解为三个独立的多标签分类任务（T、N、M），使用TCGA病理报告文本。
• 特征与模型：比较了TF‑IDF和三种生物医学领域BERT嵌入（ClinicalBERT、BioBERT、PubMedBERT）；分类器包括LR、LightGBM、FFNN和WRN。
• 最佳训练结果：LightGBM + TF‑IDF在训练阶段表现最优，AUROC达0.83‑0.95，F1达0.70‑0.76。
• 嵌入组合效果：组合不同嵌入比单独使用任一嵌入更好，但提升幅度有限。
• 测试集性能衰减：模型在测试集上的Macro‑F1从0.938（测试集1）降至0.858（测试集2），说明泛化能力不足。
• 主要限制：类别不平衡（尤其M标签的正例稀少）、长文档建模困难、对未见数据分布敏感。
• 基线价值：提供了一个可复现的基准流程，但尚未满足真实临床环境的要求。

意义与影响

该研究为自动化TNM分期预测提供了清晰且可复现的基线。其意义在于：

1. 方法学贡献：系统比较了传统特征（TF‑IDF）和现代预训练嵌入在临床文本任务上的表现，证实了简单模型（LightGBM + TF‑IDF）在某些场景下仍具竞争力。
2. 暴露关键挑战：测试集性能的大幅下滑凸显了临床NLP中泛化能力的脆弱性，特别是面对不同医院、不同撰写风格的病理报告时。这指导后续研究应重点关注领域自适应和数据增强。
3. 推动任务可用性：尽管当前模型尚不能直接投入临床，但该工作为后续优化提供了清晰的评价基准。未来工作可针对长文档切分策略、类别重采样、大语言模型（如LLaMA、GPT）的微调进行改进。
4. 开放与可复现：通过在Codabench上公开测试集结果和可复现流程，使其他团队能够在同一平台上对比和改进方法，促进了共享任务的良性竞争。

总体而言，CaresAI的工作验证了从病理报告自动推断TNM分期的可行性，同时诚实地揭示了当前技术的局限性，为迈向实际临床部署指明了改进方向。