GENE：为何基因组模型难以比较

背景

随着基因组基础模型（Genomic Foundation Models）的快速发展，该领域正经历着类似自然语言处理（NLP）早期的爆发式增长。然而，与 NLP 领域拥有统一、标准化的基准测试不同，基因组学领域的模型评估面临着严重的碎片化问题。

目前，研究人员通常使用不兼容的评估协议、针对特定任务定制的指标以及分散的基准数据集来衡量模型性能。这种缺乏统一标准的情况导致了一个核心痛点：不同模型之间的性能声称往往无法直接比较。当一个模型声称在某个特定任务上优于另一个模型时，由于评估环境、数据划分或任务定义的不同，这种“优越性”可能并不具备普适性，甚至可能是由评估偏差造成的。

为了应对这一挑战，研究人员引入了 GENEB，这是一个大规模的诊断性基准测试框架，旨在为基因组基础模型提供一个统一、可控且透明的比较平台。

核心内容

GENEB 的核心目标是解决基因组模型评估中的不可比性问题。它通过构建一个统一的探测（probing-based）协议，对来自 40 个不同基因组基础模型的冻结表示（frozen representations）进行了全面评估。

1. 评估规模与范围

GENEB 的评估范围极其广泛，涵盖了 100 个任务，这些任务被归类为 13 个功能类别。这种分类方式确保了评估不仅关注单一指标，而是覆盖了基因组学的多个生物学功能维度。

2. 统一协议与少样本学习

GENEB 采用统一的探测协议，这意味着所有模型都在相同的条件下接受测试。特别值得注意的是，该基准测试明确包含了 少样本（few-shot）场景。在基因组数据标注成本高昂的背景下，少样本学习能力是衡量模型泛化能力和实用价值的关键指标。通过冻结模型参数并仅训练一个简单的分类头（probe），GENEB 能够隔离模型本身表征能力的影响，从而更纯粹地评估预训练效果。

3. 多维度的对比分析

GENEB 允许研究人员在受控环境下比较以下关键变量对模型性能的影响：

• 模型规模（Model Scale）：参数数量的差异。
• 架构（Architecture）：不同的神经网络结构设计。
• 分词策略（Tokenization）：基因组序列如何被切分为 token。
• 预训练数据（Pretraining Data）：模型在何种数据分布上进行训练。

4. 主要发现：聚合排行榜的不稳定性

通过对 40 个模型在 100 个任务上的表现进行深入分析，GENEB 揭示了当前评估实践中的几个关键局限性：

• 排名剧烈波动：模型在整体聚合排行榜上的排名与其在各个任务类别中的表现并不一致。一个模型可能在某些类别中表现优异，而在其他类别中垫底。因此，单一的“总分”或“平均排名”具有误导性。
• 规模效应的局限性：模型参数规模的增加仅带来了适度且不一致的性能提升。这意味着单纯堆砌参数并不能保证在所有基因组任务上的通用优势。
• 架构与数据对齐的重要性：相比于参数数量，模型架构的选择以及与预训练数据分布的对齐程度，往往对最终性能产生更决定性的影响。

关键要点

• 评估碎片化是主要障碍：现有的基因组模型评估缺乏统一标准，导致不同研究结果之间难以直接对比，阻碍了领域的快速迭代。
• GENEB 提供统一基准：GENEB 是一个包含 100 个任务、13 个功能类别的大规模诊断基准，使用统一的探测协议评估 40 个基因组基础模型。
• 少样本能力至关重要：GENEB 特别强调了少样本学习场景，这反映了基因组学数据标注稀缺的现实需求。
• 聚合排名不可靠：模型在整体排行榜上的排名不稳定，任务类别间的性能差异巨大，简单的平均指标无法反映模型的真实能力。
• 规模并非万能：增加参数规模带来的性能增益有限且不稳定，模型架构设计和预训练数据的质量对齐比单纯扩大规模更重要。
• 需要类别感知的选择策略：研究人员应根据具体的功能任务类别来选择模型，而非依赖通用的排行榜。

意义与影响

GENEB 的发布对基因组机器学习领域具有深远的影响，主要体现在以下几个方面：

1. 建立可比性标准：GENEB 为基因组基础模型提供了一个“参考框架”，使得不同研究团队开发的模型可以在同一尺度下进行公平、透明的比较。这有助于消除虚假的性能声称，提高研究的可重复性。
2. 指导模型选择与设计：通过揭示任务级别的权衡（trade-offs），GENEB 帮助研究人员理解不同模型在不同生物学功能上的优势与劣势。这促使开发者从“追求通用高分”转向“针对特定任务优化”，并更加重视架构设计和数据预处理策略。
3. 推动领域规范化：GENEB 暴露了当前评估实践的局限性，呼吁社区采用更严谨、更细粒度的评估方法。它强调了在报告模型性能时，应提供任务类别层面的详细分析，而非仅仅依赖聚合指标。
4. 促进资源高效利用：研究表明参数规模并非决定性因素，这提示研究者在资源有限的情况下，应更关注数据质量和架构创新，而非盲目追求大规模预训练，从而促进该领域的可持续发展。

总之，GENEB 不仅是一个基准测试工具，更是对基因组模型评估范式的一次重要反思与重构，旨在推动该领域从“野蛮生长”走向“科学比较”的新阶段。