新方法无需模型评估即可压缩LLM基准测试

背景

随着大型语言模型（LLM）能力的快速提升，对其进行全面、可靠的评估变得日益重要且昂贵。当前，研究者通常会在多个基准测试（benchmark）上对LLM进行评测，例如MMLU、MTEB等，这些测试包含成千上万的提示（prompt）或任务。然而，完整运行所有基准测试需要大量的计算资源和时间，尤其是在需要频繁评估模型迭代（如训练过程中的检查点、不同超参数配置）时。因此，如何在不牺牲评估准确性的前提下，大幅压缩基准测试套件，成为LLM社区的一个关键问题。

传统的基准压缩方法通常有两种思路：一是基于已有模型评分选择整个基准测试的子集（即“基准选择”），但这需要大量模型评估结果作为输入；二是随机或基于简单多样性的提示子集采样，但往往难以保持模型得分的排名一致性。本文提出了一种称为“评估无监督基准核心集选择”（evaluation-unsupervised benchmark coreset selection）的新范式，其核心思想是在完全不使用任何模型评估结果的前提下，从多个基准测试中联合选取一个小的提示子集，使得在该子集上测得的模型分数和排名尽可能逼近完整套件的结果。这一思路将问题转化为一个子模函数优化问题，并以语义嵌入（semantic embeddings）为唯一输入，实现了高效、通用的基准压缩。

核心内容

本文研究了LLM基准核心集（coreset）选择问题：从多个基准测试中联合选取一个小的提示子集，使得在该子集上诱导出的模型分数和排名能够近似完整基准套件所得到的结果。作者提出了“评估无监督基准核心集选择”（Evaluation-Unsupervised Benchmark Coreset Selection）方法——选择算法完全不使用任何模型评估结果，并且以细粒度方式运作：它输出跨多个基准测试的提示子集，而不是选择整个基准测试的子集合。

方法层面，作者使用子模子集选择（submodular subset selection），并为该目标开发和评估了多种不同的子模函数，包括基于行列式点过程（Determinantal Point Process, DPP）的方法、子模互信息函数以及设施选址（Facility Location, FL）函数。在实验部分，作者构建了一个全新的大规模套件，包含35个异构基准测试，涵盖五个不同的能力类别、18个前沿LLM以及超过61,000个提示。实验发现：在多种核心集预算下，仅基于廉价语义提示嵌入（inexpensive semantic prompt embeddings）运行的设施选址（FL）函数，在保持LLM分数方面优于十二种基于分数和基于多样性的基线方法。此外，作者证明所提出的目标并不局限于评估无监督场景：在必须选择少数几个完整基准测试且拥有大量模型分数的设定下，同样的目标在MMLU和MTEB排行榜上匹配或超越了最先进的基线方法，同时计算成本大幅降低。

总体而言，实验结果暗示：子模性（submodularity）在一般情况下是基准压缩的强大且可靠的工具。

关键要点

• 核心问题：在不使用任何模型评估结果的前提下，从多个LLM基准测试中联合选择一个小的提示子集，使得子集上的模型分数和排名近似完整基准套件结果。
• 方法框架：评估无监督基准核心集选择，采用子模子集选择；比较了DPP、子模互信息、设施选址（FL）等多种子模函数。
• 关键创新：仅使用廉价语义提示嵌入（如句子嵌入）即可完成选择，无需模型评分，大幅降低计算开销。
• 实验设置：构建了包含35个异构基准测试、5大能力类别、18个前沿LLM、超过61K提示的大规模评估套件。
• 主要发现：设施选址（FL）函数在所有预算下均优于12种基于分数和多样性的基线，在保持LLM分数方面表现最佳。
• 扩展能力：在需要选择完整基准测试子集（而非提示子集）且已有模型分数的传统设定下，同样的FL方法在MMLU和MTEB排行榜上匹配或超越现有方法，且计算更廉价。
• 通用结论：子模性被证明是基准压缩的强大且可靠的工具，适用于无评分和有评分的场景。

意义与影响

这项研究为LLM评估的可扩展性提供了一种全新且高效的解决方案。其最核心的贡献在于证明了：在完全不依赖模型评分的前提下，仅利用提示的语义嵌入即可通过子模选择获得高质量的核心集。这意味着模型开发者可以在训练早期、探索阶段或资源受限时，快速获得对模型能力的可靠估计，而无需运行全部基准测试。这种方法特别适合以下场景：需要频繁评估模型检查点、进行超参数搜索，或对大量候选模型进行初步筛选。

此外，该方法不仅在无监督（无评分）设定下有效，在有大量评分数据的传统基准选择设定中也展现了竞争力，甚至更优。这表明子模性可能是一种统一原理，可以指导更广泛的基准压缩工作。文中35个异构基准测试的大规模实验进一步增强了结论的可靠性。

从实践角度看，该方法可以直接降低LLM评测的能耗和计算成本，加速模型迭代周期，并促进更公平的模型比较（因为压缩后的子集可能减少过拟合或基准泄露的影响）。未来工作可以探索将子模核心集选择与动态基准更新、多任务学习等结合，或将其扩展到更多模态的模型评估中。总之，这篇论文为LLM基准压缩领域提供了一个强有力的工具和新的理论视角。