贝叶斯准确率新方法消除多选基准长度偏差

背景

在多项选择式基准测试中，通常使用候选答案的条件对数概率来对答案进行排序。然而，这种评分方式存在一个固有的长度偏差（length bias）：由于对数概率是逐 token 累加的，较长的答案在实践往往会受到相对于较短答案的惩罚。为缓解这一问题，常见的做法是用答案长度对分数进行归一化，即使用长度归一化精度（length-normalized accuracy）。但该论文通过实证发现，这种启发式方法经常过度纠正，反而引入了偏向较长答案的偏差。

核心内容

该论文首先对现有的两种评分规则——标准精度（standard accuracy）和长度归一化精度（normalized accuracy）进行了分析，刻画了它们分别在什么情况下适用，以及它们的长度偏差如何依赖于答案长度的分布。分析表明，标准精度会惩罚长答案，而长度归一化精度则可能偏向长答案，两者的偏差方向与大小随数据分布而变化。

基于上述分析，论文提出了一种新的评分规则——Bayesian accuracy（贝叶斯精度）。该规则通过引入一个显式的关于答案长度的先验分布，计算每个候选答案的后验概率，从而消除线性的长度效应。具体而言：

• Bayesian accuracy 对每个候选答案，计算在给定观测数据下该答案的后验概率，其公式中包含一个长度先验项，用于抵消长度对对数概率的线性累积影响。
• 它可以直接替代任何基于似然的多项选择评估方法，无需额外的前向传播（forward pass），即不增加计算开销。
• 在多个基准测试和少样本设置下，Bayesian accuracy 始终表现出比标准精度和长度归一化精度更低的经验长度偏差。

关键要点

• 标准精度：对数概率直接求和，导致长答案因 token 数量多而累积更多负对数概率，从而被系统性惩罚。
• 长度归一化精度：用答案长度去除对数概率总和，试图消除长度影响，但会因为不同长度答案的条件概率分布差异而过度纠正，反而偏爱长答案。
• Bayesian accuracy：引入显式的长度先验分布，计算后验概率，本质上是对数概率减去长度的对数先验（即线性长度项），从而消除线性偏差。
• 无需额外计算：Bayesian accuracy 的计算公式仅需已有对数概率和长度信息，不需要额外调用模型。
• 实证结果：在多个基准和少样本场景下，Bayesian accuracy 的长度偏差（以标准指标衡量）均低于另外两种方法。

意义与影响

该研究揭示了一个长期被忽视的问题：常见的长归一化启发式方法并非无偏的，反而引入了新的偏差。提出的 Bayesian accuracy 在理论上更合理——它基于贝叶斯框架，将答案长度视为一种先验信息，从而在评分中自然处理长度偏差。由于无需额外计算，它可以直接用于现有的大规模语言模型评估流程中，有望成为更公平、更稳健的多项选择评估标准。这对于提高基准测试的可靠性、公平比较不同模型（尤其是输出长度差异大的模型）具有重要价值。同时，该工作为其他涉及序列长度影响的评分任务（如生成式评估、翻译质量评估）提供了可借鉴的分析框架。