LLM评估器存在跨语言偏见，低资源语言评分偏高

背景

LLM 评估器（包括训练好的奖励模型和通过提示驱动的 LLM-as-a-Judge）通常通过成对准确率（pairwise accuracy）来验证其性能。在多语言场景下，一个普遍的假设是：高成对准确率意味着可靠的、语言中立的评分能力。然而，本文（arXiv cs.CL，2026年7月16日提交）系统性地挑战了这一假设，揭示了多语言评估器中存在的系统性偏差，并探讨了其成因与潜在危害。

核心内容

研究团队在 23 种语言上构建了语义完全相同的指令-回复对（instruction-response pairs），对多个多语言评估器进行测试。实验结果表明，这些评估器对不同评估语言分配了显著不同的分数。该偏差在统计上高度显著，并且在 8 个不同架构和训练范式的开源权重评估器（open-weight evaluators）中一致出现，甚至在前沿评估器（frontier judges）中也依然存在。更重要的是，偏差与语言的资源水平（resource level）呈现出强相关：低资源语言（lower-resource languages）被系统性地给予更慷慨（更高）的评分。

然而，这种偏差完全无法被成对准确率指标所捕捉。所有受测评估器的成对准确率均超过 90%，但在全局决策阈值下，不同语言之间的接受率（acceptance rate）差异最高可达 43%。这意味着，例如，在低资源语言中提交的有害内容更有可能绕过安全过滤器（safety filters）。如果尝试为每种语言单独设置阈值，则需要依赖语言识别（language identification），但代码转换提示（code-switched prompts）可以轻易绕过这种识别。

研究进一步探究了为什么低资源语言反而获得更高分数（而非更低）。他们发现模型的不确定性（uncertainty）与这一效应有关：当模型对答案不自信时（无论是通过负对数似然还是无 token 的不确定性度量），倾向于给出更高的分数。然而，在控制不确定性后，语言身份（language identity）仍然是显著的预测因子。偏差不能仅由内容难度（content difficulty）解释，而是一种结构性的、语言级别的错位（structural, language-level misalignment）。

关键要点

• 多语言 LLM 评估器存在系统性评分偏差：对不同语言分配显著不同的分数，且与语言资源水平负相关（低资源语言评分更高）。
• 成对准确率（>90%）完全无法揭示这种偏差；接受率跨语言差异可达 43%，导致安全过滤器对低资源语言有害内容的漏检风险显著增加。
• 该偏差普遍存在于多种开源评估器（8 种不同架构/训练范式）以及前沿评估器中，表明这是一个广泛的结构性问题。
• 低资源语言获得更高分数，部分原因在于模型不确定性：模型在更不自信时倾向于给出更高的评分；但即使控制不确定性，语言身份仍是独立且显著的偏差来源。
• 偏差不能用内容难度差异来解释，而是更深层的、语言级别（language-level）的 misalignment，意味着当前多语言评估框架在本质上是不公平且不可靠的。
• 按语言设置阈值可部分缓解问题，但需要可靠的语种识别模块，而代码转换（code-switching）可以轻易欺骗这一识别，因此不是根本解决方案。

意义与影响

该研究对多语言 AI 安全、评估基准设计以及模型对齐领域具有重要警示意义。首先，它揭穿了当前主流评估指标（成对准确率）在多语言场景下的虚假可靠性，提醒研究者和开发者不能仅依赖单一指标验证评估器。其次，低资源语言被系统性地过度宽容，这意味着现有的安全过滤器可能在最需要保护的语言社区（通常也是资源最少、监管最弱的地方）中反而最脆弱，可能造成实际部署中的安全盲区。最后，偏差源于结构性错位而非内容难度，提示我们需要在设计评估器和训练数据时引入全面的多语言对齐策略，而非简单的后处理阈值调整。后续研究应探索如何构建语言无关的鲁棒评估框架，或通过不确定性校准、多语言平衡训练等方式减轻此类偏差。