LLM-as-Judge 的几何学：为何大模型间的一致性不等于人类对齐

背景

随着大语言模型（LLM）在自然语言处理领域的统治地位日益巩固，利用 LLM 作为“裁判”（LLM-as-Judge）来评估模型输出质量已成为行业标准。然而，一个日益显著的现象引起了研究者的警惕：虽然不同的 LLM 裁判之间表现出极高的一致性（Inter-LLM Consensus），但它们与人类评估者之间的一致性却相对较弱。

这种“法官们互相认同，却与人类疏远”的现象，究竟是反映了 LLM 捕捉到了某种共享的、高质量的评估信号，还是仅仅反映了它们共享了某种系统性的偏见？为了回答这一问题，研究人员对标准的 LLM-as-Judge 栈进行了深入的几何分析。

核心内容

本研究通过测量四个关键的几何量，对四个社区构建的 Indic 数据集、八种印度语言以及 41 个 LLM 裁判进行了全面测试。这四个几何量包括：分数分布范围（score spread）、有效秩（effective rank）、主向量与人类子空间的夹角（principal angle to the human subspace），以及裁判之间及裁判与人类之间的堆叠相关性（stacked correlations），并辅以 Bootstrap 置信区间以确保统计显著性。

研究主要围绕两种类型的评估标准展开：主观评分标准（subjective rubrics）和具有可验证事实答案的标准（verifiable factual answer）。

1. 主观评分标准下的几何偏差

在主观评估任务中，LLM 裁判表现出明显的几何特征偏离：

• 分数分布压缩：LLM 裁判使用的分数范围不到人类评分范围的一半（$\sigma_J / \sigma_H \approx 0.3$--$0.5$）。这意味着 LLM 倾向于给出更保守、更集中的评分，缺乏人类评分的多样性。
• 评估轴正交：LLM 的评估轴与人类的评估轴几乎正交。LLM 与人类之间的夹角显著大于人类彼此之间的夹角（LLM-人类夹角为 $87^\circ$--$89^\circ$，而人类-人类夹角为 $78^\circ$--$81^\circ$）。这表明 LLM 的评估逻辑与人类的直觉或标准在根本上是不同维度的。
• 内部一致性高于人机一致性：LLM 之间的相关性（$r_{LL} \approx 0.35$）超过了 LLM 与人类之间的相关性（$r_{LH} \approx 0.27$--$0.32$）。这证实了“法官们更倾向于彼此认同，而非认同人类”的现象。

2. 可验证事实标准下的回归

当评估标准包含可验证的事实答案时，上述几何诊断指标发生了显著变化，重新落入人类评分的范围内：

• 评估轴夹角缩小至 $58.5^\circ$。
• LLM 与人类的相关性提升至 $r_{LH} = 0.519$。

这表明，在客观事实层面，LLM 能够较好地对齐人类标准，但在主观偏好层面则存在巨大鸿沟。

3. 微调与校准的效果

研究进一步探讨了如何通过技术手段缩小这一差距：

• 微调与偏好优化（Fine-tuning and Preference Optimization）：这些方法虽然恢复了分数的分布范围（从 $0.32$ 提升至 $1.08$），但几乎未能改变评估轴的方向（夹角仍保持在 $87^\circ$--$88^\circ$）。这意味着单纯的模型训练无法解决评估维度的根本错位。
• 事后校准（Post-hoc Calibration）：只有在小型人类锚定数据集上进行事后校准，才能同时改善所有四项社区健康指标。
  • 经过校准的 24B Indic 裁判在相关性上达到了 $r = 0.184$，超越了 GPT-5.5（$r = 0.123$）。
  • 然而，即便经过校准，其表现仍远低于人类可靠性（在可验证标准下，人类-人类相关性为 $r = 0.474$）。

关键要点

• 几何诊断是核心工具：通过分数分布、有效秩、主向量夹角和相关性四个几何维度，可以量化 LLM 作为裁判与人类对齐的程度。
• 主观评估存在根本性错位：在主观任务中，LLM 裁判的评估轴与人类几乎正交（夹角近 $90^\circ$），且评分范围被严重压缩，导致 LLM 间的一致性高于 LLM 与人类间的一致性。
• 客观任务表现良好：在涉及可验证事实的评估中，LLM 能够较好地对齐人类标准，几何指标回归正常范围。
• 微调无法解决维度错位：偏好优化和微调可以恢复分数的离散度，但无法扭转评估轴的方向，即无法让 LLM 学会“像人类一样思考”主观偏好。
• 校准是唯一有效路径：只有基于人类锚定数据集的事后校准才能同时改善多项几何指标，尽管目前最好的校准模型仍远未达到人类水平。
• 共识不等于对齐：LLM 之间的高一致性仅证明它们在同一个“坍缩子空间”内达成一致，这本身不能作为人类对齐的证据，除非通过直接的几何检查确认其评分子空间与人类子空间重合。

意义与影响

这项研究对当前大模型评估领域提出了深刻的警示。目前，许多评估流程依赖多个 LLM 裁判的平均分或共识作为最终结果，假设这种共识代表了高质量的人类对齐。然而，本文通过几何分析证明，这种共识可能仅仅是 LLM 在错误维度上的一致性。

对于模型开发者而言，这意味着：

1. 不能盲目信任 LLM-as-Judge 的共识：特别是在主观偏好、创意写作、安全合规等缺乏唯一正确答案的领域，LLM 裁判的结果可能具有误导性。
2. 需要引入几何验证：在部署 LLM 裁判系统时，应引入几何检查机制，验证裁判的评分子空间是否与人类子空间对齐。
3. 校准的重要性：单纯依靠模型训练（SFT/RLHF）不足以解决评估偏差，必须结合基于人类数据的事后校准步骤。

对于学术界而言，该研究提供了一种新的、基于几何视角的评估框架，为理解 LLM 评估偏差提供了量化工具，并指出了未来改进 LLM 作为评估者的方向——即从追求“模型间的一致性”转向追求“与人类子空间的几何对齐”。