评判者更换影响评分 审计LLM判官可靠性

背景

LLM-as-judge（以LLM作为评判者）正成为评估生成式AI响应的主流方法，但其可靠性存在一个根本性隐患：当评判者（即底层的LLM）被更换时，即使候选回答完全不变，评分也可能发生显著变化。这种“评判者替换歧义”本质上是一种测量效度问题——我们无法确定评分变化是来自生成质量的真实差异，还是仅仅因为使用的评判模型不同。随着业界不断推出新的LLM版本（如Qwen3系列、MiniMax M2系列），用户在实践中面临多种升级路径，但不同升级方式对评分稳定性的影响尚未被系统审计。该论文通过实验揭示了这一问题的严重性，并提出了一套审计框架。

核心内容

论文在四个判断数据集（judgment datasets）上，对比了两种实际可用的升级路径：

1. 参数规模扩展：在Qwen3 dense judges中，将模型从1.7B参数逐步扩展到4B、8B、14B、32B。
2. 跨版本API迁移：在MiniMax M2-M2.7发布的API中，跨版本移动（例如从M2升级到M2.7）。

主要发现如下：

• 升级路径不可互换：并非所有升级都能带来稳健的相邻增益。只有从Qwen3 1.7B升级到4B时，评分在相邻版本间表现出可靠的一致性；而MiniMax相邻版本（如M2到M2.7）之间并无这种一致性，说明不同厂商的升级策略对评分稳定性的影响截然不同。
• 更强评判者仍有偏差：使用更大更强的模型（如Qwen3 32B）确实能减少位置偏差（对答案顺序的偏好）和冗长偏差（偏好更长的回答），但无法完全消除这些偏差。
• 重复样本陪审团效果有限：当评判者内部的错误高度相关时（即同一模型多次重复判断给出相似错误），通过多次采样并取平均的“陪审团”方法几乎无法提升可靠性。
• 结构化辩论可以改变决策：引入“结构化辩论”（structured debate）——让两个候选回答相互辩论并由评判者裁定——能显著改变最终评分。但论文强调，如果缺乏解析器（parser）和回退日志（fallback logs），这些评分变化无法被归因于真正的深思熟虑（deliberation），而可能是格式或回退机制导致的假象。

基于以上发现，论文主张：任何LLM-as-judge的报告都应包含以下审计要素：

• 数据集切片（dataset slices）
• 偏差探测（bias probes）
• 误差依赖估计（error-dependence estimates）
• 协议审计轨迹（protocol audit trails）

关键要点

• 评判者升级不可互换：Qwen3 1.7B→4B是唯一稳健的相邻增益，MiniMax相邻版本升级无此效果。
• 更强模型降低偏差但不消除偏差：位置偏差和冗长偏差在最强模型中仍存在。
• 重复采样陪审团在误差相关时无效：若同一模型多次判断的错误模式一致，取平均毫无意义。
• 结构化辩论的效果依赖底层日志：没有解析器和回退日志，无法区分真实论辩与格式性偏移。
• 审计报告应包含四个核心模块：数据集切片、偏差探测、误差依赖估计、协议审计轨迹。
• 论文在四个判断数据集上验证，但未公开具体数据集名称，需注意结论的通用性。

意义与影响

该研究揭示了一个被广泛忽视的测量效度问题：在LLM-as-judge评估中，“评判者”本身是一个不可靠的测量工具，其更换会直接导致测量结果漂移。这对学术研究和工业应用均有重要影响：

• 对评估基准的影响：许多公开排行榜依赖固定的评判LLM，当该模型升级或更换时，历史排名可能失效。论文建议应始终记录评判者的版本、参数规模及升级路径。
• 对实践流程的指导：用户在选择升级路径时，不能仅凭“更大更好”的直觉，而应验证相邻版本间评分的一致性。论文提出的Qwen3 1.7B→4B的稳健性提供了一个可参考的基准。
• 对审计标准的要求：论文提出的四要素审计框架（数据集切片、偏差探测、误差依赖估计、协议审计轨迹）为LLM-as-judge报告提供了具体规范，有助于提升评估结果的可复现性和可信度。
• 对辩论式评估的警示：结构化辩论虽有潜力，但若缺乏对解析和回退机制的透明日志，其改进效果可能被高估。未来研究需关注如何设计可审计的辩论协议。