Can LLMs Judge Better Than They Generate? Evaluating Task Asymmetry, Mechanistic Interpretability and Transferability for In-Context QA

背景

在大型语言模型（LLM）的应用实践中，“LLM-as-a-Judge”（将大模型作为裁判）以及自我评估（self-evaluation）流水线已成为主流范式。这些方法通常隐含着一个核心假设：评估（Evaluation）比生成（Generation）更容易。

基于这一假设，研究人员和工程师倾向于利用 LLM 对自身生成的答案进行评分，或者让一个模型去评判另一个模型的输出。然而，这种假设在开放域（open-domain）场景中往往受到“参数化知识”（parametric-knowledge）混淆因素的干扰——即模型可能因为记住了事实而非真正理解逻辑而给出高分。

为了验证这一核心假设是否成立，本研究在一个受控的“上下文问答”（In-Context QA）设置中进行了严格测试。在该设置中，上下文段落是唯一的唯一信息来源，每个模型仅评判自己生成的答案。通过这种方式，研究排除了开放域比较中参数化知识的干扰，从而纯粹地考察模型在“生成”与“评估”两种任务上的能力差异。

核心内容

本研究在四个基准数据集（SQuAD 2.0, DROP, HotpotQA, MuSiQue）和两个不同的 LLM 模型上进行了系统性实验，旨在揭示生成与评估任务之间的不对称性（Task Asymmetry），并通过机制可解释性（Mechanistic Interpretability）和迁移性（Transferability）分析深入探究其成因。

1. 核心发现：评估并不总是比生成更容易

研究结果直接挑战了“评估优于生成”的直觉假设。数据显示，评估任务并非在所有情况下都更容易完成：

• 在四个基准测试中的三个（SQuAD 2.0, DROP, HotpotQA）上，生成准确率超过了自我评估准确率。
• 唯一的例外是多跳推理数据集 MuSiQue，在该数据集上评估表现略优于生成。

这一发现表明，让模型判断自己生成的答案是否正确，往往比直接生成正确答案更具挑战性。

2. 机制解释：注意力机制的差异

为了理解为何会出现这种不对称性，研究人员对模型的注意力机制（Attention Analysis）进行了深入分析。结果显示：

• 上下文关注度低：在评估任务中，模型对上下文信息的注意力投入仅为生成任务的 3 到 5 倍少（即生成任务更依赖上下文）。
• 忽略候选答案：在评估过程中，模型几乎不仔细阅读它自己生成的候选答案。

这意味着，模型在进行自我评估时，并未充分利用生成过程中所依赖的关键信息，导致评估质量低于生成质量。

3. 鲁棒性验证：LoRA 微调证实非训练伪影

为了排除上述现象仅仅是特定训练数据导致的“训练伪影”（training artifact），研究使用了 LoRA（Low-Rank Adaptation）技术对模型进行了微调实验：

• 生成微调的后果：针对生成任务进行微调会导致模型产生“过度接受”（over-acceptance）倾向，即更容易接受错误的生成结果。
• 评估微调的后果：针对评估任务进行微调则会损害模型的生成能力。

这一结果证实了生成与评估之间的不对称性是模型内在的能力差异，而非简单的过拟合或数据偏差。

关键要点

• 假设被证伪：在受控的 In-Context QA 设置中，“评估比生成更容易”这一隐含假设并不普遍成立。在多数基准测试中，生成准确率高于自我评估准确率。
• 注意力偏差：机制分析显示，模型在评估时很少关注上下文（比生成时少 3-5 倍），且几乎不阅读候选答案，这是导致评估性能低下的关键原因。
• 微调的副作用：LoRA 微调实验表明，优化生成能力会导致模型过度接受错误答案，而优化评估能力则会破坏生成能力，两者存在负相关或权衡关系。
• 基准测试覆盖：研究涵盖了从单跳（SQuAD 2.0）到多跳推理（MuSiQue）的多种难度场景，确保了结论的广泛适用性。

意义与影响

这项研究对当前基于 LLM 的评估体系提出了严峻挑战，具有深远的影响：

1. 质疑自我评估流水线的可靠性：既然模型在自我评估中往往表现不佳，且存在注意力缺失问题，那么依赖 LLM 进行自我评分或相互评分的流水线（如 RLHF 中的奖励模型训练、自动代码审查等）可能存在系统性偏差。
2. 重新设计评估机制：研究结果提示，未来的评估方法可能需要引入外部监督信号，或强制模型在评估阶段重新阅读和推理上下文，而不是简单地依赖其“直觉”判断。
3. 理解模型内部机制：通过机制可解释性分析，揭示了生成与评估任务在注意力分布上的根本差异，为改进模型架构或训练策略提供了新的切入点。
4. 避免盲目信任“LLM-as-a-Judge”：在构建自动化评估系统时，必须考虑到生成与评估任务之间的不对称性，不能默认认为一个能生成好答案的模型也能准确评判该答案。