前沿大模型在真实世界事实核查中分歧高达 67%

背景

随着大型语言模型（LLM）在各类基准测试（Benchmarks）中表现优异，公众往往假设它们在处理现实世界的复杂信息时也能保持高度的准确性和一致性。然而，现有的评估体系多依赖于带有标准答案的静态数据集，这无法完全反映模型在面对动态、模糊且无标准答案的真实用户查询时的表现。

为了填补这一空白，一项新的研究将五个最先进的前沿大模型置于一个真实的“事实核查”场景中。研究团队收集了 1,000 条来自真实用户、近期提交给事实核查平台 Lenz 的声明，并要求这五个模型分别对每条声明给出裁决。这些声明并非经过精心挑选的基准测试题，而是未经过滤的真实世界主张，且没有公开的“金标准”答案。这项研究旨在揭示前沿模型在缺乏明确答案指引的情况下，其内部判断逻辑的一致性与可靠性。

核心内容

研究设计与方法论

研究选取了 1,000 条来自 Lenz 平台的真实用户声明作为测试集。这些声明均经过标准化处理：去除了情绪化语言和偏见，提炼为单一、中立且可验证的命题，并锚定于提交日期。所有声明均不早于 2026 年 2 月 15 日，确保了数据的时效性。

测试对象为五个当前最先进的前沿大模型（Frontier LLMs）。对于每条声明，模型需从四个裁决类别中选择一个：

1. True（真）
2. Mostly True（基本属实）
3. Misleading（具有误导性）
4. False（假）

由于每条声明在逻辑上只能有一个正确的裁决类别，因此模型之间的任何分歧都意味着至少有一个模型的裁决与“多数派”不一致，或者在统计学意义上存在标签不一致性。

主要发现：高度的分歧性

研究结果显示，前沿模型在真实世界事实核查中的共识度远低于预期：

• 67% 的声明存在分歧：在 1,000 条声明中，有 672 条（95% 置信区间：64–70%）未能形成严格的多数派共识（即至少 3 个模型选择相同答案）。在这些案例中，要么有一个模型反对多数派，要么裁决分散在三个或四个不同的类别中，导致无法形成多数派。
• 实质性分歧占比 34%：在 343 条声明（95% 置信区间：31–37%）中，分歧最严重的两个模型之间的裁决跨度达到 2 个或更多类别。例如，一个模型判定为“真”，另一个判定为“假”或“具有误导性”。这不仅仅是置信度校准的差异，而是对事实本质的实质性判断不同。
• 统计一致性有限：使用 Krippendorff's α（有序量表）计算的五位评委间信度为 0.639。这表明模型间的裁决具有某种结构化特征，并非完全随机，但一致性不足以将面板视为一个可互换的单一裁判。

模型行为差异

不同模型在裁决分布上表现出显著的行为偏好：

• 两极分化 vs. 中间分布：部分模型倾向于将裁决集中在“真”或“假”的两极；而其他模型则更频繁地将裁决分布在中间的“基本属实”和“具有误导性”类别中。这种差异反映了模型级别的决策先验与具体声明的交互作用。
• 中间地带的脆弱性：当面板意见趋于一致时，往往集中在明确的“真”或“假”上。在 328 条所有模型达成一致的声明中，仅有 4 条是统一判定为“具有误导性”，0 条是统一判定为“基本属实”。这表明模型在模糊地带（中间类别）的共识度极低。
• 模型间配对一致性：
  • 最高一致性：Gemini 3 Pro 与 Gemini 3 Pro + Search 之间的一致性最高（75%），这主要归因于它们共享基础模型。
  • 最低一致性：Claude Opus 4.7 与 Gemini 3 Pro 系列，以及 Gemini 3 Pro 与 Sonar Pro 之间的配对一致性最低，仅为 53%。

误差下限估算

研究通过统计方法估算了模型错误的下限。假设面板中最受欢迎的裁决是正确的（这是最乐观的假设）：

• 在 67% 的声明中，至少有 1 个模型给出了错误裁决。
• 在 45% 的声明中，至少有 2 个模型给出了错误裁决。
• 在 13% 的声明中，至少有 3 个模型给出了错误裁决（因为没有任何类别达到多数派，最多只有 2 个模型可能正确）。

值得注意的是，即使在全员一致的 33% 案例中，也可能存在共享的认知盲区，因此实际错误率可能高于上述统计下限。

关键要点

• 共识并非真理：前沿模型的多数派裁决并不等同于事实真相。多数派可能是错的，而持异议的模型可能是对的。研究仅将多数派作为衡量分歧的结构参考点，而非正确性的替代指标。
• 实质性分歧普遍存在：34% 的案例中，模型间的分歧跨越了两个以上的裁决等级（如从“真”到“假”），这超出了简单的置信度校准差异，反映了对事实判断的根本性不同。
• 模糊地带是分歧高发区：模型在明确的“真/假”判断上相对容易达成共识，但在“基本属实”和“具有误导性”等中间类别上分歧巨大。这与另一项针对 PolitiFact 数据集的研究结论一致，即细微标签是事实核查模型错误集中的区域。
• 模型架构影响裁决风格：不同模型在裁决分布上表现出不同的“性格”。有的模型保守，倾向于两极判断；有的模型则更倾向于使用中间类别，这可能与模型的训练数据、对齐策略或对“误导性”的定义理解有关。
• 真实世界数据的挑战性：与带有标准答案的基准测试不同，真实用户提交的声明往往缺乏明确的“金标准”。模型无法通过模式匹配来锚定答案，这极大地增加了评估其一致性和准确性的难度。

意义与影响

对 AI 评估体系的启示

这项研究挑战了当前依赖静态基准测试评估 LLM 能力的范式。它表明，即使是最先进的前沿模型，在面对无标准答案的真实世界复杂信息时，其内部逻辑也存在显著的不稳定性。这提示开发者和研究者，不能仅凭模型在基准测试上的高分就推断其在现实应用中的可靠性。

对事实核查与内容审核的影响

对于依赖 AI 进行事实核查或内容审核的平台而言，67% 的分歧率是一个巨大的警示。如果五个顶级模型都无法在三分之二的案例上达成一致，那么单一模型输出的裁决结果可能具有高度的不确定性。这强调了在关键决策场景中引入多模型交叉验证、人类专家介入以及透明化模型置信度的重要性。

对用户信任度的影响

公众往往将 AI 生成的答案视为权威真理。然而，本研究揭示了 AI 在事实判断上的“幻觉”或“分歧”是系统性的，而非偶然的。如果用户意识到 AI 模型在基本事实判断上存在高达 67% 的分歧，可能会削弱对 AI 辅助决策的信任。因此，AI 系统需要更好地向用户传达其判断的不确定性，而不是以绝对肯定的语气输出结果。

未来研究方向

研究指出，Krippendorff's α 等统计指标虽然有用，但不足以完全捕捉模型分歧的性质。未来的研究需要更深入地分析分歧产生的根源：是由于训练数据的偏差、模型架构的差异，还是对自然语言中模糊概念的解读不同？此外，如何开发更有效的机制来识别和纠正这些“实质性分歧”，将是提升 AI 可信度的关键方向。