Evidence Absence Is Not Evidence Insufficiency: Diagnosing NEI Construction Artifacts in Fact Verification

背景

在事实核查（Fact Verification）领域，模型不仅需要判断一个声明是“支持”（Support）还是“反驳”（Refute），还需要能够识别出“证据不足”（Not Enough Information, NEI）的情况。NEI 标签意味着现有证据既不支持也不反驳该声明，或者根本缺乏相关证据。

然而，现有的事实核查基准测试往往在操作层面模糊了“证据缺失”（Evidence Absence）与“证据不足”（Evidence Insufficiency）之间的界限。虽然从逻辑上讲，两者截然不同——前者指完全没有相关信息，后者指有相关信息但不足以得出结论——但在许多基准数据集中，由于构建方式的不同，这两种情况在观察上变得难以区分。

这种混淆并非无害。NEI 标签的具体实现方式（即通过何种证据条件来定义 NEI）会潜移默化地决定验证器（verifier）学到了什么，以及其最终得分掩盖了哪些真实的能力缺陷。如果模型仅仅是通过识别数据集中的捷径线索（shortcut cues）而非真正的语义理解来预测 NEI，那么其泛化能力将大打折扣。

核心内容

本文提出了一种名为 NEI-CAP（Construction-Aware Protocol，构建感知协议）的诊断框架，旨在深入剖析事实核查中“证据不足”评估的内在缺陷。研究的核心观点是：NEI 标签的构建方式本身引入了人为的 artifacts（伪影/偏差），导致模型表现出虚假的能力。

1. NEI-CAP 协议机制

NEI-CAP 协议的核心在于追踪每个 NEI 样本的“构建家族”（construction family）。也就是说，每一个被标记为 NEI 的样本，都附带了生成该样本所使用的具体数据构建方法或证据条件标签。基于此，该协议执行以下三项主要审计工作：

• 捷径线索审计：检测模型是否依赖于非语义的、表面的线索（如特定的词汇共现或句式结构）来预测 NEI，而非基于证据与声明之间的逻辑关系。
• 困难案例人工裁决：通过人工审核那些模型容易出错的“硬案例”，以验证模型判断的可靠性。
• 跨构建泛化测试：测试模型在不同证据构建条件下是否具备能力迁移性。

2. 实验设置

研究者在 SciFact 风格的科学事实核查场景中实例化了 NEI-CAP 协议，并选取 FEVER 和 HoVer 作为有界的外部控制基准进行对比。这些基准代表了当前主流的事实核查数据集。

3. 主要发现

• 能力迁移失败：实验结果显示，NEI 能力在不同构建条件下并不具备可靠的迁移性。在“捷径敏感型”构建条件下训练的模型，无法识别那些语义相关但证据不足的案例。
• 混合训练效果有限：虽然使用混合构建条件进行训练可以缩小性能差距，但并不能完全消除模型在不同构建类型间的表现鸿沟。
• 固定声明诊断揭示深层问题：通过固定声明（fixed-claim）的诊断实验，研究发现证据条件的变化不仅影响 NEI 的召回率，还会改变模型对参考标签（Support/Refute）的信心。这意味着，一个聚合后的 NEI 总分可能会掩盖模型实际解决的具体问题类型。例如，模型可能在一种构建条件下表现良好，而在另一种语义相似但构建不同的条件下完全失效，但总体平均分看起来却不错。

关键要点

• 概念区分：“证据缺失”（完全没有证据）不等于“证据不足”（有证据但不够）。现有基准测试常将二者在观察层面混淆，导致评估失真。
• 构建偏差：NEI 标签的操作化定义（即如何构造 NEI 样本）决定了模型学习到的模式。如果构建过程包含捷径线索，模型就会学习捷径而非真正的推理能力。
• NEI-CAP 协议：这是一种新的诊断协议，通过追踪样本的构建来源，审计捷径线索，并通过人工裁决和跨构建测试来评估模型的真实性能。
• 泛化性缺失：在一种证据构建条件下训练好的模型，难以泛化到另一种构建条件。模型往往依赖于特定数据集的统计规律，而非通用的事实核查逻辑。
• 评分掩盖效应：单一的 NEI 聚合分数具有误导性。它可能同时掩盖了模型在“支持/反驳”标签上的信心偏差以及在 NEI 召回上的具体缺陷。
• 混合训练非万能药：混合不同构建条件的数据进行训练虽能改善部分指标，但无法根本解决模型对特定构建伪影的依赖。

意义与影响

这项研究对事实核查领域的数据集构建和模型评估具有重要的警示意义。

首先，它揭示了当前许多高性能事实核查模型可能存在“虚假繁荣”。模型在基准测试上的高得分可能并非源于其强大的逻辑推理或语义理解能力，而是源于对数据集构建过程中引入的捷径线索的记忆或过拟合。

其次，NEI-CAP 协议为研究人员提供了一套标准化的诊断工具。通过引入“构建感知”的视角，研究者可以更细致地剖析模型的弱点，区分模型是真正理解了“证据不足”的概念，还是仅仅学会了识别某种特定的数据模式。

最后，这一发现呼吁事实核查基准测试的设计者更加谨慎地处理 NEI 标签的构建过程。未来的基准测试应致力于减少人为构建带来的偏差，确保 NEI 样本能够真实反映现实世界中“证据不足”的复杂性，从而推动模型从“模式匹配”向真正的“逻辑推理”迈进。对于依赖事实核查系统的实际应用（如新闻验证、法律辅助、医疗决策支持等），理解模型在何种证据条件下会失效，比单纯追求总体准确率更为关键。