归因盲区：检测语言模型何时依赖记忆而非检索上下文

背景

检索增强生成（Retrieval-Augmented Generation, RAG）技术旨在通过引入外部证据来 grounding（锚定/约束）语言模型的输出，从而减少幻觉并提高事实准确性。然而，当前领域缺乏一种可靠的方法来验证检索到的上下文是否真正主导了生成过程。这一验证机制是高风险场景部署的前提条件。

长期以来，业界存在一个标准假设：如果模型的输出与检索到的上下文一致，那么该输出就是由上下文控制的。然而，当检索到的文档与模型的预训练数据重叠时，这一假设就会失效。在这种情况下，模型完全可以从参数记忆（parametric memory）中生成看似忠实于事实的文本，而无论是通过记忆还是通过检索上下文，最终产生的输出在表面看来是难以区分的。

这种因无法区分模型是“记住”了知识还是“读取”了外部信息而导致的检测失效，被本文定义为“归因盲区”（Attribution Blind Spot）。

核心内容

为了解决上述问题，研究人员提出了一种名为“计算现实监测”（Computational Reality Monitoring, CRM）的方法。CRM 借鉴了认知科学中的“现实监测”（Reality Monitoring）框架，其核心原理是通过比较有上下文和无上下文两种情况下的内部表示（internal representations），来揭示基于成员条件的表示差异（membership-conditioned representational divergence）。这种差异是输出层面的监测工具系统性地遗漏的。

需要明确的是，CRM 并不旨在认证单个生成任务具体使用了哪个来源（即它不直接回答“这段文字是来自数据库还是来自记忆”），而是检测预训练 exposure（暴露/接触）是否留下了可测量的内部轨迹签名。这为源归因建立了一个必要的底层基础。

研究团队在跨越三个模型家族的九个模型变体上进行了实验，发现了以下关键现象：

1. 架构特定的层模式：这种表示差异主要集中在特定架构的层模式中。
2. 噪声干预验证：通过块级噪声干预（block-level noise intervention）获得了收敛的支持，证明了内部信号的有效性。
3. 泛化能力：该方法在不同任务和数据集上表现出良好的泛化能力。
4. 基准测试局限性：在存在领域混淆（domain-confounded）的基准测试中，该信号会消失，这表明该方法对数据分布的纯净度敏感。

研究结论指出，“归因盲区”是可测量的，并且可以部分解决。内部表示携带着在输出层面不可见的诊断信号，这为建立一种新系统奠定了基础：这类系统通过内部对证据来源的认知来 governing（支配/控制）其外部行为。

关键要点

• 归因盲区的定义：当检索上下文与模型预训练数据重叠时，模型可能仅凭参数记忆生成看似正确的文本，导致无法区分输出是源于记忆还是检索，形成“归因盲区”。
• 传统假设的失效：“输出与上下文一致即意味着由上下文控制”这一标准假设在预训练数据重叠场景下不再成立。
• CRM 方法原理：计算现实监测（CRM）通过比较模型在有/无上下文条件下的内部表示差异，来检测预训练数据留下的内部轨迹签名，而非直接判断单一生成的来源。
• 内部信号的价值：内部表示包含在输出层无法观察到的诊断信号，这些信号揭示了模型对预训练数据的依赖程度。
• 实验验证结果：在九个模型变体中，表示差异集中在特定的网络层，并通过噪声干预得到验证，证明了内部监测的有效性。
• 局限性：该方法在领域混淆的基准测试中效果减弱，说明其对数据分布的独立性有一定要求。

意义与影响

这项研究揭示了当前 RAG 系统的一个根本性缺陷：仅仅检查输出与检索内容的一致性不足以证明模型真正利用了外部证据。如果模型只是“回忆”起了预训练数据中的相关内容，那么 RAG 的增强效果可能只是表象。

“归因盲区”概念的提出，标志着从“输出级验证”向“内部状态监测”的范式转变。通过 CRM 方法，研究人员证明了内部表示可以作为证据来源归因的诊断工具。这对于高可靠性要求的应用（如医疗、法律、金融等领域的 AI 助手）具有重要意义，因为这些场景要求系统不仅输出正确，还要能追溯正确的依据。

最终，这项工作为构建具有“内部证据来源意识”的系统奠定了基础。未来的 AI 系统可能不再仅仅依赖外部提示来约束行为，而是通过监控内部状态来确保其行为真正由最新、最可靠的外部证据驱动，从而提升 AI 系统的可解释性和可信度。