LLM 中的事实检索是一个冗余、分布式且非连续的过程

背景

大型语言模型（LLMs）在存储和回忆事实性知识方面表现出色，但关于实体表示（entity representations）如何被转换以启用特定属性检索的精确机制，目前仍是一个未被充分探索的黑盒。尽管我们知道模型“知道”某些事实，但对于这些知识在模型内部是如何被计算和提取的，学界缺乏深入的理解。

这种理解上的缺失导致了几个关键问题：我们难以精确定位知识在模型中的具体存储位置，也难以在不破坏其他能力的前提下对特定知识进行编辑。为了解决这一问题，研究人员需要一种方法来追踪从实体输入到属性输出的完整计算路径。

核心内容

本研究通过“属性计算路径”（attribute-computation path）的视角，深入探究了 LLM 中事实检索的内在机制。所谓“属性计算路径”，是指为了激发出目标属性，实体表示所必须经历的一系列计算步骤。

为了识别这一路径，研究团队提出了一种迭代式修补协议（iterative patching protocol）。该协议旨在识别执行此类计算所需的最小层子集。通过这种方法，研究人员对 LLaMA 3.1 8B 和 Qwen3 8B 模型进行了实验分析。

研究结果揭示了 LLM 中知识计算的两个主要特征：

1. 非连续性（Non-Contiguous）：属性计算路径并非连续地跨越所有层，而是经常跳过某些层。这意味着知识检索不是通过每一层均匀分布的计算完成的，而是存在特定的跳跃式处理。
2. 高冗余性（Redundant）：对于同一个实体和事实，模型拥有多个功能等效的计算路径。这表明模型内部存在大量的冗余机制，不同的层组合可能以相似的方式完成相同的知识检索任务。

这些发现暗示，知识的计算在模型中是高度分布式的。这种分布式特性可能解释了为什么在尝试定位和编辑特定知识时，常常出现“定位-编辑不匹配”（localization-editing mismatch）的现象——即我们找到的关键层可能并非唯一或主要的知识存储点，导致编辑效果不佳或产生副作用。这也表明，目前我们对 LLM 中知识的存储和检索机制的理解还远远不够。

关键要点

• 属性计算路径定义：研究将事实检索定义为从实体表示到目标属性激发的一系列计算步骤，称为“属性计算路径”。
• 迭代式修补协议：提出了一种新的实验方法，用于识别执行特定知识检索所需的最小神经网络层子集。
• 实验对象：方法应用于 LLaMA 3.1 8B 和 Qwen3 8B 两个主流开源模型。
• 路径非连续性：事实检索的计算路径是非连续的，模型在计算过程中会跳过某些层，而非均匀地经过每一层。
• 路径高冗余性：对于同一事实，模型存在多个功能等效的计算路径，显示出极高的冗余度。
• 知识分布式存储：知识计算是高度分布式的，而非集中在某一层或某一小块区域。
• 解释定位-编辑难题：分布式和冗余的特性可能解释了为什么现有的知识定位和编辑技术往往面临挑战（即定位不准或编辑失败）。

意义与影响

这项研究对理解大型语言模型的内部工作机制具有重要意义。首先，它挑战了将知识视为集中在特定层或特定神经元集合的传统观点，证明了知识检索是一个复杂、分布式且冗余的过程。

其次，这一发现为改进模型的可解释性提供了新方向。既然路径是非连续且冗余的，那么简单的层敏感性分析或局部修补可能无法准确捕捉知识的真实位置。未来的研究需要开发更复杂的工具来应对这种分布式特性。

最后，在模型编辑（Model Editing）领域，这一发现解释了为什么现有的编辑方法往往难以奏效。如果知识是高度冗余和分布式的，那么仅修改少数几个层可能不足以改变模型的行为，或者可能导致不可预见的副作用。理解这一机制有助于设计更鲁棒的模型编辑算法，从而实现更精准的知识更新和错误纠正。

总体而言，该研究强调了 LLM 中知识存储和检索机制的复杂性，指出我们对该领域的理解仍处于初级阶段，需要更深入的理论探索和实验验证。