语言模型信念与现实分离依赖共享值槽路由
速览
论文揭示语言模型在计算中分离信念与现实，通过共享值槽绑定属性，查询位置的路由选择从信念或现实框架读取。填充方式有两种：断言信念直接绑定，派生信念通过可见性门控回溯。该机制在多个模型族中于3B-7B规模涌现，并适用于其他非实际语境（反事实、虚构、时间）。
AI 深度解读
背景
大型语言模型（LLM）在涉及心智理论（Theory of Mind）的任务中表现出令人惊讶的能力，例如能够区分角色的信念与客观现实。给定句子“Anna believes the cup is blue; in reality it is red”，模型既能正确回答“Anna认为杯子是什么颜色？”（蓝色），也能正确回答“杯子实际上是什么颜色？”（红色）。这种信念-现实分离是语言理解中一个基础但尚不清晰的认知计算机制。过去的研究多聚焦于模型是否能通过行为测试，而较少深入其内部计算如何实现这种分离。本文从 mechanistic interpretability（机制可解释性）的角度出发，系统定位了这种分离在语言模型计算图中的具体实现方式。
核心内容
本文发现信念-现实分离依赖于模型计算中两个位置上的两个可分离机制：
-
值槽（value slot）：一个通用的、位置固定的值绑定结构，负责存储当前需要归因的属性值（如颜色“蓝色”或“红色”）。这个值槽本身不携带任何信念-现实标签——干预它时，对信念读数和现实读数的影响强度相当。
-
路由器（router）：位于查询（query）位置的某种计算组件，负责决定当前查询要从哪个“框架”（frame）中读出值——是角色的信念框架，还是现实框架。路由器通过一对解耦的路由子空间（routing subspaces） 来实现这一选择，切换框架时不会注入捐赠者的值。
值槽的填充有两种路径：
- 断言信念（asserted belief）：文本直接提供信念值（如“Anna believes the cup is blue”中的“blue”），该值直接绑定到值槽中。
- 衍生信念（derived belief）：需要从角色能看到的东西推断信念值（如Anna看到杯子确实是蓝色的，但文本只描述了她的视线范围，未直接给出颜色）。这种路径通过一个可见性门控的回看（visibility-gated lookback） 机制实现：模型会回溯到描述角色可见性的相关表征，再间接得出信念值。
实验表明：
- 在任一路径上训练出的子空间（subspace）可以干预另一条路径的行为，说明两个路径共享同一值槽。
- 只有衍生路径依赖于描述的可见性（visibility）。如果角色的视线被遮挡，衍生信念的推理会受影响，而断言信念不受影响。
- 值槽本身没有信念-现实标签，因此对值槽进行干预时，信念读数和现实读数的变化程度相同。真正的分离存在于一对解耦的路由子空间中——它们在框架之间切换查询，但不传递原框架的值。
这些结果在三种不同架构（GPT系列、Llama系列等）上得到验证，使用的刺激（stimuli）经过特殊设计，去除了与心智理论基准中常见的捷径（shortcut）相关的混淆。行为本身在五个模型族中均在3B到7B参数规模之间突然涌现。
此外，本文深入研究了单一的信念-现实轴；配套论文表明，同样的槽-路由器格式也被其他非实际上下文（counterfactual、fictional、temporal）共享，即一个通用框架用于处理所有“非现实”语境。
关键要点
- 信念-现实分离不存储在任何单一的“信念-现实标签”位置，而是通过值槽和路由器分离实现。值槽是中性共享的，路由器负责选择框架。
- 路由器在查询位置通过一对解耦的子空间工作，切换框架时不注入原值，因此实现了“分离而不混合”。
- 值槽的填充有两条不同路径：断言信念直接绑定，衍生信念通过可见性门控回看间接获得。
- 衍生路径依赖可见性，断言路径不依赖，这为区分两种信念类型提供了内部因果证据。
- 在3B到7B参数规模之间，信念-现实分离行为在多个模型族中涌现，表明该能力不是小模型天然具备的，而是随规模扩展出现的特性。
- 相同机制（共享值槽+路由器）也适用于其他非实际上下文（反事实、虚构、时间），暗示语言模型使用了统一的通用框架来处理所有“与现实不同”的语境。
意义与影响
此项研究推进了我们对语言模型内部计算的理解，特别是其如何处理心智理论中的核心区分——信念与事实的分离。通过机械可解释性方法，本文不仅定位了具体的功能模块（值槽、路由器、可见性门控回看），还揭示了它们如何协同工作，且这些机制在不同架构中均成立，显示其具有一定的通用性。
从实际应用角度看，理解这些内部机制有助于诊断和修复模型在复杂推理（如谎言、假设、虚构故事）中的错误，而不只是通过微调行为测试来改善。此外，对值槽和路由器的发现为未来更精细的控制（如通过激活干预定向调整信念或现实读数）提供了理论基础。
更广泛地，本文提出的“共享值槽+路由器选择”框架似乎是一个更通用的结构化工具，用于处理所有非实际语境。这暗示语言模型可能内化了一种分层的表示策略：先统一编码命题内容（值），再通过路由机制赋予不同的世界框架标签（信念、反事实、虚构等）。这一观点可能启发认知科学与AI的交叉研究，帮助我们理解智能系统如何管理多个心智模型或世界模型。