One mechanism for many mental spaces: a shared router over a value slot in language models

来源：arXiv cs.CL
提交日期：2026年7月11日
标题：一种机制对应多种心理空间：语言模型中共用的值槽路由器

背景

在语言理解和生成中，话语往往构建出不同于现实世界的语境：一幅画、一种信念、一段记忆、一个假设场景。每个这样的语境都被视为一个"心理空间"（mental space），同一实体在不同空间中可能取不同的值——例如，一朵花在现实中是红色，而在肖像画中则是紫色。形式语义学（formal semantics）通常将这些语境区分开来，因为它们涉及不同的逻辑（模态、时间、信念、描绘）；而Fauconnier的心理空间理论则将其视为同一种空间构建操作。本文探究Transformer语言模型在内部究竟实现了哪种处理方式，并发现了Fauconnier统一理论的机制版本。

核心内容

研究发现，语言模型在全部心理空间类型上使用同一套"路由器/槽位"（router/slot）格式：一个可复用的值槽（value slot）存储归因内容，一个可因果操控的路由器（称为空间索引，space index）选择读取哪个空间。研究者使用分布式对齐搜索（Distributed Alignment Search）训练了一个子空间（subspace）来控制某一种空间类型（如反事实、信念、虚构或时间），结果发现该子空间也能显著控制其他类型——远高于随机水平——且这一结论在三个模型家族上得到验证。值得注意的是，信念（belief）在形式语义学中被标记为特殊案例，但在该机制中并未与其他类型分离。

该路由器是低秩的（low-rank），与实体身份（entity identity）以加法方式组合，并通过少数几个后层注意力头（late-layer heads）发挥作用。两项进一步结果展示了该机制驱动推理（inference）并支持组合性（composition）：第一，在基于规则推导出的结论上训练的子空间，能够翻转模型推断的结果，同时使其与模型报告的内容相分离；第二，组合两个空间构建器（space-builders）会生成一个作用于共享槽位的新路由器。

本论文确立了这一机制的跨类型通用性。配套论文则深入探讨了信念类型——因为它在哲学、心理学和语言学（认识论、心智理论及命题态度报告）中具有特殊地位。

关键要点

• 语言模型在多个心理空间（反事实、信念、虚构、时间等）上采用统一的机制：一个共享的值槽加一个可操控的路由器。
• 路由器是低秩的，与实体身份以加法方式组合，且通过少数后层注意力头执行读取选择。
• 通过分布式对齐搜索（DAS）训练的、控制某一种空间类型的子空间，也能有效控制其他类型（远超随机水平），表明心理空间之间没有本质上的逻辑鸿沟。
• 信念在形式语义学中常被视为特殊类别，但在该机制中并未体现分离，支持Fauconnier的"统一空间构建"观点。
• 该机制不仅能控制空间读取，还能驱动实际推理：针对规则推导出的结论训练的子空间，可以翻转模型推断结果，同时与模型报告的内容脱钩。
• 组合多个空间构建器（如"在画中"与"在想象中"）可生成新的路由器，表明该机制支持组合性语义。

意义与影响

该工作为理解Transformer语言模型如何处理复杂语境（非现实、模态、命题态度等）提供了可操作的机械性解释。它验证了Fauconnier心理空间理论在神经网络中的实现可能性，将形式语义学中分立的逻辑类型统一为一个共享的"路由器+值槽"架构。这一发现有助于解释LLM在反事实推理、虚构叙事、信念追踪等任务上的能力来源，并为后续设计更可解释、可编辑的语言模型（如通过干预路由器来控制模型输出）提供了理论基础。同时，该研究也挑战了传统语义学中信念的特殊地位，提示模型可能采用了更统一的认知框架。