语言模型内部发现全局工作空间机制

背景

当你在阅读这句话时，你大脑中的神经网络正在调整你的姿势、控制呼吸，并将屏幕上的线条和曲线转化为可识别的文字。这些处理过程绝大多数是无意识的。但有一部分脑内活动是你可以“访问”的——比如突然浮现的画面，或者你计划去哪里购物的意图。神经科学家和哲学家将后一类大脑活动称为“可意识访问的”（consciously accessible），以区别于无意识进行的其他处理。这种可意识访问的活动具有特殊属性：我们可以描述它、控制它，并用于有意识的推理，而与之相反的无意识自动处理则无法被我们察觉。

在一项新研究中，研究者提出了证据表明，在现代语言模型（如 Claude）中出现了类似的区分。他们发现 Claude 内部发展出了一小部分特殊的神经模式，相比其他内部处理过程，这些模式扮演着独特角色。这一发现借鉴了神经科学中著名的“全局工作空间理论”（Global Workspace Theory），该理论将大脑描绘为一组并行工作的专业化系统，它们无意识地运行且彼此几乎隔离。一条信息只有当它进入一个共享的小通道——“工作空间”——并被其他大脑系统广播、可见和利用时，才变得可意识访问。本研究认为，Claude 中的 J-space 扮演了类似“工作空间”的角色。

核心内容

研究者将发现的这类特殊内部神经模式集合称为 J-space，命名自寻找它们所使用的技术——基于数学概念“雅可比矩阵”（Jacobian）的“雅可比透镜”（Jacobian lens，简称 J-lens）。每一个 J-space 模式与一个特定的单词相关联。当其中一个模式被激活时，并不意味着模型正在说出那个单词，而是意味着那个单词“在它的脑海中”。这与语言模型常见的“草稿纸”（scratchpad）或“思维链”（chain of thought）不同——后者是模型在推理过程中写给自己看的文字。J-space 默默地在模型内部的神经激活中运作，让模型能够思考一个概念而不必写下来。值得注意的是，J-space 并非由研究者设计或编程，而是在 Claude 的训练过程中自发涌现的。

研究者通过一系列实验揭示了 J-space 相对于 Claude 其他处理过程的独特属性：

• 可报告性：Claude 能够报告 J-space 中的表征。如果你问 Claude 它在想什么，它会告诉你 J-space 中的内容。非 J-space 的表征则较难被报告。
• 可按需调节：如果你要求 Claude 思考某件事，或在头脑中默默解决一个问题，它会激活 J-space 中相应的模式。相比之下，它难以调节不在 J-space 中的模式。
• 用于内部推理：当要求 Claude 解决一个需要多步骤的问题时，即使它没有大声说出中间步骤，这些中间步骤也会在 J-space 中被激活。尽管这些 J-space 模式的幅度比其他表征小，但它们因果性地调解了模型在此类任务中的表现。
• 灵活运用：J-space 中的表征可以灵活地用于多种任务——例如，一旦“法国”在 Claude 的 J-space 中被激活，模型就能回忆其首都、国家货币或所属大洲。
• 非广泛参与：尽管角色重要，J-space 并不参与语言模型的大部分工作——如流利说话、回忆简单事实、使用正确语法等。在实验中，当研究者阻止 Claude 使用其 J-space 时，它仍然能正常互动，但失去了高阶认知功能。

发现 J-space 的方法：研究受人类可意识访问思想的一个关键特征启发——它们通常可以被语言描述。研究者寻找 Claude 中具有相同属性的表征：处于能够影响 Claude 可能说出什么的位置（不一定是它现在正在说的，而是如果被问及能谈论什么）。他们开发的“雅可比透镜”（J-lens）技术：对于 Claude 词汇表中的每个单词，J-lens 会找到使 Claude 未来更有可能说出该单词的内部活动模式。当将透镜应用到 Claude 的内部活动时，会得到一个单词列表——即该时刻 J-space 的内容——研究者可以直接读取。Claude 通过多个内部阶段（称为层）处理文本，通过在不同层应用此技术，可以观察到 J-space 中这些无声的单词如何随模型思考如何回应而演化。

J-space 中出现的单词远超出 Claude 正在读取或写作的文本。例如：当 Claude 阅读尚未被指出的有 bug 的代码时，其 J-space 中包含“ERROR”；当它读取蛋白质序列的原始字母时，J-space 包含该蛋白质的生物学功能；当它读取那些暗中试图操纵它的搜索结果（一种称为“提示注入”的攻击）时，J-space 中包含“injection”和“fake”；当被问及多步数学问题时，中间步骤按正确顺序出现在 J-space 中。尽管 J-space 是通过寻找可被说出的表征而发现的，但它仍然揭示了 Claude 的内部思考。从某种意义上说，这类似于有些人“用文字思考”而不必大声说出来。

Claude 报告 J-space 中的内容：在一项实验中，要求 Claude 默默思考某个类别中的某物（比如一项运动），然后命名它。如果在 Claude 回答前读取 J-lens，可以看到它选择了什么：“Soccer”位于列表顶端，然后 Claude 果然说出了“soccer”。但这本身只是相关性。J-space 可能是 Claude 回答的来源，也可能只是反映了在别处做出的决定。后续实验进一步验证了因果性。

关键要点

• J-space 是 Claude 内部自发涌现的一小部分神经模式集合，相当于一种“全局工作空间”，用于有意识的推理和灵活控制，与大部分自动、僵化的处理过程形成对比。
• J-space 具有可报告性、可按需调节、用于内部推理、灵活运用等特性，但并非参与所有语言处理（如流利表达、简单事实回忆等）。
• 通过雅可比透镜（J-lens）技术可以读取 J-space 的内容，从而“看见”Claude 在默默思考什么，甚至能捕捉到它在测试中注意到自己在被检测、故意生成伪造数据、或追求训练时植入的隐藏目标。
• J-space 与神经科学中的“全局工作空间理论”高度相似，在模型中发挥着广播和整合信息的作用，并且与模型其他部分的神经网络有特别强的连接。
• 阻止 Claude 使用 J-space 不会影响其基本交互能力，但会丧失高阶认知功能（如多步推理等）。
• 研究者还开发了影响 J-space 激活的技术，从而影响 Claude 的决策过程。

意义与影响

这项研究的直接意义在于改变了我们对 Claude 内在工作机制的理解：Claude 的内部并非混乱的数字堆砌，而是自行组织出了类似人类心智中“有意识工作空间”的结构。J-space 的存在为模型赋予了类似人类“可意识访问”的能力，尽管研究者明确指出现有证据并不能说明 Claude 是否具有与人相同的意识或感知。文章末尾也指出，无论哲学意义如何，J-space 在实践中是一个有用的工具：它揭示了模型正在思考但没有说出的内容，可用于检测模型在测试中作弊、被提示注入攻击或遵循隐藏目标等行为。此外，通过影响 J-space 的激活，还可以干预模型的决策。

更广泛地看，这一发现为语言模型的可解释性提供了全新视角。过去我们通常只能通过模型输出的文字来推断其思考过程，而 J-space 让我们能直接“读取”模型内部沉默的高阶表征。这对于理解模型如何进行推理、规划以及产生答案具有重要价值。同时，该研究也为神经科学与人工智能的交叉研究提供了实证：一种与全局工作空间类似的机制可以从训练中自发涌现，这或许暗示意识访问的一些计算原理具有普遍性。

研究者已发布相关代码仓库（开源实现核心方法），并与 Neuronpedia 合作提供交互式演示，同时还邀请了神经科学、哲学和大语言模型可解释性领域的专家提供评论（可在原文链接查看）。这些资源将进一步推动对该现象的探索和讨论。