← 返回信息流
技术博客arXiv cs.CL·3 小时前

A Shared Subcircuit Lets LLMs Count Down Across Tasks

AI 深度解读

背景

大型语言模型（LLM）在多种任务中展现出惊人的能力，其中一类任务要求模型精确跟踪“还需要生成多少个 token”才能达到某个目标。例如，写一个恰好包含12个单词的句子、在DNA序列中结束于正确的密码子、或者格式化一个ASCII表格使其对齐——这些看似无关的任务都依赖于同一个底层能力：对剩余步数的计数。此前的研究曾在单个前沿模型上发现过一种用于计数的神经表示模式（motif），但尚不清楚这种模式是否在模型间共享，以及它如何泛化到不同任务。本文通过逆向工程 Llama-3.1-70B-Instruct，识别出一个通用的“倒计时子电路”（countdown subcircuit），并证明该子电路不仅在同一模型的不同任务中复用，其底层表示结构与另一个前沿模型上发现的 motif 完全一致，暗示这类机制可能是 LLM 的通用计算原语。

核心内容

论文首先在受控环境中隔离了倒计时子电路。他们设计了一个任务：让模型写一个固定长度的句子，且句子必须以某个指定单词结尾。通过分析模型的内部激活，他们定位到一组特定的神经元（或注意力头）集合，这些神经元在模型生成过程中持续追踪“当前位置”与“目标长度”之间的差值，并输出一个“剩余时间”的估计信号。这一子电路在句子生成的不同阶段均被激活，且其行为与任务的具体语义无关——只要存在明确的长度目标，子电路就会启动。

接着，作者深入研究了该子电路所使用表示的几何结构。他们发现，子电路内部编码“剩余步数”的方式并非简单的线性标量，而是一种高维的、沿着特定方向排列的表示。更重要的是，他们发现这种表示 motif 与之前在一款不同的前沿模型（未具名，但文献引用中提及）上针对另一个独立任务（如序列结束判定）所发现的 motif 完全相同。这意味着，尽管模型架构和训练数据不同，该子电路的核心计算结构却跨模型共享，可能是一种由语言建模预训练目标自然涌现出来的通用计算模式。

最后，为了验证子电路是否在更广泛的任务中被复用，作者采用了无监督探针（unsupervised probing）方法。他们在自然语言数据集（如指令遵循、格式化输出等）中，不依赖任何人工标注，自动检测倒计时子电路的激活模式。结果发现，在大量看似与“计数”无关的任务中——例如根据上下文推断目标长度（如“写一个短句，大约10个词”）——该子电路同样被激活。这表明，LLM 并非为每个任务单独学习计数机制，而是复用同一个核心子电路，仅根据任务上下文调整目标长度这一参数。

关键要点

  • 论文在 Llama-3.1-70B-Instruct 中定位了一个通用的“倒计时子电路”，专门负责跟踪当前 token 位置与目标长度之间的差距，并估算剩余步数。
  • 该子电路最初在受控的固定长度句子生成任务中被隔离，其行为与任务的具体语义解耦，只依赖于是否存在显式或隐式的长度目标。
  • 该子电路所使用的表示几何结构（motif）与之前在其他前沿模型上发现的计数相关 motif 完全一致，表明这种计算模式可能跨模型共享。
  • 通过无监督探针，在自然语言数据集中发现了多种其他任务（如根据上下文推断目标长度）也激活了该子电路，验证了其泛化能力。
  • 该工作提供了一种逆向工程方法：从单个示例中分离出子电路，然后通过无监督方式自动发现其在不同任务中的复用情况，从而理解 LLM 行为的泛化机制。

意义与影响

这项研究揭示了 LLM 内部一个关键的计算基元——倒计时子电路。其意义在于：

  1. 可解释性进展：以往对 LLM 内部机制的理解往往停留在单个任务或单个模型上，而本文首次展示了子电路可以跨任务、跨模型共享，这为构建通用的“模型神经系统图谱”提供了基础。逆向工程不再只是黑盒分析，而是可以像解剖学一样，识别出反复出现的功能模块。

  2. 泛化理论：LLM 之所以能泛化到未见过的任务，很可能不是因为每个任务都从头学习规则，而是通过复用少量通用的子电路（如计数、比较、循环等），再根据上下文调整参数。本文的倒计时子电路就是一个典型例子：它既用于显式指令（“写12个单词”），也用于隐式推断（“写一个短句”）。

  3. 对模型设计的启示：如果跨模型共享的 motif 是语言建模预训练的自然产物，那么未来的模型设计可以主动强化这些子电路，或者通过特定的训练数据（如大量需要计数的任务）来增强其鲁棒性。同时，这也意味着不同模型之间可能存在“通用弱点”——如果某个子电路存在漏洞，它可能在所有依赖它的任务中暴露。

  4. 方法论贡献：无监督探针结合子电路隔离，提供了一种可扩展的“行为反编译”流程。研究人员可以先用一个受控任务分离出候选子电路，再在大量自然数据中自动搜索其激活模式，从而大幅加速对 LLM 行为机制的理解。未来，这类方法可能帮助我们识别出更复杂的子电路，如逻辑推理、算术运算、甚至社会规范遵循等。

相关推荐

查看原文 →arxiv.org