思维链在探测时为何有效？局部共现而非全局推导

背景

思维链（Chain-of-Thought, CoT）提示技术已被广泛证实能显著提升大语言模型（LLM）在复杂推理任务上的准确率。尽管其效果显著，但学界对于“究竟理性文本（rationale text）的哪些具体属性驱动了这种性能提升”这一核心问题，理解仍然有限。

既往研究大多聚焦于模型**生成阶段（generation-time）**的行为，即关注模型是如何一步步生成推理过程的。然而，这种视角忽略了另一个关键维度：当推理过程已经固定并作为上下文输入给模型时，究竟文本中的什么特征改变了最终的输出结果？

本文旨在从**探测时（probe-time）**的视角切入，回答一个不同的问题：给定上下文中固定的理性文本，文本内部的哪些结构特征导致了答案准确率的提升？

核心内容

研究团队通过一系列受控实验，深入剖析了固定理性文本对模型输出的影响机制，并识别出两个互补的收益来源：

1. 词汇激活效应（Lexical Activation Effect）

实验发现，即使将理性文本中的单词进行全局随机打乱（globally word-shuffled rationale），其表现依然显著优于没有任何理性文本的基线模型。这一结果强有力地表明，仅仅通过词汇层面的激活（即关键词的出现），就能带来显著的性能增益，而无需依赖完整的句子结构或逻辑顺序。

2. 局部共现而非全局逻辑

在词汇激活的基础上，结构化文本带来的额外增益主要来源于短距离的令牌邻接（short-range token adjacency），而非句子层面的逻辑排序。

• 实验显示，只要保留连续长度为 $n^\star=2$ 到 $3$ 个令牌的窗口（即保留局部的短语或词组搭配），就能恢复大部分接近完整 CoT 性能的增益。
• 相比之下，打乱句子顺序或破坏长距离的逻辑依赖，对性能的影响远小于预期。

3. 排除其他干扰因素

支持性实验排除了以下因素作为主要驱动力的可能性：

• 答案复制：模型并非简单地复制理性文本中显式声明的答案或答案值。
• 完整的语法实现：完整的语法结构本身并非性能提升的核心原因。

4. 泛化能力验证

进一步的泛化实验表明，上述定性模式在不同模型家族、不同参数规模以及不同数据集上均保持稳定。这证实了该发现并非特定于某个模型或任务的偶然现象。

基于以上证据，研究提出了**局部共现激活（Local Co-occurrence Activation, LCA）**的解释框架。该框架认为，探测时 CoT 的性能增益主要源于词汇激活和短距离令牌的共现，而非句子层面的全局逻辑推导。

关键要点

• 视角转换：从关注模型“如何生成”推理过程，转向关注“给定固定推理文本”后，文本内部结构如何影响最终答案。
• 词汇的重要性：即使理性文本的逻辑顺序完全被打乱，仅凭关键词汇的出现（词汇激活）就能带来显著的准确率提升，优于无提示基线。
• 局部性优于全局性：结构化文本带来的额外增益主要依赖于短距离的令牌邻接（2-3个令牌的连续窗口）。保留这些局部共现模式即可恢复大部分性能，而长距离的逻辑依赖并非必需。
• 非复制机制：性能提升并非因为模型机械地复制了答案或依赖完整的语法结构。
• LCA 理论：提出了“局部共现激活”理论，认为 CoT 在探测时的有效性主要归因于局部词汇和短语的共现效应，而非全局的逻辑推导能力。
• 广泛适用性：该现象在多种模型架构、规模和数据集中均表现稳定，具有普适性。

意义与影响

这项研究对理解大语言模型的推理机制具有深远意义：

1. 挑战“逻辑推导”的直觉认知：传统观点常认为 CoT 的有效性源于模型遵循了严格的逻辑步骤。然而，本研究指出，在探测阶段，模型可能更多是利用局部词汇的统计共现模式来预测答案，而非进行复杂的全局逻辑演算。这提示我们，LLM 的“推理”能力可能在一定程度上是表面化的或基于局部统计特征的。
2. 优化提示工程与模型训练：如果局部共现是关键驱动因素，那么在构建提示模板或训练数据时，强化关键概念之间的局部紧密关联（如特定的短语搭配、术语邻近度）可能比追求复杂的长距离逻辑结构更有效。
3. 重新评估模型能力：这一发现暗示，当前模型在 CoT 任务中的表现可能部分依赖于对局部语言模式的记忆和匹配，而非真正的符号逻辑推理。这对于评估模型的真正智能水平、设计更鲁棒的评估基准以及开发更透明的推理模型提供了新的理论依据。
4. 简化推理过程：既然短距离窗口能恢复大部分性能，未来在资源受限场景下，或许可以通过简化推理文本的结构或聚焦于关键局部片段来维持较高的推理准确率，从而降低计算开销。