Linear Probes Detect Task Format, Not Reasoning Mode in Language Model Hidden States

背景

在大型语言模型（LLM）的可解释性研究（Mechanistic Interpretability）领域，线性探测（Linear Probing）已成为一种主流的分析工具。研究人员通常假设，如果模型能够区分不同的推理类型（如演绎、归纳、溯因），那么其隐藏状态（Hidden States）中应当存在对应的、可被线性分类器分离的表征结构。

基于这一假设，许多研究声称 LLM 在训练过程中习得了针对特定推理模式的独立表征。然而，这种结论往往忽略了任务格式（Task Format）本身带来的混淆变量。例如，不同推理任务在输入长度、选项数量、源文本身份等方面存在系统性差异。如果这些格式特征而非推理逻辑本身主导了隐藏状态的几何结构，那么所谓的“推理模式表征”可能只是对任务表面特征的过拟合。

本文旨在通过严格的实验设计，检验线性探测是否真的能捕捉到模型的推理模式，还是仅仅检测到了任务格式的混淆信号。

核心内容

本研究对 Qwen3-14B 模型进行了系统性测试，涵盖了经典推理三分法中的三种类型：

• 演绎推理（Deductive）：使用 LogiQA 2.0 基准。
• 归纳推理（Inductive）：使用 ARC-Challenge 基准。
• 溯因推理（Abductive）：使用 $\alpha$NLI 基准。

1. 表面现象：极高的探测准确率

在模型的第 32 层（共 40 层），研究人员使用线性探测器对隐藏状态进行分析，发现其交叉验证准确率达到了 100%。几何分析显示，不同推理类型的表征空间具有高度分离性：

• 本征维度（Intrinsic Dimensionalities）：分别为 20.6、28.5 和 33.6。
• 凸包污染率（Convex Hull Contamination）：均低于 1.5%。

这些指标通常被视为模型内部存在清晰、独立表征结构的强有力证据。

2. 核心发现：分离是由格式混淆驱动的

尽管准确率极高，但进一步的分析揭示，这种分离并非源于推理逻辑的差异，而是由任务格式中的混淆变量（Confounds）完全驱动。当研究人员对以下变量进行残差化处理（Residualizing）后，探测准确率骤降至随机水平（Chance Level）：

• 源身份（Source Identity）：数据来自哪个具体来源。
• 选项数量（Option Count）：题目提供的选择项个数。
• 响应长度（Response Length）：答案或推理过程的字符/Token 长度。

这一结果表明，线性探测器实际上是在识别这些表面格式特征，而非底层的推理机制。

3. 推理一致性与因果验证

为了进一步验证推理模式的共享性，研究采用了两种补充方法：

• Trace-Anchor 相似度分析： 结果显示，不同任务间的推理过程具有高度的一致性， agreement 率达到 42.5%，显著高于随机预期的 33.3%。这表明模型在处理不同推理类型时，底层计算结构是大量共享的，而非截然分开。

• 因果引导（Causal Steering）实验： 研究人员使用随机对照组（$n=20$）进行因果干预，试图通过修改隐藏状态来改变模型的推理模式。结果显示，几何结构的分离与推理模式的功能性链接并不存在（$p=0.286$）。这意味着，即使隐藏状态在几何上被线性分离，这种分离也不具备功能上的因果效力来区分推理类型。

关键要点

• 线性探测的局限性：高准确率并不等同于捕捉到了语义或逻辑结构。线性探测器极易受到任务格式（如长度、选项数）等混淆变量的影响。
• 格式混淆的主导作用：在 Qwen3-14B 的测试中，一旦控制了源身份、选项数量和响应长度，推理类型的线性可分性即消失，准确率降至随机水平。
• 推理结构的共享性：Trace-Anchor 分析显示，不同推理任务间存在显著的共享推理机制（42.5% vs 33.3% chance），反驳了“不同推理类型拥有完全独立表征”的假设。
• 几何分离无功能因果性：因果引导实验证实，隐藏状态的几何分离与推理模式之间没有功能性的因果联系（$p=0.286$）。
• 方法论建议：在进行机制可解释性研究时，必须常规性地执行格式去混淆（Format Deconfounding），以避免将表面特征误判为深层认知结构。

意义与影响

这项研究对当前 LLM 可解释性领域提出了重要的警示和方法论修正：

1. 重新评估现有结论：许多声称 LLM 习得“特定推理表征”的研究可能忽略了格式混淆。如果未进行严格的残差化处理，这些结论可能是伪影（Artifact）。
2. 推动更严谨的实验设计：未来的研究应将控制格式变量（如平衡选项数量、标准化响应长度）作为标准流程，以确保探测到的表征确实反映了认知过程而非数据偏差。
3. 深化对模型内部结构的理解：研究暗示，LLM 可能并未像人类那样将演绎、归纳、溯因作为完全独立的模块处理，而是通过共享的计算结构灵活适应不同格式的任务。这为理解大模型的泛化能力和推理本质提供了新视角。
4. 机制可解释性的标准化：呼吁社区建立更严格的验证标准，包括因果干预和混淆变量控制，以区分真正的“推理机制”与“格式特征”。

总之，该研究指出，线性探测在未经去混淆的情况下，主要检测的是任务格式而非推理模式。这一发现要求研究者在解读 LLM 隐藏状态时保持谨慎，并采用更精细的分析方法来揭示模型真实的推理机制。