探测大语言模型中的极简主义相位结构：通用依存关系无法表征的内容

背景

在自然语言处理（NLP）领域，理解大型语言模型（LLMs）内部究竟编码了何种语言结构，一直是核心研究议题之一。目前，评估模型句法能力的主流方法依赖于通用依存关系（Universal Dependencies, UD）。UD 是一种广泛使用的句法标注体系，旨在以统一的方式描述各种语言的语法结构。

然而，UD 主要关注的是基于注解的、表层或半表层的句法关系（如主谓关系、动宾关系等）。它并不包含形式句法学（Formal Syntax）中的一些深层抽象概念，特别是生成语法理论中**极简主义方案（Minimalist Program, MP）**的核心概念——相位（Phases）。

“相位”是句法结构中的关键边界，它定义了句法推导的局部域。相位内部具有高度的凝聚性（cohesion），而跨越相位边界的操作（如 wh-移动）则受到严格的限制。由于 UD 标注体系在设计上就无法编码相位边界或相位内部的凝聚性，因此，基于 UD 的探测（Probing）方法在构造上就无法回答“LLM 是否编码了这些形式句法抽象”这一问题。

这项研究旨在填补这一空白：如果 UD 只能提供句法编码的“下限”，那么 LLM 是否真的掌握了超越 UD 的形式句法结构？

核心内容

本研究通过构建特定的探测实验，评估了来自四个不同家族、共 13 个大语言模型，以检验它们是否编码了极简主义方案中的相位结构。

1. 实验设计：超越 UD 的不变性

为了证明模型学到的不仅仅是 UD 所标注的距离，研究人员设计了基于 wh-移动（wh-movement，即疑问词移位）的刺激材料。在这些刺激中，UD 距离在不同条件下被设计为保持不变。

如果模型在这些条件下的表现出现差异，这种差异就不能归因于 UD 距离的变化，而必然反映了 UD 之外的结构信息。

实验设置了三种条件，这三种条件按照 wh-元素所跨越的极简主义相位边界数量进行排序：

1. 裸小句（Bare small clause）
2. 不定式（Infinitival）
3. 限定句（Finite）

2. 主要发现：相位计数梯度与不对称性

在对 13 个 LLM 的评估中，研究发现了两个关键现象：

• 跨子句对的相位计数梯度（Phase-count gradient）： 在 12/13 的模型中，研究人员观察到了明显的梯度效应。这意味着模型能够区分 wh-元素跨越不同数量相位边界的情况。
• 子句内对的符号不对称性（Sign asymmetry）： 在 13/13 的模型中，研究人员发现了一种符号不对称性。值得注意的是，在这些条件下，UD 距离是相同的。这种不对称性 specifically（具体地）是由**相位内部凝聚性（phase-internal cohesion）**这一极简主义抽象概念所预测的。这是一个在 UD 标注体系中完全不可见的特征。

3. 因果验证：激活修补（Activation Patching）

为了确认这些表示不仅仅是相关性，而是具有因果作用，研究人员使用了**激活修补（Activation Patching）**技术。结果显示，在 12/13 的模型中，这些与相位结构相关的表示确实是因果活跃的（causally active），即修改这些表示会直接影响模型的输出行为。

关键要点

• UD 的局限性： 通用依存关系（UD）不包含形式句法抽象（如相位边界、相位内部凝聚性）。因此，基于 UD 的探测方法无法检测 LLM 是否掌握了这些深层结构。
• 分布预训练的力量： 研究结果表明，仅通过分布式的预训练（distributional pretraining），LLM 就能诱导出一类与形式句法抽象对齐的表示。这些抽象超出了基于注解的探测方法（如 UD）的能力范围。
• 相位结构的普遍性： 在 13 个来自不同家族的 LLM 中，绝大多数（12/13）表现出对相位边界的敏感性，且在 UD 距离不变的情况下，仍能区分相位内部凝聚性带来的差异。
• 因果有效性： 激活修补实验证实，这些相位相关的表示在模型推理过程中起到了因果作用，而非仅仅是统计上的副产品。
• 重新定义探测基准： UD grounding 的探测方法提供的是句法编码的下限（lower bound），而非上限（upper bound）。LLM 内部编码的句法结构比 UD 所能描述的更为丰富和深层。

意义与影响

这项研究对理解大语言模型的内部工作机制具有重要的理论和实践意义：

1. 挑战现有的评估范式： 它指出了当前基于 UD 的句法评估方法的根本缺陷。如果 UD 只是下限，那么目前许多声称“LLM 缺乏深层句法知识”的结论可能是基于不充分的探测工具得出的。我们需要开发新的探测方法，以捕捉形式句法学中的抽象概念。
2. 支持“句法涌现”假说： 研究结果支持了这样一个观点：LLM 的句法能力并非完全由人工标注数据驱动，而是从海量文本的统计规律中自发涌现出来的，并且这种涌现能力可以匹配甚至超越传统形式句法理论的预测。
3. 连接计算语言学与理论语言学： 该研究架起了计算语言学（LLM 研究）与理论语言学（极简主义方案）之间的桥梁。它证明了神经网络模型在缺乏显式句法标注的情况下，能够内化复杂的语言学理论概念（如相位理论）。
4. 为模型可解释性提供新视角： 通过激活修补等技术确认相位表示的因果作用，为解释 LLM 如何“思考”和“解析”句子提供了新的微观视角。未来研究可以进一步探索这些相位结构如何影响模型的推理、生成和错误模式。

总之，这项研究不仅揭示了 LLM 句法能力的深度，也呼吁 NLP 社区重新审视和扩展用于评估模型语言能力的基准体系。