语言模型表征存在信息下限，神经崩溃理论被推翻

背景

神经坍缩（Neural Collapse）是深度学习中一种引人注目的现象：当分类任务训练收敛后，最后一层特征呈现出类内方差极小、类间形成等角紧框架（simplex equiangular tight frame）的几何结构。近年来，研究者试图将这一现象推广到语言模型（LM）中，但发现其表示中的类内方差（within-class variance）显著高于传统分类模型，这通常被解读为“不完全的神经坍缩”。

本文来自 arXiv 预印本（cs.CL，提交日期 2026‑07‑10），作者明确提出：语言模型表示中的类内方差并非神经坍缩失败的残留噪声，而是被分配用来存储信息的有序空间，且这种分配服从一条精确的“定律”。作者通过一系列理论分析和跨 14 个模型的实证，反驳了此前关于语言模型表示形成等角紧框架的论断，并揭示了信息存储与表示分散之间的基本关系。

核心内容

论文的核心论证可分为实证观察和理论推导两部分。

实证发现：信息分配而非噪声

作者指出，一行简单的“居中恒等式”（centering identity）就足以推翻一系列声称语言模型表示形成等角紧框架的论文（包括作者自己早期的结论）。通过对 14 种不同规模（从 数十亿 到数千亿参数）的语言模型进行分析，作者测量了表示方差的无因次份额（dimensionless variance shares），结果发现：

• 宏观类别结构（例如词性、语法范畴等高层语义分区）仅携带全部表示方差的 4‑12%。
• Token 内上下文（即同一个 token 在不同语境下的表示变化）携带了 79‑91% 的方差。
• 这一比例在 100 倍参数范围内保持稳定，说明它是语言模型表示的一种固有特性，而非随规模变化的暂态现象。

因此，绝大部分表示方差并非“坍缩不足”，而是被系统性地用于编码上下文信息。每个类别内部并不是松散的，而是紧密地依赖当前 token 所处的具体语境。

理论分析：权重衰减与信息下界

论文从训练目标出发，提出了两个关键理论结果。

1. Token 级权重衰减的类别排序效应
   语言模型的典型训练目标——下一 token 预测，本质上是一个类别数量极度不平衡的 K 类分类问题。标准的 L2 权重衰减作用于 token 嵌入层时，惩罚项正比于每个类别的类型计数（type count），而非该类别的出现频率（occurrence mass）。这意味着稀有类别（类型计数少的类别）的 norm 会被衰减得更小。数学上，这一优化问题的最优解会使类别范数（category norms）按类型计数降序排列。这一结果直接解释了为何在语言模型中类别表示并不呈现均匀的等角紧框架——因为最优几何本身就不均匀。

2. 二元类别的信息下界
   对于任意二元类别（binary category），作者证明了一个“逆向下界”（converse floor）：类别内部表示分散（within-category dispersion）至少要与条件互信息 ( I(\text{token}; \text{context} \mid \text{category}) ) 成比例。换言之，上下文信息量越大，该类别的表示必须越分散，以容下这些信息。这直接反驳了“完全神经坍缩”的可能性——因为语言模型必须通过分散来编码信息，坍缩会丢失信息。

跨模型一致的“定律”

作者进一步发现，跟踪**身份分散（identity dispersion）**而非总方差，能够精准反映上述信息量。身份分散被定义为各 token 表示偏离其类别均值的平方和（即类内协方差矩阵的迹）。该分散与条件互信息之间存在强线性关系，并且这一关系：

• 在所有测试的模型和分区（按词性、语义等划分）下均成立；
• 使用无模型估计（model‑free estimate）也能复现；
• 甚至跨模型成立——一个模型的信息量可以预测另一个模型的分散程度。

预训练动态：超调、衰减与部分恢复

论文还追踪了预训练过程中类别方差份额的变化曲线。结果显示，在训练早期，类别份额会超调（overshoot），随后逐渐衰减，并在后期部分恢复。作者的解释是：模型在早期快速学习高频共现规律，导致类别结构暂时占主导；随后上下文信息需求迫使表示分散化，类别份额下降；最终两者达到平衡，但类别份额无法完全恢复到早期水平，因为必须携带的上下文信息从未消失——这与信息下界定理一致。

关键要点

• 推翻等角紧框架假说：一行居中恒等式表明，此前关于语言模型表示形成 simplex ETF 的多个主张（包括作者自己之前的结果）在数学上不成立。
• 方差分配定律：在 14 个不同尺寸的语言模型中，宏观类别结构仅贡献 4‑12% 的表示方差，而 token 内上下文贡献 79‑91%，且比例跨 100 倍参数范围稳定。
• 权重衰减的类别排序效应：Token 级权重衰减按类型计数惩罚类别，导致最优类别范数与类型计数成正比，而非均匀。
• 信息下界：对二元类别，类内分散至少与条件互信息 ( I(\text{token}; \text{context} \mid \text{category}) ) 成正比——神经坍缩在语言模型中是被禁止的。
• 跨模型可迁移的规律：身份分散（类内协方差迹）能预测条件互信息，关系在模型之间可泛化。
• 预训练动态：类别份额经历超调、衰减、部分恢复三个阶段，根本原因是上下文信息需求始终存在。

意义与影响

这篇论文对语言模型表示学习理论具有重要冲击：

1. 纠正了神经坍缩在 LLM 中的误读：以往将类内方差视为“不完美的神经坍缩”是一种偏见。本文证明语言模型表示本质上是在信息存储与分类结构之间协商权衡，类内方差是编码上下文信息的必要条件。
2. 提供了可验证的定量定律：身份分散与条件互信息的线性关系提供了一种无需训练即可预估模型表示信息量的工具。该定律跨模型成立，意味着可能存在语言模型表示的一个普适几何约束。
3. 对训练优化的启示：权重衰减对类别类型计数而非出现频率的偏置，揭示了为何长尾 token 往往具有更小的嵌入范数。这为设计更合理的正则化策略提供了理论依据。
4. 概化神经坍缩框架：传统神经坍缩假设类别内方差可以忽略，但语言模型中的类别（如词性）本身就具有高内部多样性。本文提出了“信息地板”（information floor）概念，指出类内分散有一个依赖于互信息的下界，这可能是将坍缩理论推广到生成式自监督学习的关键一步。

总体而言，本文通过严谨的理论推导和大规模实证，将语言模型表示中的“方差问题”重新定义为一种有结构的信息编码，为后续理解 LLM 内部表征的几何与功能提供了新的视角。