大模型可靠性与规模扩展存在信息论极限
速览
该研究从信息论角度证明，任何生成任务都存在一个由上下文可解析不确定性决定的可靠性上限，模型无法通过扩大规模超越此上限。该上限分解为可随上下文增加而闭合的分量和任务内在歧义的主观分量。自回归生成会进一步降低此上限，速率由输出中 token 间的依赖核决定。基于此推导出缩放定律，恢复 Chinchilla 定律作为特例，并统一解释了检索增强、灾难性遗忘等实际现象。
AI 深度解读
背景
当前大型语言模型（LLM）的评估隐含一个假设：只要模型规模足够大、训练数据足够多，任何任务都能达到完美可靠性。然而，这种假设缺乏理论依据。本文从信息论第一性原理出发，证明所有生成任务都存在一个不可逾越的可靠性天花板，该天花板由可观测上下文所能消解的输出不确定性决定。这一发现挑战了“更大模型必然更强”的朴素信念，并为理解模型性能的极限提供了统一框架。
核心内容
可靠性的信息论上限
每个生成任务都有一个可靠性上限，任何模型都无法超越。该上限由两部分构成：
- 可消解部分：可通过增加上下文（如检索增强、更长提示）来缩小。
- 主观部分：源于任务本身的歧义性，无法通过任何外部信息消除。
自回归生成对可靠性的影响
自回归式生成会进一步降低该上限，且下降速率由任务本身的依赖核（dependency kernel）决定——该核量化了输出序列中 token 间的相关性结构。依赖核越强，生成过程中误差累积越严重，可靠性天花板下降越快。
基于第一性原理的缩放定律
从上述两个基本量（可靠性天花板与依赖核）出发，推导出新的缩放定律：LLM 性能受限于训练数据与模型容量中更稀缺的那一个资源。该定律将经典的 Chinchilla 缩放定律作为一个特例包含在内，并解释了何种情况下规模扩展（scaling）能真正提升可靠性——只有当稀缺资源被补充时，扩展才有效。
统一实践现象
该框架可以统一解释多种实际现象：
- 检索增强生成（Retrieval-Augmented Generation）之所以有效，是因为它通过增加外部上下文降低了可消解部分的不确定性。
- 灾难性遗忘（Catastrophic Forgetting）的谱力学机制，与依赖核在参数空间中的特征值衰减有关。
理论贡献
本文形式化地描述了跨领域模型性能所遵循的资源-复杂度权衡，为生成式语言模型建立了一个统一的性能极限理论。
关键要点
- 完美可靠性不可实现：任何生成任务都存在信息论上的可靠性上限，规模扩展无法突破该上限。
- 可靠性上限的分解：可消解部分（可被上下文缩减）与主观部分（任务固有歧义，不可消除）。
- 自回归结构放大误差：依赖核越强，自回归生成对可靠性的侵蚀越严重。
- 新缩放定律：性能瓶颈由训练数据与模型容量中更稀缺者决定，Chinchilla 定律是其特例。
- 统一解释多种现象：RAG 有效是因为它压缩了可消解不确定性；灾难性遗忘的谱机制与依赖核的谱结构相关。
- 资源-复杂度权衡：模型性能受限于资源（数据或容量）与任务复杂度之间的平衡。
意义与影响
- 理论校正：为 LLM 社区提供了一个严格的性能上限，避免盲目追求更大模型而忽略任务固有歧义。
- 指导实践：明确了何时扩展规模有效（稀缺资源被补充时），何时应优先改进上下文（如检索增强）或数据质量。
- 统一框架：将分散的经验现象（如 RAG 有效、灾难性遗忘规律）纳入同一理论体系，为未来研究提供可量化的工具（依赖核、可靠性天花板）。
- 跨领域通用性：该理论不限于语言模型，可推广至任何生成式任务（如代码生成、图像生成），具有广泛的适用性。