大语言模型缩放指数之“小”：能源不可持续性的深层解析

来源：arXiv cs.AI (2026年6月23日提交) 标题：On the Smallness of the Large Language Models Scaling Exponents（论大语言模型缩放指数的微小性）

背景

近年来，大语言模型（LLMs）的发展遵循着一种被称为“缩放定律”（Scaling Laws）的经验法则。该法则表明，通过增加模型参数量、训练数据量以及计算资源，模型的损失函数（Loss）会以可预测的方式下降。这种可预测性极大地推动了行业对算力投入的信心，使得各大科技公司竞相构建更大规模的模型。

然而，随着模型规模的指数级增长，能源消耗和计算成本也随之飙升。近期，业界开始关注一个关键问题：当前的缩放指数（Scaling Exponents）是否暗示了一种在能源资源层面不可持续的 regime（状态/模式）？尽管有一种观点认为，观测到的缩放指数偏小可能是因为忽略了无限数据极限下损失函数的非零值（即所谓的“基座效应”或“pedestal effect”）而导致的数值偏差，但本文旨在深入探讨这一现象背后的物理与统计本质，并论证即使修正了这一偏差，能源不可持续性问题依然存在。

核心内容

本文主要围绕三个核心论点展开，旨在重新审视当前大语言模型缩放定律的局限性及其对能源消耗的影响。

1. 缩放指数指示了不可持续的能源状态

文章首先指出，当前大语言模型应用中的缩放指数（即损失随计算量、数据量或参数量变化的幂律指数）数值较小。在幂律关系 $L \propto N^{-\alpha}$ 中，$\alpha$ 即为缩放指数。较小的 $\alpha$ 意味着随着资源投入的增加，性能提升（损失降低）的边际效益递减得比预期要快，或者说，为了获得微小的性能提升，需要投入不成比例的巨大资源。

作者论证称，这种“小”的缩放指数并非偶然，而是反映了当前训练范式在能源利用效率上的根本性瓶颈。如果缩放指数持续保持低位，意味着通过单纯增加算力来换取模型智能的提升，在能源资源上是不可持续的。

2. “基座效应”无法解释不可持续性

在讨论缩放指数偏小的原因时，学术界存在一种常见的解释：数值偏差。具体而言，在理论推导中，通常假设当数据量趋于无穷大时，损失函数趋于零。然而，现实世界中存在不可避免的数据噪声和模型容量限制，导致损失函数存在一个非零的下限，这被称为“基座效应”（pedestal effect）。

批评者或修正主义者认为，如果在拟合缩放定律时忽略了这一非零极限值，会导致对缩放指数 $\alpha$ 的低估。也就是说，观测到的指数小，可能只是数学拟合上的偏差，而非物理现实。

本文有力地反驳了这一观点。作者通过理论分析证明，即使将“基座效应”纳入考量，修正了因忽略非零损失下限而导致的数值偏差，修正后的缩放指数依然处于一个较低的水平。因此，不能简单地将能源不可持续性问题归咎于数据处理或拟合过程中的数值误差。能源效率低下的问题是模型架构和数据分布本身的固有属性，而非统计假象。

3. 数据平滑性与流体湍流的类比

为了进一步理解数据特性对缩放指数的影响，文章引入了一个独特的类比：将数据的平滑性（smoothness）或粗糙度（roughness）与流体动力学中的湍流现象（turbulence）进行类比。

在流体湍流中，能量的耗散率与雷诺数等参数之间存在复杂的幂律关系，且受流体粘度和边界条件的强烈影响。类似地，在机器学习中，训练数据的“粗糙度”（即数据分布的复杂程度、噪声水平以及特征之间的相关性结构）会显著影响模型收敛的速度和最终的性能上限。

作者指出，如果训练数据具有高度的粗糙性（例如，包含大量噪声、长尾分布或复杂的依赖关系），模型需要更多的计算资源来捕捉这些细微结构，从而导致缩放指数变小。这种类比暗示，提升缩放效率的关键可能不仅在于增加算力，更在于理解并优化数据本身的结构性特征，就像在流体力学中通过控制边界条件来优化能量传输一样。

关键要点

• 能源不可持续性：当前大语言模型的缩放指数较小，表明通过增加计算资源来提升模型性能的路径在能源消耗上是不可持续的。
• 非数值偏差：观测到的缩放指数偏小并非由于忽略了无限数据极限下损失函数的非零值（基座效应）所导致的数值拟合偏差。即使修正这一偏差，能源效率低下的问题依然成立。
• 数据特性的关键作用：数据的平滑性或粗糙度对缩放指数有显著影响。
• 流体湍流类比：文章提出将数据分布特性与流体湍流模型进行类比，暗示数据的内在结构（如噪声和复杂性）像流体粘度一样，制约着计算资源向模型性能转化的效率。
• 超越单纯堆料：单纯增加模型规模和训练数据量已触及边际效益递减的瓶颈，未来的突破可能需要从数据质量、结构优化或新的算法范式入手，而非仅仅依赖算力堆叠。

意义与影响

这篇文章对当前大语言模型的发展轨迹提出了深刻的警示。

首先，它挑战了“Scaling is all you need”（缩放即一切）的盲目乐观主义。如果缩放指数确实如文中所述，受到数据粗糙度等固有因素的制约，那么行业需要重新评估对超大规模模型投资的回报率。能源成本的急剧上升可能成为制约AI发展的主要瓶颈，而非算法本身的局限性。

其次，它指出了未来研究的新方向。既然“基座效应”等数值问题无法解释当前的低效，研究者应将注意力转向数据本身。如何构建更“平滑”、信息密度更高、噪声更少的数据集，或者开发能够更高效处理“粗糙”数据的新型架构，可能比单纯增加参数量更具战略价值。

最后，这一观点对于政策制定者和行业领袖具有现实意义。在追求AGI（通用人工智能）的道路上，必须将能源可持续性纳入核心考量。如果当前的缩放定律不可持续，那么发展绿色AI、优化算法效率以及探索非基于缩放的新范式，将是确保AI长期健康发展的必要条件。