复杂度引导分组件初始化方法用于语言模型预训练

背景

语言模型的预训练过程通常会产出结构化的权重谱（weight spectra），表明训练可能在层和组件层面反复产生相似的规律性组织。现有的初始化方法（如随机初始化、Xavier等）虽然有效，但并未充分利用这些可重复出现的谱模式。本文旨在探讨：能否将预训练模型中出现的这些谱模式作为适用于 GPT-2 风格语言模型预训练的初始化信号？研究者通过分析多个预训练检查点，构建模仿其谱特征的初始化方案，并与多种已有方法对比，以检验该策略的有效性。

核心内容

本文首先分析了 11 个预训练的 GPT-2 风格检查点，这些检查点在模型大小、语言、分词器和训练语料上均存在差异。研究者测量了各层及 Transformer 子组件（如注意力投影、前馈网络、残差写入矩阵等）的 Frobenius 范数和有效秩熵（effective-rank entropy）。结果表明，这些检查点展现出一致的深度趋势：随着层数加深，权重规模显著增大，且在残差写入矩阵（residual-writing matrices）中谱集中程度更强（即有效秩熵较低，奇异值分布更集中）。

基于上述观察，研究者构造了几种初始化方案，旨在模拟预训练模型中的组件级大小和谱轮廓（spectral profiles）。具体包括：按组件复制预训练权重的 Frobenius 范数、复制其奇异值分布形状，以及直接复用预训练权重本身作为初始化。这些初始器被应用于 GPT-2 小规模模型的预训练，并与多种基线初始化方法（如随机初始化、Xavier、Kaiming、Orthogonal 等）进行比较。

实验发现，使用谱匹配的初始器确实明显改变了模型训练过程中的结构谱模式（例如某些层的谱分布更接近预训练状态），但在下游评估任务（如困惑度、语言建模损失）上，这些初始器并未带来显著优于随机初始化的性能优势。直接复用预训练权重（pretrained-weight reuse）仍保持竞争力，而仅进行粗粒度的谱匹配（仅匹配组件级的规模和奇异值形状）不足以作为可靠的优化策略。本文结论指出：预训练模型谱是训练后模型结构的有用诊断工具，但若要将谱知识有效用于初始化，需要保留比组件级规模和奇异值形状更丰富的信息。

关键要点

• 对 11 个不同 GPT-2 风格检查点的分析揭示出层间权重规模和谱集中度的共同深度趋势，尤其是残差写入矩阵。
• 借鉴这些谱模式构造的组件级初始化方案（按范数和奇异值分布模仿预训练权重）能够改变模型的谱结构，但未带来下游性能提升。
• 直接复用预训练权重仍是最有效的策略，而粗粒度的谱匹配（仅大小和形状）不是可靠优化方法。
• 预训练谱对理解模型结构有诊断价值，但作为初始化信号需要保留更丰富的权重信息（如向量方向、组件间交互等）。

意义与影响

本研究系统性地检验了利用预训练模型谱特征进行初始化的可行性，得出了一个清醒的结论：谱层面的粗匹配不足以提供有效的优化引导。这一结果对“权重谱隐含可迁移优化信号”的假设提出了实证质疑。它提醒研究者，虽然谱分析是揭示模型内部结构的有力工具（例如诊断深度趋势、注意力头行为等），但将其作为信息压缩并直接用于初始化时，损失了权重之间的精细关系（如向量对齐、残差连接中的相位信息等），因此难以超越随机初始化。未来工作可能需要探索更完整的权重结构保留（例如部分组件复用、渐进式谱注入），或者将谱知识与梯度信号结合使用。此外，本研究的检查点分析为理解不同参数设置下 GPT-2 风格模型的内部组织提供了有价值的基准。