隐藏解码：大规模语言模型的隐式计算扩展新方法
速览
Hidden Decoding是一种针对大规模语言模型的序列长度扩展方法，它通过将每个token扩展为多个独立流并利用键值缓存，在不增加Transformer层数的情况下增加内部计算。结合流因子化注意力机制，将注意力成本从二次降至线性。实验在100B+ MoE规模上验证了该方法能有效提升模型性能，证明序列长度扩展是固定骨干网络的可行扩展路径。
AI 深度解读
背景
大规模语言模型（LLMs）的扩展主要依赖扩大 Transformer 主干网络（例如增加层数、宽度），但对于已经具备较强能力的模型，这一路径需要重新进行昂贵的预训练。学术界和工业界一直在探索：能否在固定 Transformer 主干网络的情况下，通过为每个 token 分配更多计算量来持续提升模型性能？深度循环（depth-recurrent / looped）Transformer 试图实现这一目标，但其循环计算方式与训练超大规模模型时常用的流水线并行（pipeline parallelism）不兼容，导致难以扩展。本文提出一种沿序列长度维度增加计算的新思路——额外计算仅体现为更长的输入，从而保持与标准的大模型训练流程兼容。
核心内容
论文提出了一种名为 Hidden Decoding 的序列长度扩展方法，应用于持续预训练（Continued Pretraining, CPT）。该方法将每个 token 扩展为 n 个流（stream），每个流拥有独立的 embedding 表，并保留中间流的 key-value 缓存作为上下文。这样一来，每个 token 可以在不增加或加宽 Transformer 层的情况下执行更多的内部计算。
为了使这一方案在大规模场景下可行，论文引入了 Stream-Factorized Attention（流分解注意力）。其核心思想是：大部分注意力层只允许在每个流内部进行注意力运算，仅有少数层在流之间进行混合。这使注意力计算成本从与 n 呈平方关系降低到近似线性关系。
实验验证了两个扩展结果：
- 在前沿规模下，作者训练了 WeLM-HD4-80B 和 WeLM-HD4-617B（n=4），相比未使用 Hidden Decoding 的同等规模基线（匹配的非HD基线），性能均有提升，从而证明 Hidden Decoding 是首个在 100B+ MoE 规模上被验证有效的序列长度扩展方法。
- 在不同扩展因子（expansion factor）下，随着 n 增大，收益持续增加，表明序列长度扩展是前沿 LLM 一条实用的固定主干网络扩展路径。
关键要点
- Hidden Decoding 是在持续预训练阶段（CPT）应用的一种序列长度扩展方法，通过将每个 token 扩展为 n 个独立流（各有独立 embedding 表）并保持中间流的 KV 缓存，增加每个 token 的计算量而不改变 Transformer 层结构。
- 为降低计算开销，提出 Stream-Factorized Attention：大部分注意力层仅在同一流内部进行注意力运算，只有少数层进行跨流混合，从而将注意力复杂度从 O(n²) 降至近似 O(n)。
- 训练并评测了 WeLM-HD4-80B 和 WeLM-HD4-617B（n=4），均优于等效且未使用 Hidden Decoding 的基线模型，证明了该方法在 100B+ 参数等级的稀疏 MoE 模型上的可行性。
- 随着扩展因子 n 的增加，模型性能增益持续提升，表明序列长度扩展可成为固定主干网络下 LLM 的有效 scaling 路径。
意义与影响
Hidden Decoding 为 LLM 扩展提供了一种全新的维度——序列长度扩展，区别于传统的增大模型深度或宽度。它使得已经训练好的强模型可以继续改进而无需重新进行完整的预训练，降低了持续提升模型性能的成本。Stream-Factorized Attention 的设计巧妙地将注意力复杂度从二次降低至近似线性，使大规模序列长度扩展变得实际可行。论文在前沿 MoE 模型上的验证结果（WeLM-HD4-80B 和 WeLM-HD4-617B）证明了该方法的潜力，为未来在固定主干网络下进一步扩展 LLM 的能力提供了一条有希望的路径。