大模型激活稀疏化：敏感度感知阈值与Token路由技术

背景

大型语言模型（LLM）的推理效率是实际部署中的关键问题。在保持模型质量的前提下，减少不必要的计算量成为研究热点。本文聚焦于多层感知机（MLP）激活函数的稀疏化，以及基于 token 的条件路由机制。现有方法通常通过设定激活值的百分位数阈值来对 MLP 中的门控激活进行稀疏化，但阈值的选取直接影响稀疏率与模型性能的平衡。此外，传统做法对所有 token 施加同一种修改后的计算路径，未能区分不同 token 的重要性。针对这些局限，论文提出两种改进方案：敏感度感知的阈值校准（SATS）和轻量级 token 路由框架。

核心内容

论文首先提出 Sensitivity-Aware Thresholding for Sparsity (SATS)，一种阈值校准方法，用于为每一层选择门控激活的阈值。与直接根据激活百分位数校准阈值不同，SATS 利用局部 MLP 输出敏感度代理指标（即某一层门控激活的变化对 MLP 输出的影响程度）来确定阈值。具体而言，SATS 仍然保留通过门控激活阈值化来稀疏化 MLP 激活的现有机制，但将阈值选取规则从基于百分位数替换为基于输出敏感度的选择标准。这使得阈值能够针对每层不同的计算特性自适应调整，从而在相同的实际稀疏率下获得更好的质量。

接着，论文引入一种轻量级 token routing 框架。该框架不在所有 token 上统一施加修改后的计算（例如统一的稀疏化或替代路径），而是逐 token 动态选择是通过“基础路径”（base path）还是“修改路径”（modified path）进行前向传播。基础路径为原始未修改的 MLP 计算，修改路径为应用了激活稀疏化或其他修改的计算。路由决策基于 token 的某些特征（例如输入嵌入、注意力分布等），通过一个极小的路由网络完成，几乎不增加额外开销。

实验在多个近期开源权重 LLM（如 Llama、Mistral 等系列）上进行评估。结果表明：

• SATS 在与基于百分位数的稀疏化基线相比，在匹配的实际稀疏率下，能够显著提升模型质量（如困惑度或下游任务准确率）。
• Token routing 相比静态的激活修改基线（例如对所有 token 统一稀疏化），在质量-吞吐量权衡上更加有利。虽然 token routing 引入了额外的路由计算，但由于只对部分 token 使用修改路径，整体推理吞吐量提升明显，而质量损失更小。

整体而言，改进的阈值校准和 token 路由能够有效改善 LLM 推理中的质量-吞吐量权衡。

关键要点

• SATS 利用局部 MLP 输出敏感度作为代理来校准每层的门控激活阈值，代替传统的百分位数方法，在不改变稀疏化机制的前提下提升了效果。
• Token routing 实现了逐 token 的条件计算：每个 token 决定是否走原始路径或修改路径，从而避免对重要 token 施加不必要的计算退化。
• 实验证明 SATS 在相同实际稀疏率下优于基于百分位数的基线；token routing 相比静态修改方案在质量-吞吐量权衡上更优。
• 两种方法互补：SATS 优化了激活稀疏化自身的阈值选择，而 token routing 从 token 粒度进一步细化计算分配。
• 轻量级路由网络几乎不增加额外开销，使得整体推理吞吐量提升的同时保持模型质量。

意义与影响

该工作为 LLM 推理加速提供了两个实用且正交的优化方向。SATS 的敏感度代理校准思路具有通用性，可推广到其他需要设定阈值的稀疏化方法中。Token routing 框架则展示了条件计算在 LLM 推理中的应用潜力——将不同的 token 路由到不同的计算路径，这比均匀应用稀疏化更符合实际语义重要性分布。这两项技术可以结合使用，形成“敏感度感知稀疏化 + 动态 token 选择”的推理管线，有望在保持模型质量的前提下进一步降低计算成本。未来的研究方向可能包括：将路由决策与注意力层协同优化、在训练阶段引入路由感知的损失函数，以及将方法扩展到多模态模型。