PALS按激活值百分位调整剪枝率，显著提升LLM压缩效果

背景

大语言模型（LLM）的规模持续增长，推动了剪枝（pruning）技术的研究，旨在减少模型参数量和推理成本而不显著牺牲性能。主流的单次剪枝方法，如 Wanda 和 SparseGPT，通常对 Transformer 的每一层应用相同的稀疏度比率。然而，已有研究表明，不同层对最终模型输出的重要性存在显著差异——均匀分配稀疏度可能过度压缩关键层而浪费非关键层的容量。现有方法未能利用这种层间差异，限制了剪枝的上限。针对这一空白，作者提出了 PALS（Percentile-Aware Layerwise Sparsity），一种基于激活幅度百分位数动态调整每层压缩比率的轻量级剪枝策略。

核心内容

PALS 的核心思想是：通过观察每个 Transformer 层在少量校准样本上的激活值分布，利用第 99 百分位数（99th percentile）作为该层“活跃强度”的度量，然后据此调整每层的剪枝比率。具体而言，对于目标整体稀疏度 ( s )，PALS 为每一层 ( l ) 计算一个偏移量，使得最终该层的实际稀疏度 ( s_l ) 满足：

[ s_l = s + \Delta_l, \quad \Delta_l = \text{clip}\left( \alpha \cdot (\text{percentile}_{99}(a_l) - \mu), -\delta, +\delta \right) ]

其中 ( a_l ) 是第 ( l ) 层的激活值向量（通常取隐藏状态或注意力输出的绝对值），( \mu ) 是各层第99百分位数的均值，( \delta ) 是允许的最大偏移（论文设为 ( \pm 5% )），( \alpha ) 是一个缩放系数，使各层调整量总和为零（即平均稀疏度仍为 ( s )）。实际实现时，PALS 先计算所有层的激活百分位数均值，然后按比例分配，确保每层稀疏度不超过目标值 ±5%。

实验在 LLaMA-2-7B、LLaMA-3-8B 和 Mistral-7B 三个模型上进行，统一采用 50% 整体稀疏度。主要结果：

• 在 LLaMA-2-7B 上，PALS 的 WikiText-2 困惑度（perplexity）为 10.96，而均匀剪枝的 Wanda 为 12.92（9 次独立运行均值，p < 0.001），显著提升。
• 在 LLaMA-3-8B 上，PALS 仅带来边际改善（困惑度差距不足 0.1）。
• 在 Mistral-7B 上，PALS 与均匀 Wanda 表现无统计学显著差异。

此外，作者尝试了一种看似更“有原则”的基于梯度的层分配方法——即根据各层权重梯度的范数来分配稀疏度。令人意外的是，基于梯度的分配结果 比随机分配还要差，表明梯度幅值无法可靠预测离散权重移除后的影响。

PALS 的额外计算成本极低：只需在少量校准数据上做一次前向传播收集激活值，然后计算各层的第 99 百分位数（可使用近似算法），整个过程不涉及反向传播或微调。

关键要点

• PALS 利用激活值的第99百分位数作为层重要性的替代指标，取代了均匀分配稀疏度的做法。
• 稀疏度调整幅度被限制在目标比率 ±5% 内，避免极端调整导致某层过度压缩。
• 在 LLaMA-2-7B（50% 稀疏度）上困惑度从 12.92 降至 10.96，提升约 2 个点，统计显著。
• 增益具有架构依赖性：LLaMA-3-8B 效果微弱，Mistral-7B 无收益，说明不同模型对层间非均匀分配策略的敏感度不同。
• 基于梯度的层分配方法效果不如随机，说明梯度幅值不是衡量剪枝后损失的可靠指标。
• PALS 几乎不增加剪枝流水线开销，无需微调，可即插即用。
• 所有实验在单次剪枝（one-shot）设定下进行，未涉及迭代剪枝或重训练。

意义与影响

PALS 提供了一个极其简单但有效的改进思路：仅通过一个百分位数统计量就能显著优于均匀剪枝，且无需任何训练或梯度计算。它直接挑战了“均匀分配稀疏度是安全基线”的默认做法，提示未来剪枝方法应更重视层间激活分布的统计特性。

其局限性同样值得关注：模型间效果差异大，说明该方法并非通用银弹；LLaMA-3-8B 和 Mistral-7B 的微增益可能源于这些模型本身已经具有更均衡的层重要性，或训练数据/长度导致激活分布差异较小。另外，PALS 仅基于校准集的前向传递信息，尚未探索与动态稀疏训练或结构化剪枝的结合。

从方法论角度看，该工作也提醒社区：梯度信息在离散剪枝场景中可能具有误导性，简单的激活统计反而更有效。这为后续设计更智能的剪枝分配策略提供了新方向——或许可以融合激活百分位数、奇异值分解等其他结构化指标。整体上，PALS 作为一个轻量级“补丁”，很可能成为实际剪枝工具箱中的标准组件，尤其在资源受限、需要快速部署的推理场景中具有实用价值。