结构化剪枝大语言模型：基于幂变换与符号保持分数聚合的自适应特征保留

来源：arXiv cs.CL

背景

大语言模型（LLM）的部署面临巨大的计算和存储开销，模型剪枝是减少冗余参数、加速推理的关键技术。剪枝方法可分为非结构化剪枝（移除单个权重）和结构化剪枝（移除整组权重，如神经元或注意力头）。非结构化剪枝能保留较高精度，但难以获得实际硬件加速；结构化剪枝则更易于实现推理加速，但精度损失通常更大。

Adaptive Feature Retention（AFR）是一种有效的非结构化剪枝方法，通过自适应保留重要特征来压缩模型。然而，当尝试将AFR直接迁移到结构化剪枝场景时，研究者遇到了三个核心问题：异构剪枝分数的分布不匹配（不同层或模块的分数尺度差异大）、符号信息丢失（优化方向的一致性无法保留）、以及异常值对分数聚合的干扰。本文提出一种改进的结构化剪枝方法，通过幂变换、符号保持分数聚合和百分位异常值去除来系统性地解决上述问题，在保持与非结构化剪枝相当精度的同时，实现实际推理加速。

核心内容

本文提出了一种统一的结构化剪枝框架，专门用于解决AFR方法从非结构化剪枝向结构化剪枝迁移时的三大挑战。针对分布不匹配问题，论文引入幂变换（Power Transformation）对异构剪枝分数进行非线性对齐，使不同来源的分数具有可比性，从而支持全局裁剪。

针对符号信息丢失问题，传统分数聚合（如求和或平均）会丢失每个权重优化方向的正负号信息，而这些符号反映了训练过程中梯度更新的方向一致性。论文采用符号保持的分数聚合（Sign-Preserving Score Aggregation），在聚合过程中保留每个分量对整体重要性的符号贡献，避免因符号抵消而扭曲实际重要性。

针对异常值问题，异常值会主导分数并导致剪枝决策失真。论文提出基于百分位数的异常值去除（Percentile-based Outlier Removal），先通过分位数统计识别处于极端位置的分数，再将其从聚合过程中剔除，从而稳定剪枝决策。

整体方法将这三项技术结合为一个端到端的结构化剪枝流程。实验在三个主流大语言模型上进行：Llama-3-8B、Vicuna-v1.5-13B 和 LLaVA-v1.5-13B。结果表明，所提方法在精度上与非结构化剪枝方法（如原始AFR）相当，同时由于采用结构化剪枝，能够获得实际可测量的推理速度提升。论文通过多个剪枝率下的对比实验证实了方法的鲁棒性和通用性。

关键要点

• 问题背景：AFR非结构化剪枝迁移到结构化剪枝时面临三大障碍——异构分数分布不匹配、优化方向符号缺失、异常值干扰。
• 核心创新：提出三重解决方案——幂变换（对齐分布）、符号保持分数聚合（保留优化方向信息）、百分位异常值去除（抑制极端值影响）。
• 实验设置：在Llama-3-8B（纯文本）、Vicuna-v1.5-13B（指令微调）、LLaVA-v1.5-13B（多模态）三种代表性模型上进行评估。
• 主要结果：结构化剪枝后的模型精度与非结构化剪枝版本的精度在同一水平，同时结构化剪枝带来的实际推理加速（如减少内存带宽瓶颈）被成功验证。
• 方法优势：无需额外训练或微调，完全基于剪枝分数后处理，可即插即用于现有结构化剪枝流程。

意义与影响

该论文为LLM结构化剪枝领域提供了一种实用且高效的改进方案。通过解决AFR适配过程中的三个关键障碍，使得一种原本高精度的非结构化剪枝技术能够直接转化为可加速的结构化剪枝方案，填补了高精度与高硬件利用率之间的差距。

从实践角度看，该方法在保持模型输出质量的同时，显著降低了推理延迟和部署成本，尤其有利于资源受限环境（如边缘设备、实时服务）中的LLM应用。所提出的幂变换与符号保持聚合策略具备通用性，可推广到其他基于分数的剪枝算法，为后续研究提供了新的思路。

此外，实验覆盖了纯语言模型、指令微调模型和多模态模型，证明了该方法的广泛适用性。可以预见，这类能平衡精度与加速能力的结构化剪枝技术，将成为大模型高效部署的重要基石，推动LLM在更多实际场景中落地。