← 返回信息流
技术博客arXiv cs.CL·2 小时前

Super-Tuning：激活感知剪枝驱动稀疏微调

原标题：Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning

速览

大语言模型全参数微调代价高昂。论文提出Super方法，利用Wanda-style激活加权幅度分数确定固定稀疏可训练支持；并推出Supra混合适配器，通过预算拆分将稀疏更新与LoRA结合。在Llama-3.2-1B和Meta-Llama-3-8B的数学任务上，最优变体取得最高平均准确率。结果表明简单的剪枝启发式排序能为参数高效微调提供有效固定稀疏支持。

AI 深度解读

背景

随着大语言模型（LLM）规模的持续增长，全参数微调（full-parameter fine-tuning）在内存、计算和每个任务的存储开销上变得极为昂贵。传统参数高效微调（PEFT）方法如 LoRA（Low-Rank Adaptation）通过引入少量可训练参数来缓解这一问题，但如何在不显著增加参数量的前提下进一步提升微调效率，仍是研究热点。另一方面，模型剪枝（pruning）领域中已经发展出多种重要性信号（saliency signals），用于识别对模型输出影响较大的参数。一个自然的问题是：这些用于剪枝的显著性信号，是否可以被重新利用，来指导模型在微调时应该在哪部分参数上进行适应？

本文正是从这一角度出发，提出了一种名为 Super-Tuning 的稀疏参数高效微调方法，并进一步扩展为混合适配器 Supra，探索了剪枝启发的参数选择策略在微调中的有效性。

核心内容

本文提出了两种紧密相关的微调方法：

  1. Super（Sparse Parameter-Efficient Fine-Tuning）：一种基于剪枝显著性信号的稀疏 PEFT 方法。它首先通过一次校准前向传播（calibration pass），计算每个参数的 Wanda 风格激活加权幅度分数（activation-weighted magnitude score，源自 Sun et al., 2023）。然后固定一个较小的可训练参数集合（称为 trainable support），仅对这些选中的参数进行微调，其余参数保持不变。这种方法本质上是将剪枝中的重要性排序直接复用于微调，从而避免全参数更新的成本。

  2. Supra（Super + LoRA Hybrid Adapter）：一种混合适配器，它将 Super 的稀疏更新与 LoRA 的低秩更新结合起来。为了保持总可训练参数预算一致，Supra 采用一个简单的预算分割规则（budget-splitting rule）：将可训练参数预算分配一部分给稀疏更新的参数，另一部分给 LoRA 的秩参数。这样做既保留了稀疏更新的灵活性，又利用了 LoRA 的低秩结构优势。

实验中，作者在 Math17K 算术任务上（使用单个种子，即 single-seed）对两个模型进行了测试：Llama-3.2-1B 和 Meta-Llama-3-8B。结果表明，在所测试的各种调度选择（schedule-selected adapter configurations）中，最佳版本的 Super/Supra 变体取得了最高的平均准确率。此外，作者还引入了一个基于 PaFi 风格（仅使用幅度分数，不乘以激活值）的固定支持作为最接近的无训练稀疏基线。有趣的是，他们发现无论是基于幅度还是基于 Wanda 风格的排序中的低分支持（low-score supports），在微调中也能有效发挥作用。这一发现表明，即使是简单的剪枝启发式排序，也能为 PEFT 提供有用的固定稀疏支持，特别是当与低秩适配器结合时。

关键要点

  • 核心思想复用剪枝信号：将原本用于剪枝的激活加权幅度分数（Wanda 风格）重新用于选择微调时更新的参数位置，避免从头设计新的重要性指标。
  • Super 方法：固定一个小的可训练支持集，仅对该集合内的参数进行更新；支持集通过一次校准前向传播计算 Wanda 分数得到。
  • Supra 混合适配器：将 Super 的稀疏更新与 LoRA 的低秩更新结合，通过预算分割规则保持可训练参数总量不变。
  • 实验设置：在 Math17K 算术任务上评估 Llama-3.2-1B 和 Meta-Llama-3-8B，使用单种子（single-seed）配置。
  • 主要结果：最佳 Super/Supra 变体在调度选择的适配器配置中平均准确率最高。
  • 低分支持也有效：即使是幅度或 Wanda 排序中得分较低的参数（即原本剪枝中认为不重要的参数），在作为固定稀疏支持时也能有效提升微调性能。
  • 基线对比：PaFi 风格（仅幅度，无激活加权）的固定支持作为无训练稀疏基线，进一步证实了剪枝启发的简单排序即可提供有用支持。

意义与影响

这项研究的意义在于，它为参数高效微调提供了一条新的、低成本的路径：无需复杂的梯度计算或二次训练，仅利用一次校准前向传播就能确定哪些参数最值得微调。这一思路极大地降低了微调的门槛，尤其是在资源受限的场景下。

此外，Supra 混合适配器展示了稀疏更新与低秩更新可以互补：稀疏更新保留了参数级别的灵活性，而 LoRA 提供了结构化低秩约束，二者结合有望在相同参数预算下取得更好的效果。

研究还揭示了一个反直觉的现象：在剪枝中通常被认为不重要的低分参数，在微调中反而可能有用。这提示我们，剪枝重要性信号与微调重要性信号可能并不完全一致，未来可以进一步探索两者之间的关系以及如何为微调专门设计支持选择策略。

总体而言，Super-Tuning 为连接剪枝与微调提供了一个简洁而有效的桥梁，有望推动更多基于预训练模型的知识复用策略的发展。

相关推荐

查看原文 →arxiv.org