可学习秩的 LoRA：打破固定秩限制的参数高效微调新范式

来源：arXiv cs.CL (Submitted on 3 Jun 2026) 论文标题：Parameter-Efficient Fine-Tuning with Learnable Rank

背景

在大型语言模型（LLM）的微调领域，参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）已成为主流技术，旨在以极低的计算成本适配下游任务。其中，低秩自适应（Low-Rank Adaptation, LoRA）因其简洁性和有效性而广受欢迎。

LoRA 的核心思想是冻结预训练模型的权重，并通过注入低秩分解矩阵来近似权重的更新量。这种方法通过在一个低维子空间中进行优化，引入了固定的低秩归纳偏置（inductive bias）。然而，现有的 LoRA 实现通常假设所有适配器层（adapter layers）都使用统一的、预设的低秩（rank）。这种“一刀切”的固定秩约束是否真的是参数高效微调中最有效的归纳偏置？这是一个值得深入探讨的问题。

核心内容

本文针对固定秩约束的有效性提出了质疑，并引入了一种名为 Learnable Rank LoRA (LR-LoRA) 的新方法。该方法的核心创新在于：适配器的秩（rank）不再是固定的超参数，而是在训练过程中动态学习的变量。

1. 从固定秩到可学习秩

传统的 LoRA 方法要求用户为所有适配器层指定一个统一的秩值（例如 $r=8$ 或 $r=16$）。LR-LoRA 则允许优化器根据每一层的具体需求，自动确定最合适的秩。这意味着不同的层可以拥有不同数量的参数容量，从而更灵活地适应模型各部分对任务适应性的不同需求。

2. 层间秩的差异性发现

通过实验观察，研究人员发现学习到的秩在层与层之间存在显著差异。特别是在 Transformer 架构中：

• **注意力层（Attention Layers）**与 多层感知机层（MLP Layers） 表现出系统性的不同秩偏好。
• 这表明模型的不同组件在微调过程中对信息容量和复杂度的需求是不同的，固定秩无法充分捕捉这种细粒度的需求差异。

3. 性能评估

在一系列语言理解（language understanding）和常识推理（commonsense reasoning）基准测试中，LR-LoRA 在大多数设置下取得了最先进（State-of-the-Art, SOTA）的性能。与强大的 PEFT 基线方法相比，LR-LoRA consistently（一致地）表现更优。

关键要点

• 方法创新：提出了 LR-LoRA，将适配器的秩作为可学习参数，而非固定超参数，实现了秩的动态优化。
• 打破统一假设：证明了不同网络层对秩的需求存在显著差异，特别是 Transformer 中的 Attention 和 MLP 层具有不同的秩偏好，否定了“所有层使用相同秩”的必要性。
• 性能优势：在多个 NLP 基准任务上，LR-LoRA 超越了现有的强基线 PEFT 方法，证明了可学习秩比固定秩适应提供了更灵活、更有效的归纳偏置。
• 资源效率：虽然引入了动态秩机制，但该方法仍属于参数高效微调范畴，保持了较低的存储和计算开销，同时提升了模型性能。

意义与影响

这项研究对 PEFT 领域具有重要的理论和实践意义：

1. 重新审视归纳偏置：它挑战了 LoRA 中“低秩”这一归纳偏置的固定形式，表明“可学习的低秩”比“固定的低秩”更能贴合数据分布和任务需求。
2. 自动化超参数搜索：通过让模型自动学习每一层的最佳秩，减少了对人工调优固定秩值的依赖，简化了 PEFT 的使用流程。
3. 更精细的模型适配：揭示了模型内部不同组件在微调过程中的异质性，为后续研究如何更精细地设计适配器结构提供了新的视角。

总之，LR-LoRA 通过引入可学习秩，证明了在参数高效微调中，灵活性比固定的结构约束更能带来性能提升，为下一代 PEFT 方法的发展指明了方向。