Transformer 真的需要三个投影吗？QKV 变体系统研究解读

背景

Transformer 架构已成为各种人工智能任务的标准解决方案，而其中的查询（Query）、键（Key）和值（Value）（即 QKV）注意力机制 formulation 在其中扮演了核心角色。在标准的 Transformer 实现中，输入序列通常经过三个独立的线性投影层，分别生成 Q、K 和 V 矩阵，以计算注意力权重并聚合信息。

然而，尽管 QKV 机制被广泛使用，学术界和工业界对其内部机制的理解仍存在盲区：这三个投影各自的独立贡献是什么？如果省略其中某些投影，或者让它们共享权重，会对模型性能产生何种影响？长期以来，关于投影共享（Projection Sharing）对注意力机制的影响研究相对匮乏，这导致我们在优化模型效率时，往往忽略了这一潜在的简化空间。

核心内容

这项由 Anusha Madan Gopal 等人提交的研究（2026年6月1日），对 QKV 的三种投影共享约束进行了系统性评估，旨在回答“Transformer 是否真的需要三个独立的投影”这一问题。

1. 三种投影共享变体

研究主要考察了以下三种权重共享方案：

• Q-K=V（共享键值）：Key 和 Value 共享同一个投影矩阵，Query 保持独立。
• Q=K-V（共享查询键）：Query 和 Key 共享同一个投影矩阵，Value 保持独立。
• Q=K=V（单一投影）：Q、K、V 全部共享同一个投影矩阵。

2. 对称性与非对称注意力的挑战

研究发现，后两种变体（Q=K-V 和 Q=K=V）会产生对称的注意力图（Symmetric Attention Maps）。这是因为当 Q 和 K 使用相同的投影时，计算出的注意力分数 $A_{ij}$ 与 $A_{ji}$ 往往具有对称性，这限制了模型捕捉有向依赖关系的能力。为了解决这一问题，研究还探索了通过 2D 位置编码（2D Positional Encodings） 来实现非对称注意力，以弥补方向性的缺失。

3. 实验范围与结果

研究在多个领域进行了广泛实验，包括合成任务、计算机视觉任务（MNIST, CIFAR, TinyImageNet, 异常检测）以及语言建模（在 100 亿 token 数据上训练的 3 亿和 12 亿参数模型）。

• 性能表现：实验发现，这些共享投影的 Transformer 变体在性能上与标准的 QKV Transformer 持平，甚至在某些情况下表现更好。
• 语言建模效率：在语言建模任务中，Q-K=V 投影共享方案在仅造成 3.1% 困惑度（Perplexity）下降 的情况下，实现了 50% 的 KV Cache 减少。这是一个显著的效率提升，因为 KV Cache 是推理阶段内存占用的主要来源。

4. 与 GQA/MQA 的协同效应

投影共享与现有的头部共享技术（如 GQA - Grouped Query Attention 和 MQA - Multi-Query Attention）是互补的。研究展示了组合使用的巨大潜力：

• Q-K=V + GQA-4：可实现 87.5% 的缓存减少。
• Q-K=V + MQA：可实现高达 96.9% 的缓存减少。

这种极致的内存优化使得在边缘设备（On-device）上进行高效推理成为可能。

5. 理论解释

研究解释了为何 Q-K=V 能保持高质量：

• 表示空间相似性：Key 和 Value 可以占据相似的表示空间。
• 低秩特性：注意力操作本质上处于一个低秩状态（Low-rank regime），因此不需要完全独立的投影来捕捉所有信息。
• 方向性破坏：相比之下，Q=K-V 会破坏注意力的方向性，导致性能下降，这解释了为何它不如 Q-K=V 有效。

关键要点

• QKV 并非不可简化：Transformer 不一定需要三个完全独立的投影矩阵，权重共享是一种被低估的优化手段。
• Q-K=V 是最佳平衡点：在三种变体中，Q-K=V（共享 Key 和 Value）表现最佳，它在保持模型精度的同时大幅降低了内存占用。
• 显著的内存节省：单独使用 Q-K=V 即可减少 50% 的 KV Cache 大小，且仅带来微小的精度损失（3.1% perplexity degradation）。
• 与 GQA/MQA 互补：投影共享与 GQA/MQA 技术不冲突，反而可以叠加使用。结合 MQA 可实现近 97% 的缓存缩减，极大利好端侧部署。
• 对称性问题的解决：Q=K-V 和 Q=K=V 会导致注意力图对称，限制模型能力；通过引入 2D 位置编码可以缓解这一问题，但 Q-K=V 因其天然的非对称性（Q 独立）而更具优势。
• 边缘计算的价值：该研究直接量化了投影共享对推理内存的收益，为资源受限的 Edge 部署提供了新的优化路径。

意义与影响

这项研究揭示了注意力机制中权重共享（Weight Tying）这一未被充分探索的领域。它挑战了“Q、K、V 必须独立”的传统假设，证明了在大多数情况下，Key 和 Value 可以共享投影空间而不显著损害性能。

对于 AI 基础设施和模型部署而言，这一发现具有直接且可量化的意义：

1. 降低推理成本：通过减少 KV Cache 的大小，可以显著降低 GPU/TPU 的内存带宽压力和显存占用，从而允许更长的上下文窗口或更高的并发请求。
2. 推动端侧 AI 落地：高达 96.9% 的缓存减少使得大型语言模型在内存有限的移动设备或边缘设备上运行变得更加可行，有助于打破“大模型只能在云端运行”的限制。
3. 简化模型架构：减少投影矩阵的数量不仅节省了内存，还可能略微减少计算量，为设计更轻量级的 Transformer 变体提供了理论依据。

代码已公开，开发者可以在此基础上进一步探索 QKV 变体在实际应用中的潜力。