有符号对称量化：低比特整数精度的新方案

背景

在大语言模型（LLM）的部署与推理中，权重量化是降低内存占用和计算延迟的关键技术。整数量化（Integer Quantization）将浮点权重映射到低比特整数网格（如4-bit、2-bit），其中对称量化（Symmetric Quantization）和非对称量化（Asymmetric Quantization）是两种主流方案。标准对称量化假设数据零对称，将缩放因子（scale）设为严格正数，从而映射到有符号整数的整个表示范围。然而，有符号整数（如int4）的表示范围本身是不对称的：负值端比正值端多一个可表示值（例如int4范围是-8到7）。按照惯例，标准对称量化器的缩放因子为正，导致这个多余的负值永远保留在负尾，而正数端在遇到较大正离群值时被迫截断（clipping）。在低比特精度（few-bit precision，如2–4 bit）下，这种截断误差会显著上升，成为量化误差的重要来源。

非对称量化通过引入零点（zero point）将网格整体平移，可以自适应地覆盖数据实际范围，避免截断问题。但其代价是推理时需要额外处理零点偏移（例如在累加时需要加减零点），导致计算效率下降，在CPU等硬件上吞吐量明显低于对称格式。因此，如何在保持对称量化运行时友好性的前提下，消除正尾截断误差，成为一个重要的优化方向。

核心内容

本文提出一种名为有符号对称量化（Signed Symmetric Quantization）的替代方案，具体实现为有符号绝对值最大网格（signed absmax grid）。该方法在保持零点为零的前提下，通过一个轻量且可解释的符号选择规则，将多余的那个可表示值分配给主导离群值所在的尾部，而不是默认固定在负尾。本质上，它允许缩放因子取负值，从而等价于将标准对称量化的网格整体“翻转”，使正数端也能利用多出的一个表示值。

论文的理论分析提供了两个主要结论：

1. 条件ℓ₂误差最优性：作者证明，在ℓ₂量化误差（即均方误差）准则下，有符号absmax网格是一个条件最优（conditionally bound-optimal）的量化器。具体而言，当数据的偏度（skewness）满足特定条件时，signed absmax的误差不大于任何固定零点为零的对称量化器。在预训练大语言模型（如Qwen3、Llama3系列）的低比特权重分组中，88%–99%的组满足该条件，说明该方法在大多数实际场景下是最优选择。

2. 与零点偏移的等价性：作者证明，将标准对称量化器的缩放因子取负值（即scale → -scale）在数学上等价于在有符号整数字母表上进行一个单位的零点偏移（zero point shift）。这一分析揭示了signed symmetric quantization的深层机制：它实际上是在不引入额外运行时零点处理的情况下，实现了网格的微调平移，从而弥补了对称量化在非对称数据上的不足。

实验验证基于Qwen3、Qwen3.5、Llama3系列模型，使用4-bit和3-bit量化。结果一致显示，相比于标准无符号对称量化（原文称“unsigned symmetric”，即常规的对称量化），signed absmax量化在困惑度（perplexity）和少样本（few-shot）准确率上均有提升，且推理开销与标准对称量化完全相同（因为零点仍为零）。在AMD EPYC “Turin” CPU上的性能对比显示，4-bit对称格式比非对称格式最多节省9%内存，吞吐量最高提升2.45倍，而signed对称量化可获得相同的吞吐量优势，同时精度更高。

关键要点

• 核心问题：标准对称量化因有符号整数范围的固有不对称（负值多一个），导致正尾截断误差，在低比特时显著影响精度。
• 非对称量化的代价：零点偏移虽能解决截断，但引入运行时开销，在CPU等硬件上导致吞吐量下降（4-bit时最高降幅达2.45倍）。
• 提出方法：有符号对称量化（signed absmax grid）——将缩放因子符号化为可正可负，通过简单规则将多余表示值分配给主导离群尾，保持零点为0。
• 理论贡献：
  • 推导出signed absmax网格在ℓ₂误差下具有条件最优性，且该条件在低比特LLM权重分组中成立比例高达88-99%。
  • 揭示了取负scale等价于单位零点偏移的代数关系，统一了对称与非对称量化的视角。
• 实验验证：在Qwen3、Qwen3.5、Llama3系列上，signed对称量化在不增加推理成本的前提下，显著优于标准对称量化（perplexity和少样本准确率均有提升）。
• 性能优势：保持对称格式的内存节省和吞吐量优势，无需额外计算逻辑，适合对延迟敏感的生产环境。

意义与影响

该研究为低比特整数量化提供了一种“无代价”的精度提升方案。以往在对称与非对称量化之间的选择存在明确的精度-效率折中：对称快但可能精度损失大，非对称精度好但慢。本文提出的有符号对称量化打破了这一僵局——它在保持对称量化运行时开销不变（零点为零，无需额外加减）的前提下，通过巧妙的符号选择规则，系统性地消除了正尾截断误差，从而在几乎零运行时代价下逼近非对称量化的精度水平。

对于大语言模型的端侧部署、CPU推理以及内存受限场景（如边缘设备），该技术可以直接降低模型量化后的精度退化，同时不影响已有的优化算子库（如INT8/INT4矩阵乘法）。由于方法简单（仅需在计算scale时考虑符号，推理时无改动），可以轻松集成到现有量化流程（如GPTQ、AWQ、QLoRA等）中。

此外，理论上的等价性分析（scale符号翻转≈单位零点偏移）为理解量化网格的几何性质提供了新视角，有助于未来设计更通用的自适应量化方案。整体而言，本文提出的signed symmetric quantization是一个实用且优雅的贡献，很可能成为低比特量化领域的标准技术之一。