Exact UNORM8 to Float：从硬件规范到算法优化的深度解析

背景

在图形处理和机器学习领域，GPU 广泛支持 UNORM（Unsigned Normalized）数据格式。这种格式将数值范围映射在 $[0, 1]$ 之间，通常使用 8 位无符号整数（uint8）来存储。例如，像素颜色值或归一化的张量数据常采用此格式。

从数学原理上讲，将 UNORM8 转换为标准的 float32（32位浮点数）是一个简单的除法操作：将整数值除以 255。由于 8 位整数和 255 都能被 float32 精确表示，理论上，只要执行“正确”的除法运算，结果应当与精确算术计算后舍入到最近的 float32 值一致。

然而，在实际的图形 API 规范中，这一看似简单的转换却引发了关于精度与性能的争议。Direct3D 11.3 的功能规范（沿用了 D3D10 的措辞）对此采取了保守态度，明确指出：“要求精确（1/2 ULP，即最低有效位的一半）的转换精度被认为成本过高。”

尽管规范认为精确转换昂贵，但作者通过实验发现，在测试的 GPU 硬件上，精确转换实际上并不昂贵，且不需要像传统 CPU 那样依赖复杂的除法单元。GPU 通常不支持硬件除法指令，正确的 float32 除法通常需要通过一系列冗长的指令序列来实现。因此，业界普遍采用近似方法：乘以 255 的浮点数倒数（即 1.f / 255.f）。虽然这并非数学上的精确解，但对于已经量化为 uint8 的数据而言，其精度通常已绰绰有余。

本文旨在探讨一个原则性问题：如果我们坚持要获得数学上精确的 UNORM8 到 float32 的转换结果，同时避免使用昂贵的除法指令和 double 精度类型，该如何实现？

核心内容

作者通过逻辑推导和代码验证，提出了几种实现精确转换的方案，并最终找到了最优解。

1. 方案一：使用 double (float64) 中间态

这是最直观但非最优的方案。将 8 位整数值 $x$ 转换为 double 精度，乘以 1. / 255.，然后再转换回 float32。

• 原理：由于 double 的精度远高于 float32，中间计算过程不会丢失精度。
• 验证：通过穷举测试（仅 256 种可能输入），可以验证该方法的结果与精确除法一致。
• 缺点：引入了 double 类型，增加了寄存器压力和潜在的转换开销，不符合“纯 float32”的优化目标。

2. 方案二：基于几何级数展开的纯 float32 算法

如果既不想用除法，也不想用 double，我们需要寻找一种仅使用乘法、加法和位移的替代方案。

数学推导： 作者将 $1/255$ 展开为几何级数。由于 $255 = 256 - 1$，我们可以利用 $1/(256-1)$ 的性质。虽然直接求和无限项不现实，但我们需要足够的项来确保舍入正确。

精度分析：

• 舍入难点：最难舍入的情况出现在 $x$ 为 2 的幂次时（如 $x=1, 2, 4...$）。
• 有效位数：float32 拥有 24 位有效尾数（23 位存储 + 1 位隐含位）。为了正确舍入，我们需要在最高位之后保留 24 位正确的比特，加上用于判断舍入方向的截断位，以及确保“粘滞位”（sticky bit）正确置位以避免平局舍入错误。
• 项数需求：每个级数项贡献 8 位精度。经过分析，需要 1 个“牺牲”项（在归一化过程中被移位掉），3 个项用于提供主要的尾数精度，以及 1 个额外项用于确保粘滞位正确。总共约需 5-6 项。

算法实现： 为了避免逐项相加的低效，作者将多个级数项合并为常数。假设 $x$ 为 $[0, 255]$ 的整数：

// 编译时常量，假设 IEEE 语义
const float k0 = (1.f + 256.f + 65536.f) / 16777216.f;
const float k1 = k0 / 16777216.f;

// 精确转换逻辑
float tmp = (float)x;
float no_div = (tmp * k0) + (tmp * k1);

• 机制：tmp * k0 生成了 $x$ 的三个连续副本（共 24 位尾数），这在 float32 中是精确可表示的。tmp * k1 生成了另外三个副本，但指数偏移了 24 位。
• 开销：两次乘法，一次加法。若支持 FMA（融合乘加），可优化为两次 FP 操作；否则为三次。

3. 最终优化方案：Alexandre Mutel 的巧妙建议

在文章更新中，Alexandre Mutel 提供了一个更简洁、更高效的方案。

核心洞察： 虽然 $1/255$ 的倒数在 float32 中精度不足以直接产生正确舍入，但 $1/(255 \times 3)$ 的倒数精度是足够的。同时，整数 $[0, 255]$ 乘以 3 的结果（最大 765）可以精确地表示为 float32。

算法实现：

const float k0 = 3.f;
const float k1 = 1.f / (255.f * 3.f);

// 先乘 3，再乘倒数
return ((float)x * k0) * k1;

或者在整数端先乘 3：

return ((float)(x * 3)) * k1;

• 优势：无论是否支持 FMA，这始终只需要两次乘法。
• 结论：这是目前已知最简洁且高效的精确转换方案。

关键要点

• 规范与现实的差距：Direct3D 规范认为精确转换成本高，但实际 GPU 硬件中，精确转换并不昂贵，且无需硬件除法单元。
• 近似法的局限性：常用的 x * (1.f/255.f) 是近似计算，虽满足绝大多数实际需求，但在极端舍入边界情况下可能产生 1 ULP 的误差。
• 几何级数法的可行性：通过将除法转化为几何级数求和，并利用 float32 的尾数特性合并项，可以用乘法和加法模拟除法，实现精确舍入。
• 最优解特征：
  • 无需 double 类型。
  • 无需除法指令。
  • 仅需两次乘法（或一次乘加 + 一次乘法）。
  • 利用 $3 \times (1/765)$ 的精度特性，比直接处理 $1/255$ 更稳定且常数更简单。
• IEEE-754 语义的重要性：上述优化算法依赖于标准的 IEEE-754 舍入模式（如 Round to Nearest, Tie to Even），在启用 fast-math 等破坏标准语义的编译器优化时可能失效。

意义与影响

1. 图形与计算性能的极致优化： 在高性能计算（HPC）、实时渲染和 AI 推理中，数据格式转换是高频操作。将除法替换为乘法和加法，不仅消除了对除法单元（通常延迟较高或不存在于 GPU 中）的依赖，还减少了指令数量。对于支持 FMA 的现代 GPU，这仅需 2 个周期即可完成，极大地提升了吞吐量。

2. **对