AMD MI355X (CDNA4) 占用率数学：从第一性原理出发的指南

背景

在 GPU 内核工程领域，当被问及内核性能表现时，“占用率”（Occupancy）往往是第一个被提及的概念。它是开发者最常引用的指标，也是调优时最先调整的“旋钮”。然而，根据经验，这也是开发者理解最模糊的指标。大多数工程师将其视为性能分析器（Profiler）返回的一个不透明的百分比数值，却忽略了其背后的物理本质。

事实上，占用率并非黑盒。它是完全可以通过内核的资源使用情况和硬件的固定限制手动推导出来的。掌握这种推导能力，能够从根本上改变内核调优的策略。

本文基于 Hacker News 上的一篇深度技术文章，针对 AMD Instinct MI355X（基于 CDNA4 架构，gfx950）进行从第一性原理出发的占用率数学解析。文章旨在通过硅片层面的硬件预算分析，揭示决定波前（Wavefront）驻留数量的四个资源限制器，并提供计算内核占用率上限的方法，最后通过实测数据论证“最大化占用率并非总是最佳目标”这一反直觉结论。

核心内容

1. MI355X 架构概览：从宏观到微观

MI355X 是 CDNA4 架构的代表，其目标 ISA 为 gfx950。

• 宏观结构：芯片由 8 个加速器复合裸片（XCD）通过第四代 Infinity Fabric 连接而成，总计 256 个计算单元（CU），每个 XCD 包含 32 个 CU，最高时钟频率可达 2.4 GHz。
• 存储层级：外围包裹着 288 GB 的 HBM3E 显存，带宽为 8 TB/s；前端配有 256 MB 的最后一级 Infinity Cache。每个 XCD 拥有独立的 L2 缓存切片，因此保持数据局部性（如 XCD 感知的 Swizzling）能带来性能收益，但这属于局部性故事，而非占用率故事。
• 核心关注点：对于占用率计算而言，唯一的推理单位是计算单元（CU）。CU 之上的层级决定数据流动，而占用率是在每个 CU 内部决定的。

2. 计算单元（CU）内部资源剖析

一个 CU 包含四个 SIMD 单元及共享基础设施。每个 SIMD 拥有 64 个数据通道（Lanes），并拥有私有的寄存器文件。决定占用率的四大关键资源如下：

• VGPR（向量通用寄存器）：每个 Lane 拥有 512 个条目的向量寄存器文件，私有于 SIMD。按波前（Wave）分配。这通常是限制占用率的主要资源。
• AccVGPR（累加器向量寄存器）：用于矩阵累加操作。在 CDNA4 中，AccVGPR 与常规 VGPR 共享同一个 512 条目的寄存器文件，而非独立的物理 ACC 文件（这与 MI100/MI200 不同）。
  • 关键细节：虽然 ISA 规定每种类型最多 256 个，但总预算为 512。编译器通常优先填充常规 VGPR。在 MXFP8 GEMM 内核中，大多数情况下累加器直接存储在常规 VGPR 中，只有最大的 Tile 才会溢出到累加器池。无论哪种情况，它们共享同一个 512 条目的预算。
• SGPR（标量通用寄存器）：每个 SIMD 约 800 个标量寄存器，按波前分配。通常不是瓶颈。
• LDS（本地数据共享）：160 KB，跨 CU 内所有四个 SIMD 共享。这是 CDNA4 相比 CDNA3（64 KB）的 2.5 倍增长。LDS 是工作组（Workgroup）内的协作机制。

核心区别（必须牢记）：寄存器文件是每个 SIMD 私有的，而 LDS 是每个 CU 共享的。这意味着 SIMD 0 上的波前无法访问 SIMD 1 的寄存器，但工作组内的所有波前（无论落在哪个 SIMD 上）都看到相同的 LDS。这一不对称性是后续占用率限制器分母不同的根本原因。

3. 线程、通道与波前

• 执行单元：硬件不以单线程执行，而是以**波前（Wavefront）**执行。AMD 的波前宽度为 64（对应 NVIDIA 的 Warp，但 NVIDIA 为 32）。
• 工作组与波前：一个 256 线程的工作组包含 4 个波前，而非 256 个独立的调度单元。
• 驻留定义：一个 SIMD 最多可同时驻留 8 个波前。“驻留”意味着其寄存器处于活跃且保留状态。每个周期只有一个波前发出指令，调度器通过切换到其他就绪波向来隐藏延迟。
• 占用率定义：占用率 = 驻留波前数 / 最大驻留波前数（每 SIMD 最大 8 个，每 CU 最大 32 个）。
  • 注意：占用率仅统计“停放”的波前数量，并不反映这些波前是否在执行有用工作。

4. 矩阵核心（Matrix Core）

AI 加速器的核心是 MFMA（矩阵乘加累加）引擎。CDNA4 原生支持 FP8、FP6 和 FP4，每 CU 矩阵吞吐量约为 CDNA3 的两倍。MI355X 峰值性能约为 5 PFLOPs (MXFP8) 和 10 PFLOPs (MXFP6/FP4)。

• 与占用的联系：MFMA 指令从 VGPR 文件读取操作数，并将结果累加回寄存器（常规或累加器 VGPR，即同一个 512 条目文件）。矩阵引擎由寄存器驱动，只有寄存器能提供足够快的操作数以维持峰值性能。

5. 占用率数学：四大限制器

占用率由最先耗尽的四个资源限制器决定。公式如下：

$$ \text{Occupancy} = \min(\text{四个限制器}) $$

这四个限制器分别是：

1. VGPR 限制器：基于每个 SIMD 的 512 条目预算。
2. SGPR 限制器：基于每个 SIMD 的 ~800 条目预算。
3. LDS 限制器：基于每个 CU 的 160 KB 预算（注意分母是 CU 级，而非 SIMD 级）。
4. 工作组/屏障槽位限制器：基于 CU 级的硬件调度槽位。

由于寄存器是 SIMD 私有而 LDS 是 CU 共享，计算时必须注意分母的差异。例如，VGPR 限制器基于单个 SIMD 的预算，而 LDS 限制器基于整个 CU 的预算。

6. 反直觉结论：低占用率下的高性能

文章最后指出，最大化占用率通常是错误的目标。

在 MXFP8 MFMA 的实测扫描中，即使占用率下降到满负荷的一小部分，矩阵核心的利用率仍保持在峰值的 ~97%。矩阵核心的吞吐量跟踪的是矩阵引擎的利用率，而不是 SIMD 的填充程度。一旦能够计算占用率上限，开发者应意识到，对于某些内核（如 GEMM），追求高占用率不仅没有必要，甚至可能因为增加寄存器压力而降低性能。

关键要点

• 占用率可手动推导：占用率不是黑盒，它由内核资源使用量和硬件固定限制决定，公式为 min(VGPR限制, SGPR限制, LDS限制, 工作组槽位限制)。
• CDNA4 寄存器统一：MI355X (CDNA4) 将常规 VGPR 和累加器 VGPR 合并为同一个 512 条目的寄存器文件。编译器优先使用常规 VGPR，累加器仅在必要时溢出使用。
• 资源边界差异：寄存器文件（VGPR/SGPR）是