稀疏权重矩阵创新方法加速大模型GPU推理
速览
本文提出三层矩阵存储格式，包括稀疏张量核心层、填充层和轻量残差层，结合稀疏张量核心与CUDA核心设计高效SpMM内核。该方案首次在高带宽GPU上超越稠密矩阵乘法，实现内核级最高1.64倍加速，端到端最高1.41倍加速。
AI 深度解读
背景
随着大语言模型（LLM）的广泛部署，LLM 推理成本已成为关键挑战。剪枝技术通过向权重矩阵引入稀疏性可以加速推理。然而，为了维持模型质量，通常只能将剪枝限制在适度的非结构化稀疏度（约 50%）水平。在这个稀疏度下，现有的 GPU 稀疏矩阵乘法（SpMM）内核均无法超越其稠密对应内核的性能。因此，亟需一种能在中等稀疏度下有效利用稀疏性实现加速的 GPU 推理方法。
核心内容
本文提出了一种针对中等稀疏度 LLM 的高效 GPU 推理方法。核心贡献是一种三层矩阵存储格式，包含：
- Sparse-TC 层：利用稀疏张量核心（Sparse Tensor Cores）加速 SpMM。
- Slot-Filling 层：采用并行差分距离（parallel differential distance）进行矩阵压缩，同时支持低成本的片上解码。
- 轻量级 Residual 层：确保 SpMM 计算正确性。
基于该存储格式，作者设计了一个联合利用稀疏张量核心和 CUDA 核心的 SpMM 内核。该设计实现了高效的执行流水线，并将片上计算与内存访问重叠。
评估结果显示，这项工作首次在现代配备高带宽内存（HBM）的 GPU 上超越了稠密矩阵乘法。在核级加速方面，相比 SpInfer（EuroSys'25，最佳论文）最高可达 1.64 倍；在端到端加速方面，相比 FlashLLM（VLDB'24）最高可达 1.41 倍。作者已开源其代码（见原文链接）。
关键要点
- 现有 GPU SpMM 内核在约 50% 非结构化稀疏度下无法超越稠密乘法，这是论文要解决的核心瓶颈。
- 创新性地提出三层存储格式：Sparse-TC 层利用稀疏张量核心、Slot-Filling 层通过并行差分距离压缩矩阵并支持低成本解码、Residual 层保证计算正确性。
- SpMM 内核同时调度稀疏张量核心和 CUDA 核心，实现流水线执行和计算与访存的重叠。
- 实验在配备 HBM 的现代 GPU 上进行，首次在核级和端到端两个层面超越稠密矩阵乘法。
- 相比 SpInfer（EuroSys'25 最佳论文）核级加速最高 1.64×，相比 FlashLLM（VLDB'24）端到端加速最高 1.41×。
- 代码已开源，便于复现和进一步研究。
意义与影响
这项工作针对 LLM 推理中“中等非结构化稀疏”这一实际但长期未解决的难题提供了首个有效加速方案。它证明了在保持模型质量的关键稀疏度范围内，通过精心设计的存储格式和异构内核协同，可以超越稠密矩阵乘法。这不仅降低了 LLM 的推理成本，也为后续稀疏计算和 GPU 架构优化提供了新思路。该论文在 EuroSys 和 VLDB 顶会最佳论文工作的基础上进一步取得突破，具有重要的学术和工程价值。开源代码也为社区应用和扩展提供了基础。