高带宽闪存高效存储AI模型权重

背景

大型语言模型（LLM）对内存的需求巨大，且随着使用规模的扩大，所需内存持续攀升。内存制造商因此加速了建设新内存工厂的计划，重点投向高带宽内存（HBM）和DRAM，其中首座工厂预计于2027年投产。然而，内存需求的激增也为新思路的落地创造了机会。其中一种创新方案，便是来自SD卡或U盘中的那种闪存——经过改装的“高带宽闪存”（High Bandwidth Flash，简称HBF）。

核心内容

HBF本质上借鉴了使HBM成功的理念——通过堆叠多个芯片来提升容量和带宽——并将其应用于广泛用于SD卡、U盘和智能手机等设备中数据存储的NAND闪存。半导体市场研究机构Objective Analysis的总经理Jim Handy解释道：“有人问，‘这怎么会有意义呢？闪存速度奇慢无比。’”他指出，虽然NAND闪存带宽普遍不足，但HBF将缓解这一痛点。“写入操作慢得离谱，但读取操作可以被‘哄’出相当快的速度。高带宽闪存正是要朝这个方向优化。”

什么是HBF？

NAND闪存通过浮栅晶体管阵列中的俘获电荷来存储数据，以块（block）和页（page）为组织单位，而非可单独寻址的字节。它是一种非易失性存储，断电后数据不丢失。这些特性使闪存适合长期存储：在相同面积下，它能比DRAM存储更多字节，且无需耗电的电容来持续刷新保持电荷。但使闪存高密度、非易失的机制也导致其写入速度慢——将电荷推入或拉出绝缘栅极所需时间比给电容充电更长。

最新的闪存接口标准单颗芯片内存带宽可达4.8GB/s，在很多场景下已不错，NAND也广泛用于高性能长期存储，如固态硬盘。然而，DDR5单条DIMM带宽可达70.4GB/s（不含超频），HBM4E每堆栈可达3.6TB/s——HBM4E相比闪存带宽优势约750倍。

SK Hynix内存系统研究高级副总裁Hoshik Kim表示，HBF通过类似HBM的封装技术提升带宽：“通过将先进的3D封装和垂直堆叠技术应用于NAND闪存，HBF能提供远超标准NVMe存储的带宽。”与HBM堆叠DRAM类似，HBF堆叠NAND闪存芯片，形成高密度内存芯片。

HBF距离正式出货至少还有一年，但闪存制造商Sandisk已为其首代产品发布规格表。该公司预计HBF可堆叠多达16颗NAND闪存芯片，每堆栈总容量高达512GB，读取内存带宽预计达1.6TB/s。Sandisk的HBF路线图还规划了第二代和第三代，读取带宽分别预计为2TB/s和3.2TB/s。

HBF的用途是什么？

尽管HBF有望提供比前几代闪存高得多的带宽，但你可能注意到一个问题：它仍然比高性能GPU中使用的HBM慢得多。那么，HBF为何仍有前景？

答案在于AI训练（教会LLM预测token）和AI推理（部署已完成的模型）之间的关键区别。

训练模型时，需输入token，观察模型预测，检查预测是否正确，然后通过反向传播根据误差调整权重。这个过程虽然简单概括，但涉及数十亿甚至数万亿个模型权重的计算。这意味着训练过程对读写数据都很密集，因此闪存不适合。

但AI推理不同：模型权重冻结，实质上是只读的，因此闪存写入带宽差的障碍不再存在。Kim说：“在推理环境中，大量只读数据，比如静态的数十亿参数模型权重或预计算的KV缓存，可以安全地存放在HBF层中。”这将释放HBM，使其充当“高速暂存区”。

Handy认为，将闪存用于推理工作负载是一种明智的做法：“如果设置得当，你可以从中获得非常出色的性能——这本质上就是缓存。我预计这将成为一项有前途的技术。”

HBF下一步是什么？

尽管潜力巨大，HBF仍处于开发早期，距离广泛部署可能还需数年。2026年2月25日，Sandisk和SK Hynix举办启动活动，宣布联合在Open Compute Project（OCP）框架下设立专门工作组，推动HBF标准化。OCP是一个开放行业组织，管理着众多数据中心硬件规范。标准制定工作正在进行，但发布时间表尚未确定。

内存制造商——特别是SK Hynix——推出HBF作为HBM的廉价替代品，似乎有些奇怪。毕竟HBM是利润率更高的产品，目前正推动SK Hynix创下历史营收纪录。然而，Kim将HBF定位为互补工具而非竞争对手：“通过在不牺牲数据交付速度的前提下缓解HBM的严重容量瓶颈，HBF有潜力减少运行大规模模型所需的独立加速器数量。”他预计这将提高能效并降低成本，使数据中心能够进一步扩展其AI推理硬件。

关键要点

• HBF定义：高带宽闪存（HBF）是一种将HBM的芯片堆叠理念应用于NAND闪存的新型存储技术，旨在提升闪存带宽，同时保留其非易失、高容量、低成本的优势。
• 性能对比：HBF首代产品读取带宽可达1.6TB/s，远高于传统闪存（4.8GB/s每颗），但远低于HBM4E（3.6TB/s每堆栈）。其写入速度仍慢，不适用于写入密集型场景。
• 适用场景：HBF主要面向AI推理，因为推理时模型权重是只读的，闪存写入慢的缺点不再成为问题。它可将HBM解放出来用于计算密集型任务，类似“缓存”层级。
• 标准化进展：Sandisk与SK Hynix已联合在OCP下启动HBF标准化工作，但标准发布时间未定，产品预计至少一年后出货。
• 行业定位：HBF并非HBM的替代品，而是互补品，旨在通过降低对昂贵HBM的依赖，帮助数据中心在不牺牲性能的前提下降低部署大规模AI推理系统的成本和能耗。

意义与影响

HBF的出现为AI推理基础设施提供了新的成本效益路径。当前，训练和推理均严重依赖HBM，但HBM价格高昂且供应紧张。HBF作为大容量、中等带宽的存储层，能够有效承载静态模型权重和KV缓存，从而减少对HBM容量的需求，降低每台加速器所需的高成本内存。这有望使数据中心在相同硬件预算下部署更多推理节点，或降低单个模型的推理成本。

此外，HBF通过标准化工作纳入OCP生态，意味着其将成为