HBM之父金正浩：AI的本质是内存

背景

韩国科学技术院（KAIST）电气系教授金正浩被誉为「HBM 之父」，长期致力于高带宽内存（HBM）与 2.5D/3D 集成封装研究。他在 2010 年开始与 SK 海力士合作研发 HBM1，去年参与了 HBM4 至 HBM8 的长期发展路线图规划。近日，金正浩在公开场合提出一个颠覆性观点：AI 的核心竞争力正从 GPU 转向内存，AI 的本质是「内存」。这一论断建立在他对 AI 计算演进趋势的深刻理解之上——随着 AI 从训练阶段迈入推理时代，GPU 利用率远低于理论水平，内存带宽与容量反而成为限制性能的关键瓶颈。

核心内容

金正浩认为，过去 AI 训练阶段 GPU 是绝对核心，因为大规模矩阵运算需要强大的并行计算能力；而现在和未来，AI 进入推理阶段，模型需要不断访问海量参数和实时数据，此时内存的读写速度、容量和能效成为决定性因素。他指出，GPU 在 AI 推理中的利用率远低于其理论峰值——大部分时间浪费在等待数据从内存搬移上，因此「AI 的本质是内存」。

针对内存技术演进，金正浩给出了一条清晰的路线图：

1. 当前：HBM（高带宽内存）——通过 TSV（硅通孔）和微凸点将多层 DRAM 堆叠，搭配 GPU 使用，已基本适配 AI 训练和部分推理场景。但 HBM 的 DRAM 本质意味着其容量扩展受限于芯片面积和功耗。

2. 中期：HBF（高带宽闪存）——随着 AI 多模态化（图像、视频、音频等）和 Agentic AI（自主智能体）的出现，模型需要保存海量冷数据（不常访问但必须保留的历史知识或上下文物）。金正浩提出将 NAND 闪存堆叠的 HBF 技术将成为主流，其成本远低于 DRAM，容量密度更高，预计 10 年后市场需求可能超过 HBM。

3. 远期：HBS（高带宽 SRAM）——更远未来，金正浩设想采用读写速度比 DRAM 快 1000 倍的 SRAM，构建 HBS。具体构想是在 12 英寸晶圆上直接铺设 SRAM 阵列，将容量提升至约 1600GB。这将彻底消除数据搬移的延迟瓶颈，使内存本身成为计算核心的一部分。

4. 终极架构：3D 复合内存建筑——金正浩将未来 AI 计算机比喻为一座庞大的「三维建筑」：HBM 充当「商场」（高频访问的数据），HBF 层相当于「住宅区」（冷数据存储），HBS 承担「高速缓存」功能（极高速度的临时数据）。各种形态组合在一起，通过 3D 堆叠形成约 100 层规模的复合架构，持续给 GPU 供给数据，从而彻底解决内存墙问题。

关键要点

• AI 核心从 GPU 转向内存：金正浩明确指出，AI 训练阶段 GPU 是主角，但推理时代内存能力决定 AI 性能，GPU 的利用率在推理中远低于理论水平。
• 内存技术分阶段演进：现阶段以 HBM（DRAM 堆叠）为主，未来 10 年 HBF（NAND 闪存堆叠）将因冷数据需求激增而可能超越 HBM，更远期 HBS（SRAM 晶圆级）将彻底取代 DRAM 的延迟劣势。
• HBF 瞄准多模态与 Agentic AI 的冷数据存储：Agentic AI 和 AI 多模态化需要保存海量非频繁访问数据，NAND 闪存堆叠的 HBF 在成本和容量密度上具有优势。
• HBS 构想：SRAM 晶圆级容量达 1600GB：在 12 英寸晶圆上直接铺设 SRAM，速度比 DRAM 快 1000 倍，可视为未来的「大一统」内存方案。
• 3D 复合架构：约 100 层立体内存建筑：将 HBM、HBF、HBS 按功能分层堆叠，形成类似城市建筑的立体结构，从根本上打破数据搬运瓶颈。

意义与影响

金正浩的观点挑战了当前以 GPU 为核心的 AI 硬件设计范式，指向一个以内存为中心的未来。对产业界而言，这意味着：

• 内存厂商战略权重上升：SK 海力士、三星、美光等内存巨头将不仅被视为供应商，而是 AI 性能的决定者。HBM 的成功已验证这一点，HBF 和 HBS 的研发投入将加速。
• GPU 厂商需重新思考架构：NVIDIA 等 GPU 厂商可能不得不更紧密地与内存协同设计，甚至将部分计算功能下沉到内存侧（如存内计算、近存计算），以应对内存墙问题。
• AI 基础设施投资方向调整：未来数据中心可能更关注内存带宽和容量指标，而非单纯追求 GPU 算力峰值。冷数据存储方案的创新（如 HBF）将催生新市场。
• 3D 集成封装技术成为关键：金正浩设想的 100 层 3D 复合架构需要突破晶圆堆叠、散热、信号完整性等工程难题，这也将推动半导体封装技术的长期进步。

尽管这些设想仍处于路线图阶段，但它们为 AI 从「算力军备竞赛」转向「内存效率竞赛」提供了清晰的指引，也再次凸显了金正浩作为 HBM 之父在内存技术创新中的前瞻性角色。