HBM技术：新一代内存芯片的创新与蝶变 | 科技专题

HBM（High Bandwidth Memory）即高带宽存储器，是一款新型的CPU/GPU内存芯片，其通过使用先进的封装方法垂直堆叠多个DRAM，并与GPU通过中介层互联封装在一起，以实现大容量、高位宽的DDR组合阵列。

HBM技术的主要目的是为了突破传统内存带宽和容量不足等问题，为AI、高性能计算等领域提供一种高效的内存解决方案，以满足高性能计算和图形处理等领域对内存带宽和速度的极高要求。

HBM制造工艺包括硅通孔（TSV）、bumping和堆叠等工艺环节，即HBM由多个DRAM die堆叠而成，利用硅通孔（TSV）和微凸块（Micro bump）将die之间相连接，多层DRAM die再与最下层的Base die连接，然后通过凸块（Bump）与硅中阶层（interposer）互联。HBM与GPU、CPU或ASIC共同铺设在硅中阶层上，通过CoWoS等2.5D封装工艺相互连接，硅中介层通过Cu Bump连接至封装基板（Package Substrate）上，最后封装基板再通过锡球与下方的PCB基板相连。

图片来源：AMD

与传统的高宽带DRAM代表GDDR内存（一种专为图形处理单元设计的双数据率同步动态随机存取存储器，主要用于处理图形渲染、3D游戏和其他图形密集型应用）相比，HBM技术的优势更为显著。

例如，HBM通过垂直堆叠内存芯片和采用宽I/O接口，提供了比GDDR更高的内存带宽，不仅如此，HBM内存的堆叠设计不仅允许在较小的空间内容纳更多的内存芯片，还缩小了内存芯片与GPU核心之间的距离，一方面减少了芯片的整体体积、缓解了应用空间受限以及扩展空间内存等问题，另一方面也降低了内存访问的延迟，提高了应用程序的快速响应程度。此外，相较于GDDR内存，HBM还具有低功耗、高散热等优势。

随着AI大模型对于数据传输需求的不断提升，HBM被认为是最有望替代GDDR成为主流方案的技术。

图片来源：AMD

目前，主流数据中心GPU均采用HBM技术，且一颗GPU中会搭配多颗HBM。以英伟达H100为例，1颗英伟达H100PICe使用台积电CoWoS-S封装技术将7颗芯片（1颗GPU+6颗HBM）封在一起，1颗GPU由6颗HBM环绕，其中5颗是active HBM，每颗HBM提供1024bit总线位宽，5颗共提供5120bit总线位宽，另外1颗是non-HBM，可使用硅材料，起到芯片的结构支撑作用。

自2014年首款HBM产品发布至今，HBM技术已经发展至第五代，分别是：HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代），HBM芯片容量从1GB升级至24GB，带宽从128GB/s提升至1.2TB/s，数据传输速率从1Gbps提高至9.2Gbps。

其中，从第三代HBM开始应用于服务器后，HBM的发展速度实现了进一步提升，目前，HBM2E仍然是HBM市场的主流产品。Trendforce数据显示，2023年HBM的需求在从HBM2E逐步向HBM3过渡，两代产品的需求占比分别约为50%及39%；随着使用HBM3的AI芯片陆续放量，预计2024年HBM3市场需求将大幅增长，占比有望达到60%。

从竞争格局来看，HBM领域的主要供应商仍是存储器三大巨头SK海力士、三星以及美光，为应对全球GPU需求持续高增长的趋势，三大巨头一直在产品迭代与产能扩张方面持续发力。

• SK海力士目前已持续研发出HBM迭代产品HBM2、HBM2E、HBM3、HBM3E产品，并计划在2024H1将HBM3E投入量产，2026年计划第六代HBM4；

• 三星电子目前已推出HBM2、HBM2E、HBMPIM（存算一体）、HBM3产品，并于2024年发布首款HBM3E，计划2024H2开始大规模量产；

• 美光公司目前已推出HBM2、HBM2E产品，且直接跳过第四代HBM3，于2023年9月推出了HBM3E，2024年2月，其HBM3E解决方案开始量产。

根据Trendforce数据，2023年SK海力士在HBM市场中的市占率预计为53%，三星电子的市占率为38%、美光的市占率为9%。随着AI时代的深入发展，HBM技术的竞争将愈发激烈，上述三家存储芯片巨头预计在HBM市场仍然将占据垄断地位。

当前，HBM基于其高带宽、低延迟和高能效等特性已经成为主流AI训练芯片的常用选择。但由于HBM的成本相较于普通的DRAM仍然偏高，根据公开资料，HBM的平均售价至少是普通DRAM的三倍，因此，HBM在AI领域得到需求释放的同时，在个人计算机（PC）等To C端的应用场景或许仍然会受到诸多限制。

不过，受益于汽车自动驾驶等领域的快速发展，HBM的应用未来将不会仅局限在AI训练领域，其面临的应用范围将越来越广泛。

以英伟达推出的新一代车载SoC——NVIDIA Grace Hopper Superchip为例，公开资料显示，其Hopper GPU高度集成了大容量HBM3（第四代HBM），且HBM3在Hopper GPU中成本占比超过50%，是支撑GPU算力的最关键要素。

与前一代车载SoC相比，英伟达新一代Superchip的算力提升达到8倍，预计2024年底将面向市场进行推广，这意味着HBM将开始进入车载领域，与此同时，随着L3/L4等级别自动驾驶汽车逐渐实现，自动驾驶领域对HBM的需求也将有望实现进一步提升。

可以预见，未来随着更强劲的人工智能需求增长、AI服务器出货量增加以及自动驾驶等行业的快速发展，HBM的市场将持续放量。高盛预计，HBM的市场规模将从2022年的23亿美元增至2026年的230亿美元，4年复合年增长率达77%，HBM市场将随着技术的不断发展和应用场景的不断扩展而不断增长。