半導體業內人士7月3日報道稱，繼英偉達之后，全球各大科技巨頭已陸續向SK海力士索取第五代高帶寬內存HBM3E樣品。該名單包括 AMD、微軟和亞馬遜。實際上，SK海力士預計到2024年上半年才能實現量產。
HBM（High Bandwidth Memory，高帶寬內存），是由 AMD 和 SK海力士發起的基于3D堆棧工藝的高性能 DRAM，是一款新型的CPU/GPU 內存芯片，它是將很多個DDR芯片堆疊在一起后和GPU封裝在一起，實現大容量、高帶寬的DDR組合陣列。從技術角度看，HBM使DRAM從傳統2D轉變為立體3D，充分利用空間、縮小面積，契合半導體行業小型化、集成化的發展趨勢。
HBM借助硅通孔技術TSV實現多個 DRAM 之間的垂直連通堆疊，達到縮減體積、降低能耗的目的：
HBM突破了內存容量與帶寬瓶頸，可以為 GPU 提供更快的并行數據處理速度，打破“內存墻”對算力提升的桎梏，被視為 GPU 存儲單元理想解決方案，將在 AI發展中持續收益。通過增加帶寬，擴展內存容量，讓更大的模型，更多的參數留在離核心計算更近的地方，從而減少內存和存儲解決方案帶來的延遲。
大模型、人工智能、機器學習、高性能計算、數據中心等應用市場興起，推動著高帶寬內存HBM更新迭代。自2014年首款硅通孔HBM產品問世至今，HBM技術已經發展至第五代，分別是：HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）和最新的HBM3E（第五代）。
HBM芯片容量從1GB升級至24GB，帶寬從128GB/s提升至1075GB/s，數據傳輸速率也從1Gbps提高至8.4Gbps。在高性能服務器領域，HBM已經成為了高端GPU的標配。
比如，Nvidia 的 H100 采用 CoWoS-S 上的7-die封裝。中間是H100 GPU ASIC，其芯片尺寸為814mm2 ，周圍是 6 個內存堆棧HBM。不同 SKU 之間的 HBM 配置有所不同，但 H100 SXM 版本使用 HBM3，每個堆棧為 16GB，總內存為 80GB。H100 NVL 將具有兩個封裝，每個封裝上有 6 個活躍的 HBM 堆棧。
（二）HBM市場三分天下
目前，HBM市場只有3家企業，全球55%的HBM出貨來自SK海力士（SK Hynix），35%來自三星電子（Samsung），美光科技（Micron Technology）占10%。
SK海力士約40%的營業利潤來自HBM。如，英偉達高性能GPU A100和H100的顯存模塊并沒有采用常用的DDR/GDDR內存，而是SK海力士的HBM3內存；全球排名第一的服務器CPU公司英特爾在全新的第四代至強可擴展處理器當中也推出了配備SK海力士HBM的產品。
三星于2022年實現HBM3量產，其單芯片接口寬度可達1024 bit，接口傳輸速率可達6.4 Gbps，單芯片接口帶寬達819 GB/s。三星HBM3正式向英偉達和AMD供貨，HBM3在三星電子整體DRAM銷售額中所占比重或將從今年的6%擴大至明年的18%。在三星公布的路線圖上，2024年預計將實現接口速度高達7.2 Gbps、堆疊總帶寬提升到5 TB/s以上的HBM3p。
三星DRAM內存路線圖：
美光科技相比明顯較落后，于2020年7月才宣布大規模量產HBM2E，HBM3仍在持續研發之中。之前，美光科技在混合存儲立方體 (HMC) 技術上投入更多資金，這是與 HBM 競爭的技術。然而，HMC周圍的生態系統是封閉的，導致圍繞HMC的IP很難開發。直到 2018 年，美光才開始從 HMC 轉向HBM。這就是美光落后的原因。不過，在最近的財報電話會議中，美光對其 HBM 路線圖做出了非常樂觀的預期：他們相信，他們將在 2024 年憑借 HBM3E 從落后者變為領先者；HBM3E 預計將在2024 年第三季度/第四季度開始為英偉達的下一代 GPU 發貨。
（三）HBM逆勢增長
過去幾年，受智能手機、PC等消費電子市場疲軟影響，包括 NAND 和 DRAM 在內的內存市場都遭受重創，自 21 年第三季度以來，DRAM 價格已下跌 57%，而同期 NAND 價格已下跌 55%。DRAM行業在2023年第1季度經歷了自2012年以來的首次運營虧損，利潤率從 2022 年第 4 季度的 9% 降至 23 年第 1 季度的-16%，因為23 年第 1 季度的出貨量比預期低了13%。供應商在23 年第一季度繼續增加庫存，目前庫存超過 13 周。
內存（DRAM和NAND）價格同比增長率走勢圖及預測：
而且，一般來說像HBM3這樣的顯存由于需求量不是很大，因此價格不會出現大波動，當然供應量也不高，畢竟制造成本高昂，產能也有限，基本上是供需平衡，然而今年由于ChatGPT的火爆，導致NVIDIA的GPU供不應求，使得HBM3顯存出現了嚴重短缺的情況，由此導致三星以及海力士作為HBM3顯存的供應報價飆升了5倍。
據市場調研公司預測，未來4年AI服務器出貨量年化增速高達61%，2026年預計達90萬臺。
由于AI服務器需要配置更多DRAM、HBM等大容量存儲以應對日益復雜的AI大模型所帶來的海量數據。數據顯示，普通服務器DRAM容量約為500~600GB，而AI服務器DRAM容量可達1.2~1.7TB；數據處理量和傳輸速率的大幅提升對帶寬提出更高的要求，HBM成為AI服務器標配，單臺AI服務器HBM用量達到320~640GB。目前HBM占DRAM約2%-3%，預計三年后將翻倍。
集邦咨詢預測，從今年到2025年，HBM市場預計將以年均45%或以上的速度增長，與人工智能市場的增長同步。而據semiconductor-digest預測，到 2031年，全球高帶寬存儲器HBM市場預計將從 2022 年的 2.93億美元增長到34.34億美元，在2023-2031年的預測期內復合年增長率為31.3%。
