HBM是什麼？3D完全圖解，帶你一次看懂「記憶體全村希望」
記憶體長期以來，都不是太性感的產業，最常見的新聞就是跟「景氣循環」寫在一起。然而自AI需求崛起後，記憶體大廠開始大幅占據科技新聞版面，並跟一組關鍵字緊密連動──HBM。
HBM是高頻寬記憶體，全球調研機構TrendForce指出，HBM市場仍處於高成長階段，隨著AI Server持續佈建，在GPU算力與記憶體容量都將升級下，HBM成為其中不可或缺的一環，帶動HBM規格容量上升，如NVIDIA Blackwell平台將採用192GB HBM3e記憶體、AMD的MI325更是提升到288GB以上。由於HBM生產難度高、良率仍有顯著改善空間，推高整體生產成本，平均售價約是DRAM產品的三至五倍，待HBM3e量產，加上產能擴張，營收貢獻將逐季上揚。
作為HBM重要供應商，美國記憶體巨頭美光（Micron Technology）公布2024會計年度第4季（截至2024年8月29日）財報，由於AI推動記憶體市場需求，美光財報與本季財測均超出華爾街預期，股價在盤後交易中飆升逾 14%。
不只美光，韓國HBM龍頭SK海力士一樣表現驚人，市值自2023年開始一路狂飆，4月1日突破千億美元大關。
從各方面來看，HBM讓記憶體廠迎來全新一波的成長動能，美國記憶體巨頭美光（Micron）更表示，HBM產能開出後便被訂購一空。到底什麼是HBM，為什麼在AI時代成為眾人追捧的關鍵？
HBM是什麼？跟傳統DRAM有什麼不同？
簡單來說，越強的AI處理器，需要越強的記憶體。
美光副總裁暨運算與網路事業部運算產品事業群總經瓦伊迪亞納坦（Praveen Vaidyanathan）指出，晶片性能表現與記憶體的頻寬和容量成正相關，隨著大語言模型（LLM）參數量增加，也需要更高頻寬記憶體，AI處理器才能順利運行。
HBM相較傳統DRAM為「高頻寬」記憶體。
高頻寬就好比是高速公路，道路越寬可承受的車流量就越大，等於記憶體能運送的資料量就越多；再加上HBM可簡單理解為好幾個DRAM，透過先進封裝堆疊起來，除了傳輸快速以外，儲存空間也擴大。
《SemiAnalysis》指出，光是GPT-4就含1.8兆個參數，想應用AI，就必須搭配像HBM這樣容量更大、存取更快速的記憶體，讓參數可以輕易被傳輸與儲存。不過HBM與一般DRAM之間並不存在取代關係，而是因為應用需求的不同，衍生出的技術。
HBM（高頻寬記憶體,High Bandwidth Memory） 3D圖解
HBM是將DRAM透過先進封裝技術堆疊而成，與GPU整合於同一塊晶片上，更有利於就近存取、傳輸資料。主要作法為利用矽穿孔（TSV）技術，在晶片鑽出小洞，再填充如銅這樣的導電物質，連接金屬球以達通電效果。
HBM技術難在哪？
「把DRAM疊起來」聽來簡單，但實際上存在不少技術難度。瓦伊迪亞納坦指出3項關係著良率的技術難點：
首先，是厚度。
HBM厚度僅能為人類頭髮的一半，意味著每一層DRAM的厚度都必須控制，研磨必須相當精細。瓦伊迪亞納坦指出：「一旦堆疊層數越多，DRAM就必須做得更薄。」在這樣的狀況下，企業必須擁有更先進的DRAM製程才可能達成。
其次，是晶圓堆疊的精準度。
HBM的封裝是將每一片DRAM晶圓疊齊後再做切割，切割下來的晶粒就是HBM。不過，製造商為讓堆疊更薄，會在矽晶圓上穿孔並以金屬物質填滿，用以通電，藉此取代傳統封裝的導線架。這樣的打洞技術則稱為「矽穿孔（TSV, Through Silicon Via）。」
倘若是堆疊4層的HBM，從晶圓堆疊切割前開始，就必須精準對齊矽穿孔（TSV），「切的時候也不能移位，否則不能導電。」瓦伊迪亞納坦說。由於矽穿孔僅略大於細菌尺寸，需要非常精細的工藝才能做到。第三，就是堆疊後的散熱問題。
HBM之所以被發明，來自於晶片商希望能將記憶體和處理器，包含CPU和GPU，全都包在一顆IC中。如此一來，記憶體與處理器的距離變得比之前近很多，散熱問題更需要被解決。綜合三點來看，封裝技術的重要性更甚以往。
HBM的應用有哪些？
由於技術難度高，HBM成本也相對高昂。早在2013年HBM就已經誕生，當時超微（AMD）找上海力士共同研發第一代HBM，卻因價格太貴而鮮少被晶片業者採用，直至今日才因為AI應用而崛起。
晶片業者分析，雖然越先進的HBM價格越高，但只要效能夠好、夠省電，廠商當然願重本採用。
目前來看，AI伺服器會是HBM最重要的市場，美光以及海力士的HBM3e已通過輝達的驗證，市場更盛傳輝達已支付數億美元的預付款以確保供應。瓦伊迪亞納坦指出：「AI伺服器所需要的記憶體量，是傳統伺服器的5～6倍。」
除此之外，未來自駕車市場也是HBM重要的應用場景。Mordor Intelligence在10月出版的一份報告中表示，自駕車與ADAS（自動駕駛輔助系統）正在推升HBM的需求。從這個情況看來，AI伺服器＋車用的HBM市場需求，可能將長達10年。
HBM背後的記憶體廝殺戰！海力士市占最高、美光靠技術搶市
記憶體巨頭的HBM戰爭則早已開打。集邦科技指出，作為先進者的海力士，在2022年拿下近全球近5成HBM市占奪冠，居次的三星佔4成、美光佔1成。《BusinessKorea》指出，三星將在2024年積極擴產HBM以追上海力士腳步；看似落後的美光，則希望在HBM戰局中，透過技術反超來吹響反攻號角。
如同台積電的3、5奈米，DRAM也有製程迭代，排序為1y、1z、1α（1-alpha）、1β（1-beta）和1γ（1-gamma），其中1β是當前已量產的最先進記憶體，1γ則還未量產。
若進一步比較，最新一代的HBM3e，三星採用的是1α製程，海力士與美光皆用1β製作，於技術上領先三星。投資銀行分析師指出，美光是希望藉著HBM技術領先，搶攻市場龍頭。
全球記憶體市場長久以來三分天下，HBM受到重視後則開啟全新戰局，甚至可能扭轉局勢。在先進技術優先、成本其次考量的AI時代，記憶體比起以往將扮演更重要的角色。
想看更多👉 美光HBM台灣最緊密夥伴！中砂是什麼來頭？