當AI晶片持續提高算力，HBM也一路追求更高頻寬與更大容量，但產業已經開始思考下一步：除了把HBM做得更快、更大，還能不能進一步縮短記憶體與運算晶片之間的距離，降低資料搬移的時間與能源？
在SEMICON Taiwan 2026期間，多場論壇都反覆觸及這個問題。HBM下一步的發展方向，也逐漸從規格升級延伸到更緊密的3D整合、記憶體與運算功能重新配置，以及系統架構的改變。
《數位時代》整理論壇內容，拆解產業正在探索的HBM下一步，以及真正走向量產前仍待跨越的關卡。
當HBM進一步走向3D整合，把記憶體直接疊到GPU等邏輯晶片上方，製造難度也會跟著提高。其中一項關鍵技術，就是讓晶片之間建立更高密度連接的「混合鍵合（hybrid bonding）」。
美光（Micron）總裁暨技術與產品長德波爾（Scott DeBoer）9月2日在大師論壇指出，垂直HBM（vertical HBM）已經成為記憶體產業與合作夥伴共同關注的方向，但混合鍵合的製造能力還需要大幅成熟。他直言：「就大規模量產能力而言，混合鍵合目前確實明顯落後。」
這也讓HBM下一步面臨的問題，從架構怎麼設計進一步走到能不能大量製造。晶粒對晶圓、晶圓對晶圓鍵合、量測與製程控制等能力，都會影響垂直HBM何時能真正進入大規模生產。
下一代AI記憶體，為何愈來愈需要混合鍵合？
HBM本身就是高度複雜的3D記憶體產品。德波爾指出，AI系統要提高記憶體頻寬，就必須讓更多資料從記憶體傳到邏輯晶片，因此兩者之間需要愈來愈多的I/O連接。當封裝面積有限，如何在相同空間內增加連接密度，也成為先進封裝持續往前發展的重要原因。
其中一項關鍵技術就是混合鍵合。簡單來說，傳統晶片堆疊通常需要透過微凸塊（microbump）形成晶片間的電性連接；混合鍵合則能讓晶片表面的介電層與銅互連直接接合，減少中間凸塊所占用的空間，進一步縮短連接距離並提高I/O密度。
但連接做得愈細密，製造要求也愈高。兩個待鍵合表面的平坦度、對準精度與缺陷控制都會影響最終良率，這也是混合鍵合從技術可行走向大量生產時必須解決的問題。
德波爾指出，包括晶粒對晶圓（die to wafer）、晶圓對晶圓（wafer to wafer）鍵合與相關量測（metrology）等能力，都還需要大幅提升，也必須解決如何在非常高的產量下，持續做出可靠且一致的鍵合。
HBM不只放在GPU旁邊，下一步可能直接往上疊
目前高階AI晶片常見的HBM配置，是透過2.5D封裝把GPU等邏輯晶片與多組HBM放在同一個封裝中。如今記憶體產業與合作夥伴共同關注的下一步，是垂直HBM，直接把HBM放到邏輯晶片上方。
它可以進一步縮短記憶體與運算晶片之間的距離，因此帶來非常大的頻寬提升空間，特別適合需要極高記憶體頻寬的AI推論工作負載。
不過，這種架構也有取捨。德波爾指出，垂直HBM可以換取非常大的頻寬提升，但能提供的記憶體容量較少。因此，它並非單純取代現有HBM，而是提供另一種選擇，瞄準對頻寬需求特別高的AI工作負載。既有HBM則仍會持續增加頻寬與容量。
隨著垂直HBM逐步發展，技術難度也會隨之提高。德波爾形容，垂直HBM是一項「非常困難的技術」，要實現這種架構，最終又會回到混合鍵合與先進封裝能力。也就是說，產業已經開始思考把HBM直接疊到邏輯晶片上方，但能否真正進入大規模量產，相關封裝技術還必須先成熟。
從HBM4E到HBM5，封裝能力成為新變數
德波爾判斷，未來一到兩年，記憶體頻寬仍是AI基礎設施需要優先改善的瓶頸。而頻寬提高影響的也不只是AI模型跑得多快，他指出，過去幾年HBM頻寬持續提升，已經是降低AI每個token運算成本的重要因素之一。
這條頻寬提升路線還會繼續往前。從HBM3E、HBM4到接下來的HBM4E，更長期還包括HBM5、HBM5E與垂直整合產品。隨著提高頻寬愈來愈依賴記憶體與邏輯晶片的緊密整合，HBM競爭也會從DRAM本身的頻寬與容量，進一步延伸到先進封裝的製造能力。
對產業來說，下一道門檻是能不能把混合鍵合穩定地做到足以支撐AI晶片的大規模生產。這項能力，將影響垂直HBM等新架構實際進入AI系統的速度。
