當AI晶片持續提高算力，HBM也一路追求更高頻寬與更大容量，但產業已經開始思考下一步：除了把HBM做得更快、更大，還能不能進一步縮短記憶體與運算晶片之間的距離，降低資料搬移的時間與能源？
在2026國際半導體展（SEMICON Taiwan）期間，多場論壇都反覆觸及這個問題。HBM下一步的發展方向，也逐漸從規格升級延伸到更緊密的3D整合、記憶體與運算功能重新配置，以及系統架構的改變。
《數位時代》整理論壇內容，拆解產業正在探索的HBM下一步，以及真正走向量產前仍待跨越的關卡。
對超微（AMD）來說，HBM下一步要解決的核心問題，是如何讓記憶體與CPU、GPU等運算單元靠得更近。未來甚至可能透過3D整合，直接把記憶體堆疊在運算晶片上方，進一步降低資料搬移能耗。
但距離縮短後，另一個問題也隨之出現。記憶體放在哪裡，會連帶影響封裝方式、供電、散熱與製造，下一代HBM也愈來愈難和其他硬體分開設計。
AMD異質整合技術企業副總裁斯瓦米納坦（Raja Swaminathan）因此在異質整合國際高峰論壇指出：「我們能不能在設計整個技術堆疊的每一層時，都把能源效率考慮進去？」他並強調，「系統建構才是策略。」
AI撞上能源牆，HBM為何還要繼續靠近運算？
斯瓦米納坦指出，隨著AI運算規模快速擴張，產業正在接近「能源牆」。系統消耗的電力除了用於CPU與GPU執行計算，也有相當一部分來自不同晶片、記憶體與節點之間的資料傳輸。
因此，資料放在哪裡開始成為影響系統效率的重要條件。斯瓦米納坦特別強調「資料位置」的重要性，當資料更靠近真正使用它的運算單元，就能縮短傳輸距離、降低搬移資料需要消耗的能源。
HBM本身已經沿著這個方向發展。目前主流AI加速器透過2.5D封裝，把GPU與多組HBM放進同一個封裝；AMD描繪的下一步，則是利用更緊密的3D整合，進一步縮短記憶體與運算之間的距離。
斯瓦米納坦展示的演進方向中，記憶體未來可能直接堆疊在CPU、GPU或ASIC上方，把部分原本水平方向的資料傳輸改成更短的垂直連接，藉此進一步提高頻寬並降低資料搬移能耗。
記憶體位置一改，晶片、封裝和散熱都得一起改
記憶體走向更緊密的3D整合後，HBM的位置便會直接牽動其他硬體設計。記憶體放在哪裡，會改變封裝結構、供電與散熱條件，也讓處理器與記憶體之間需要更早協調。
斯瓦米納坦因此主張產業進一步走向「系統技術協同最佳化（STCO，System Technology Co-Optimization）」。相較於設計技術協同最佳化（DTCO，Design-Technology Co-Optimization）主要協調晶片設計與半導體製程，STCO把記憶體、封裝、互連、供電、散熱等條件一起放進系統設計。
AMD本身設計CPU、GPU等運算晶片，也大量採用HBM、小晶片與先進封裝，近年更進一步提出機架級AI參考架構。這使AMD需要從處理器一路考慮記憶體、封裝、網路、供電與冷卻如何搭配，也更直接面對不同技術彼此牽動的問題。
斯瓦米納坦形容，設計方法正在從過去的「由左往右」，改成「由右往左」。過去較常先設計晶片，再決定最終產品如何組成；現在則先看完整AI系統需要多少運算能力、記憶體與頻寬，再往回決定晶片、記憶體、封裝甚至製程如何設計。
散熱就是其中最直接的例子。記憶體堆疊到高功耗運算晶片上方，可以縮短資料傳輸距離，卻也會讓熱源更加集中。斯瓦米納坦指出，「散熱已經成為瓶頸」，因此元件位置、功耗、熱傳路徑與冷卻方式，都需要在架構階段納入考量。
大量製造同樣需要提早考慮。斯瓦米納坦指出，不少新技術可以在少量樣品上成功展示，但規模擴大到晶圓或大量產品後，問題便可能開始浮現。因此，可製造性、良率、可靠度與成本，也會成為下一代3D記憶體架構能否落地的關鍵。
HBM競爭開始走向「共同設計」
2026年3月，AMD與三星簽署合作備忘錄。雙方將就Instinct MI455X GPU的主要HBM4供應展開合作，並共同開發針對代號「Venice」的第6代EPYC CPU最佳化的高效能DDR5，目標導入採用AMD Helios機架級架構的系統。這項合作也反映記憶體、處理器與系統架構日益緊密連動。
斯瓦米納坦指出，「無法靠單一技術跨過這道門檻」，先進封裝、供電架構等不同技術都需要共同作用。
對HBM而言，容量、頻寬、堆疊層數與功耗仍然會持續演進，但競爭條件已經開始增加。記憶體距離運算多遠、如何與CPU或GPU配置、採用什麼封裝，以及整套架構能否解決散熱與量產問題，都會影響HBM最後能否轉化成更高的AI系統效能。
從AMD描繪的方向來看，下一階段HBM競爭除了持續提高頻寬、容量與能源效率，記憶體如何與運算晶片共同設計，也會成為新的競爭條件。
