當AI晶片持續提高算力，HBM也一路追求更高頻寬與更大容量，但產業已經開始思考下一步：除了把HBM做得更快、更大，還能不能進一步縮短記憶體與運算晶片之間的距離，降低資料搬移的時間與能源？
在SEMICON Taiwan 2026期間，多場論壇都反覆觸及這個問題。HBM下一步的發展方向，也逐漸從規格升級延伸到更緊密的3D整合、記憶體與運算功能重新配置，以及系統架構的改變。
《數位時代》整理論壇內容，拆解產業正在探索的HBM下一步，以及真正走向量產前仍待跨越的關卡。
對SK海力士來說，降低AI資料搬移功耗，除了縮短HBM與GPU之間的距離，也可以改變運算功能放在哪裡：把部分原本由GPU或ASIC負責的工作，直接整合進HBM的基礎晶粒。
「與其把資料從記憶體搬到運算端，為什麼不把運算搬到記憶體？」SK海力士記憶體系統研究資深副總裁金浩植（Hoshik Kim，音譯）在記憶體高峰論壇指出，隨著記憶體與邏輯愈來愈緊密整合，客製化HBM也開始提供新的設計空間。
SK海力士正利用HBM底部的基礎晶粒，整合部分原本由GPU或ASIC負責的運算與控制功能，希望減少資料在HBM與處理器之間來回傳輸，同時提高整體運算效率。
從2.5D走到3D，先縮短HBM與GPU的距離
金浩植指出，降低資料搬移一直是記憶體與封裝架構演進的重要方向。傳統DRAM位於封裝之外，資料需要經過較長的傳輸路徑；HBM則透過矽中介層與GPU整合在同一個封裝內，讓記憶體更靠近真正使用資料的運算晶片。
不過，在2.5D架構下，資料仍需要在HBM與GPU之間進行水平方向的傳輸。再往3D發展後，記憶體與運算晶片可以進一步垂直整合，原本水平方向的資料路徑也能繼續縮短。
除了持續把記憶體移近運算晶片，金浩植也提出反過來讓運算能力往記憶體靠近的方向。這使HBM的發展開始延伸到另一個問題，也就是除了提高資料傳輸速度，記憶體本身是否也能承擔更多功能。
HBM4開始，基礎晶粒變得更重要
其中一個關鍵就是HBM最底部的基礎晶粒。HBM由多層DRAM晶粒堆疊而成，基礎晶粒位在整組HBM底部，負責與外部邏輯晶片連接，也處理資料輸入輸出與控制等功能。
SK海力士到HBM3E為止，基礎晶粒採用自家技術製造；到了HBM4，基礎晶粒則改採台積電先進邏輯製程。SK海力士2024年公布合作時指出，採用台積電邏輯製程，可以在有限的基礎晶粒面積內加入更多功能。
SK海力士今年也再次表示，從HBM4開始導入台積電先進邏輯製程，將進一步推動記憶體與邏輯技術整合，並發展依照不同客戶需求設計的客製化HBM。基礎晶粒導入更先進的邏輯製程，除了改善HBM與邏輯晶片之間的連接與功耗，也替後續加入更多邏輯功能提供新的設計空間。
客製化HBM想做什麼？把部分GPU工作搬進基礎晶粒
SK海力士已經開始公開展示這種做法。今年1月在CES 2026指出，客製化HBM會依照客戶需求，把原本位於GPU或ASIC的部分功能整合到HBM基礎晶粒，希望藉此提高GPU與ASIC的運算效率，同時降低HBM與處理器之間傳輸資料所需要的功耗。
SK海力士進一步說明，新的客製化HBM設計可以把過去由GPU或ASIC負責的部分運算與控制功能整合進HBM。這代表未來HBM的客製化範圍，可能從頻寬、容量等記憶體規格，進一步延伸到基礎晶粒究竟要承擔哪些工作。
今年GTC 2026期間，SK海力士官網也介紹一套名為Stream DQ（Data Queue）的客製化HBM架構，提供更具體的例子。傳統系統中，部分資料預處理由GPU負責；Stream DQ則把這些預處理工作移到HBM基礎晶粒，希望藉此減輕GPU負擔並提高運算效率。
Stream DQ目前仍是SK海力士公開展示的客製化HBM架構，不能直接視為所有下一代HBM都會採取相同設計。不過，它已經呈現客製化HBM可能發展的方向：基礎晶粒除了負責HBM與GPU之間的資料傳輸與控制，也可能進一步承擔部分過去由運算晶片處理的工作。
HBM競爭開始深入「基礎晶粒怎麼設計」
頻寬、容量與能源效率仍然會是HBM持續演進的重要指標，但當基礎晶粒採用更先進的邏輯製程，記憶體廠可以在其中加入哪些功能，也開始成為新的設計空間。不同GPU或ASIC需要的功能不同，也使客製化HBM與運算晶片之間的整合程度持續提高。
從SK海力士提出的方向來看，降低AI資料搬移成本可以同時從距離與功能配置著手。2.5D、3D整合持續縮短HBM與GPU的傳輸距離，客製化HBM則利用基礎晶粒，讓部分運算與控制功能進一步往記憶體靠近。
當HBM開始承擔部分過去由GPU或ASIC負責的功能，記憶體廠需要處理的問題也會進一步延伸到運算架構。下一階段HBM競爭除了記憶體本身能提供多少頻寬與容量，基礎晶粒要放進什麼功能，以及如何配合不同GPU與ASIC設計，也可能成為新的競爭條件。
