韓國記憶體晶片巨頭SK海力士預計於10日在美國那斯達克掛牌上市，募資規模約282億美元，將成為美國史上規模最大的海外企業IPO案。
被譽為「HBM之父」的金正浩教授指出，全球部署在資料中心的GPU，實際運算時間僅占10%，高達70%的時間都在等待記憶體進行資料讀寫。
由於GPU受限於發熱管理而難以進行垂直堆疊，未來的AI運算創新將由記憶體主導，產業也將轉向供應方主導定價的全新典範。
7月10日，韓國記憶體晶片巨頭SK海力士將以美國存託憑證（ADR）形式在那斯達克掛牌上市，股票代號SKHY，募資規模約282億美元，預計成為美國史上規模最大的海外企業IPO案。
與此同時，即使記憶體類股近幾個交易日出現大幅回檔，今年以來股價漲幅依舊驚人，其中SanDisk漲533.79%、美光漲212.20%、三星漲129.18%，鎧俠控股（Kioxia Holdings）的市值於6月12日超車豐田，躍居日本第一，漲幅高達619.34%。
記憶體業者能吸引那麼多資金的原因無他，就是AI。相較於過去以模型訓練為核心的階段，AI產業正逐步邁入推論時代，記憶體的重要性也隨之快速提升。
近日，被業界尊稱為「[HBM][1]之父」的韓國科學技術院（KAIST）電機工程系教授金正浩（音譯）更語出驚人：AI的本質不是GPU，而是記憶體。
全球數百萬台部署在資料中心的GPU，實際運算時間只有10%。每當ChatGPT輸出一個詞，系統就必須從HBM讀取資料、完成運算、再寫回記憶體。這個讀寫過程佔掉幾乎所有時間，GPU就在旁邊閒等著，就算透過演算法優化，GPU使用率也很難突破30%。換句話說，輝達賣給你的晶片，70%的時間在打瞌睡。
對輝達的點評，金正浩也毫不保留。他表示，近期輝達執行長黃仁勳頻繁訪韓、密集會見各方人士，正說明了他內心的不安。
他分析，GPU的技術成長已經近乎停滯，因為要提升效能，唯一的路就是擴大晶片面積、堆疊更多運算單元。但GPU發熱量大，背面必須加散熱裝置，導致無法像記憶體那樣垂直堆疊，這限制了GPU的創新空間，將其困在物理上「熱管理的死胡同」裡。因此「AI運算的進化，掌握在記憶體手裡。」
在推論場景中，真正影響AI表現的關鍵，在於系統能容納多少數據，而這個能力取決於記憶體技術。
他預測：隨著情境工程、多模態輸入、AI代理的興起，記憶體需求每年翻倍，10年內將成長1000倍。此外，頻寬也是關鍵。「傳統記憶體是8線道高速公路，HBM是1024線道，現在已達2048線道，幾年後可能達到百萬線道。」
他也點出未來的技術演進路線：從HBF（高頻寬快閃記憶體）到HBS（高頻寬SRAM），最終願景是「100層3D大樓」，並坦言，其中最大的工程挑戰不在運算，而在供電與散熱。
更關鍵的是產業結構正在轉變。過去記憶體是標準化商品，買方主導定價。但從HBM4開始，記憶體廠商需要在研發初期就獲得輝達、Google、AMD等客戶的採購承諾才會啟動開發。「這是典範的轉移，」他說，「AI企業太需要高效能HBM了，所以他們排隊上門。供應方開始決定價格。」
他預期，未來HBM晶片將整合通訊功能，強化記憶體廠商在AI供應鏈中的地位。在他看來，SK海力士的282億美元規模的IPO，反映的不只是當前的記憶體短缺，更代表著記憶體廠商在AI時代權力結構中地位的上升。
不過，最終這些預言是否會實現，還需要市場和技術發展來檢驗。
本文出自商業周刊，原文標題為：輝達最大的敵人不是AMD而是記憶體？HBM之父：GPU真正運算的時間只有10%！
延伸閱讀：
2個月燒光60億Token！緯創林憲銘：不能再用人海戰術，台灣要轉型應用大國
台積電法說會倒數！營收目標會再上調？市場緊盯5大焦點
