AI浪潮炒熱高頻寬記憶體（HBM）商機，改變台韓過往競爭為主的局面，今年國際半導體展SK海力士總裁、三星記憶體業務總裁都首度來台參與，開創台韓半導體業合作新局。
2024國際半導體展（Semicon）眾所矚目的「大師論壇」於9月4日展開，SK海力士總裁金柱善（Justin Kim）、三星電子記憶體業務總裁兼總經理李禎培（Jung-Bae Lee）各自發表演說，點出AI時代下記憶體所面臨的挑戰，以及國際跨業合作變得更加關鍵。
SK海力士金柱善：台韓密切合作高度有價值
根據研調機構TrendForce統計，2023年全球HBM市場SK海力士坐擁53%市佔率，其次是三星的38%、美光9%。
位居HBM市佔龍頭的SK海力士，於今年4月和台積電簽署合作備忘錄，雙方合作開發HBM4記憶體新品，預計2026年量產。7月時並有南韓媒體報導，SK海力士將深化與台積電、輝達（NVIDIA）之間的合作，三家公司將有更緊密的合作計畫。
在專題演講開頭，金柱善就提到，今年來到台灣大概已經有10次，比起去其他國家都來得多，「台灣在AI產業中變得更加重要！」
他並說，全球最重視AI產業的國家有2個，就是南韓及台灣，南韓在半導體的GDP約佔15%，台灣佔比更高。而台灣和南韓之間的密切合作非常有價值，不僅是因為對業務有利，也因為需要共同努力解決挑戰。
在演講過程中，金柱善彰顯SK海力士於記憶體的領導地位，包括HBM3E的市占率與量產時間、伺服器DRAM容量最高的DIMM、儲存效能最佳的QLC eSSD、手機記憶體運算速度最快的LPDDR5T，都是世界領先。他幽默提到，並不是他英語詞彙量有限，而是都是事實。
金柱善也分享SK海力士的全球擴廠佈局，包括將在韓國龍仁市設立4座廠，最快將從2027年開始量產，龍仁市將成為世界上最大的半導體聚落之一；另外，也將於美國印第安納州設立新廠，專注於先進封裝技術，計畫自2028年開始營運。
作為總結，金柱善說，SK海力士作為SK集團的一員，集團成員將針對AI晶片、AI基礎建設、AI服務等領域，整合電源、玻璃基板、冷卻技術等各領域，成為AI生態系中的關鍵角色，並和合作夥伴一同克服挑戰。
三星李禎培：記憶體廠、晶圓代工廠、客戶三方合作更加重要
李禎培在演說開場時，拋出AI及記憶體界的4個關鍵數字：「1966」、「200」、「1600」、「800」。他解釋，分別代表基於設定好的規則、沒有參數的首個聊天機器人ELIZA在「1966」年被發明，但到了2022年，發展出有1750億個參數的GPT-3.5聊天機器人。
而在生成式AI帶動下，AI伺服器訓練資料傳輸量（data traffic）從2022年的每日90ZB（Zettabytes，為TB的10億倍），迅速成長到2023年的每日「200」ZB。
另外，HBM出貨的潛在市場總值（TAM），從2016年至2023年合計的8億GB（800 Million GB），光是2024年一年就翻倍成1.6兆GB（「1600」 Million GB）。最後的800，則代表2027年半導體市場規模預估將達8000億美元（「800」Billion USD）。
AI時代三大挑戰：功耗、頻寬、儲存容量
李禎培提到，AI時代需要解決三個關鍵挑戰： 功耗快速成長 、 記憶體頻寬限制（memory wall） 、 儲存容量不足 。他進一步解釋，在功耗方面，以訓練1.8兆個參數的GPT-4的模型為例，需要耗費148GWh（百萬瓩時）的電力，這相當於能為250萬輛特斯拉Model Y充滿電。
在頻寬方面，隨著生成式AI發展快速進步，GPU的運算能力及模型參數數量，每一代都大幅提升，然而，每一代的記憶體頻寬僅增加百分之幾十，導致運算效能和記憶體頻寬之間的差距，越來越擴大。
至於儲存容量不足，李禎培指出，為了解決生成式AI的幻覺問題，多會透過「檢索增強生成」技術（Retrieval Augmented Generation, RAG）來查詢外部資料，以生成更符合需求的內容，不過這將需用上比原始資料大上數倍的向量資料庫，因而需要更大的儲存容量。
李禎培強調，三星的優勢在於「擁有終極的內部協作（ultimate in-house collaboration），使三星成為全球半導體市場中，「唯一能夠提供從基線設計（baseline design）、晶圓製造，一直到封裝等製程的完整解決方案提供者」。
他也說，三星從HBM4開始，Base die（基礎裸晶）會交由其他晶圓代工廠生產，而非限於自家製造廠，記憶體製造商、晶圓代工廠及客戶三者之間的合作變得至關重要，三星會積極與全球生態系夥伴廣泛合作。
