繪圖晶片（GPU）大廠輝達（NVIDIA）於13日推出新一代NVIDIA HGX H200晶片，採用台積電4奈米製程。輝達指出，H200效能有相當大的躍升，在擁有700億參數的Llama2進行推論時， 速度近乎達到H100的兩倍 ，可說是地表最強大的AI晶片。輝達指出，H200預期將會在2024年第二季開始出貨給AWS、Google Cloud和甲骨文等雲端大廠。
記憶體大升級！HBM3e是什麼？為何會成為H200關鍵亮點？
本次H200最大的關鍵亮點在於記憶體容量的升級，採用HBM3e的先進記憶體，儲存空間高達141GB，有助於推論或進行更大的模型訓練。
隨著AI模型訓練的規模越來越大，晶片內對記憶體的需求也越來越高。法人認為，當前GPT-4雖然已經擁有1,750億個參數，但推論結果仍差強人意，這意味著將來的模型訓練的參數量將會持續往上攀升。
HBM是一種將DRAM堆疊後運用先進封裝生產而成的記憶體，目的是在晶片有限的空間內，藉由3D立體堆疊方式增加儲存容量。法人指出，SK海力士（SK Hynix）為輝達H100的供應商，不過近期美光（Micron）的HBM3e也正在驗證中，有望成為輝達H200供應商。不過在本次的新品發布上，輝達並未揭露HBM3e的供應商名稱。
輝達H200晶片2024第二季開始出貨！台灣哪些供應商受惠？
《CNBC》指出，H200在將會在2024年的第二季開始供貨，同一時間超微（AMD）的 MI300X GPU也已經問世。兩者相比，MI300X將會比H200擁有更多記憶體容量，高達192GB。
不過，GPU效能除了儲存空間，晶片間的互聯技術也是關鍵。 輝達當前自有互聯（interconnect）技術NVLink和NV Swithch，是輝達除了GPU設計以外另一個能達成加速運算的重要研發。 一位半導體高層指出：「輝達耗費了十幾年開發這項技術，不是其他公司想追就能立刻追上。
值得一提的是，新的H200將會與H100相容。這意味著已經訓練好模型的企業，若想升級裝備採購H200，無需更換伺服器或是改動軟體版本。台灣在地的伺服器合作夥伴包含華碩、技嘉、鴻佰、雲達、緯創和緯穎等企業，皆可將處理器直接替換成H200做使用。
責任編輯：林美欣
