「一滴水落在伺服器就完了!」黃仁勳催出液冷散熱商機,但普及還有2大難題
「一滴水落在伺服器就完了!」黃仁勳催出液冷散熱商機,但普及還有2大難題

儘管AI技術近兩年有著重大突破,從舊時科幻電影中的存在,變成尋常百姓都能體驗到、甚至改變工作生活的技術,這大大提升了資料中心的負荷,但依靠大量風扇替伺服器降溫的傳統手段,依然是最主要的散熱辦法。現在以輝達為首的科技公司,開始探索更有效率的技術: 液體冷卻(liquid-cooled)散熱技術

一圖看懂水冷技術
圖/ 數位時代製作

液冷技術為何崛起?跟風冷散熱相比,好在哪?

今年3月的GTC大會上,輝達揭露了採用全新Blackwell架構的GB200伺服器,並聲稱將採用液體冷卻技術。根據《華爾街日報》報導,輝達發言人還透露,他們正在與供應商合作,著手開發浸沒式冷卻技術,將整台電腦浸泡在絕緣液體中進行冷卻。

自從AI技術興起後,資料中心的用電一直被搬上檯面討論。目前全球資料中心用電已高達350 TWh(太瓦時),比台灣2023全年用電270 TWh還要高出許多,全球只有16個國家用電量高於這個數字。但《彭博社》預估,2034年時資料中心用電將成長至1,580 TWh,相當於印度一整年的用電量。

apple data center green energy.jpg
資料中心有接近4成耗電,都用在了降溫散熱上。
圖/ Apple

資料中心巨額的用電量,很大一部分就是用於散熱。麥肯錫曾估計,冷卻就占了資料中心耗電的40%左右。 倘若使用液冷或更先進的技術,用電占比降到10%甚至更低,都是有可能的情況。

而除了用電疑慮外, 依靠風扇冷卻的作法也已經快要滿足不了AI晶片的散熱需求

研究公司集邦科技指出,B200、GB200等產品單一GPU功率就超過1,000W,HGX型號一組就有8塊GPU,而NVL型號則每個機櫃有著高達36或72塊GPU,傳統的風冷已經漸漸難以負荷。NVL36預計還會採用風冷、液冷結合的作法,而NVL72則會以液冷為主。

《華爾街日報》指出,AI伺服器供應商美超微(Super Micro Computer)就強調,液冷系統可將資料中心的耗能降低30%到40%;輝達也提到, 液冷技術可以省下風扇空間,使得資料中心內可以容納倍於風冷的運算能力 。另外,風扇揚起的灰塵還可能影響硬體效能。

延伸閱讀:液冷散熱是什麼?跟水冷有何不同?解析下一個明星技術

液冷散熱普及兩大難題:漏水、供應不穩定

不過,液冷要普及應用還有幾點困難等待克服,最大的風險就是 液體外洩 。「如果一滴水落在伺服器上,好比說要價數百萬美元的GB200,可能引發災難性的損壞。」散熱技術公司力致科技總經理連春源向《華爾街日報》表示。

7月下旬,GB200就被爆出液冷零組件有問題,出現機櫃漏水的情況,一度導致鴻海和相關供應商股價下跌5%以上。《華爾街日報》指出,消息人士透露目前供應商正在解決問題,預計不會影響到GB200的出貨時間。

jensen gtc 2024.jpg
黃仁勳認為,液冷比風冷更具優勢,是AI運算未來所需的技術。
圖/ Nvidia

再加上,目前液冷零組件的供應還不是很穩定,美超微在最新財報中提到,因為液冷零組件短缺導致出貨延遲,這一季少了8億美元收入。短缺的其中一種零組件叫作快接頭(UQD),是讓液冷系統運作時不漏液的關鍵零組件。

液冷的成本暫時也相對高昂,摩根士丹利估計,GB200的液冷系統一套要價超過8萬美元,相當於H100使用的風冷系統的15到20倍的價格。

目前風冷仍是資料中心冷卻辦法的絕對多數,超過95%資料中心都還是使用風冷,集邦科技認為,隨著輝達Blackwell系列晶片的推出,液冷普及率可望在年底到達10%。值得一提的是,該研究是在Blackwell系列傳出設計缺陷前發布,延期消息對此有多大的影響,暫時還不得而知。不過美超微也透露,明年出貨的伺服器將有高達30%都是採用液冷技術。

液冷要取代風冷成為主流,勢必還有相當長的一段時間,但如今的成長趨勢顯示,液冷不再只是高端電腦玩家,或者核電廠等特別環境才會使用的技術,能夠真正為資料中心帶來革新。今年6月黃仁勳出席HPE的活動也提到,「液冷技術未來將帶來包括更好的性能、更少的基礎設施和更低的營運成本等所有一切好處。」

延伸閱讀:氣冷、液冷、浸沒式三種散熱差在哪?一文看懂AI大商機:關鍵技術、概念股有哪些?

資料來源:華爾街日報集邦科技CRN

責任編輯:林美欣

關鍵字: #Nvidia #資料中心
往下滑看下一篇文章
鎖定智慧製造 AI 應用,摩絡人工智慧藉 NVIDIA 新創計畫的強大後盾,兩年內客戶數成長8倍
鎖定智慧製造 AI 應用,摩絡人工智慧藉 NVIDIA 新創計畫的強大後盾,兩年內客戶數成長8倍

摩絡人工智慧(Morale AI)成立於2023年9月,創業團隊早在國立清華大學便以機器學習(ML)與深度學習(DL)等技術累積大量智慧製造實例,逐步深化在品質、製程、機台、能耗、供應鏈等營運場景應用,爾後,更進一步透過大型語言模型(LLM)與人工智慧代理(AI Agent)等技術解決製造現場最棘手的人員經驗傳承、產線知識管理與品質客訴等挑戰,並且透過數據串接與建立資料倉儲平台等方式優化製造業的數據管理與分析能力,例如監管能耗與碳排狀態等,展開專屬的數位轉型旅程。

兩大關鍵,摩絡人工智慧化身製造業創新轉型的最佳夥伴

短短兩年不到的時間,摩絡人工智慧不僅將客戶數翻升8倍,更循序推出20個 AI Agent 服務,如專屬紡織業的 Textile GPT 方案,以及專屬半導體產業的地端 AI Agent 服務等,同時為15家企業客戶進行概念性驗證專案與推動 AI 應用落地。

摩絡人工智慧是怎麼辦到的?

首先是擁有深厚的產業知識。摩絡人工智慧的團隊成員不僅熟悉產業術語與營運流程,更洞察上中下游動態,能精準對應客戶需求、打造貼近客戶營運痛點的 AI 解方。摩絡人工智慧共同創辦人暨執行長高聖翔表示:「LLM 與 AI Agent 技術擅長處理非結構化數據資料,換言之,客戶只要有 PDF 資料即可展開 AI 應用,也不用花費大量時間進行資料標註,可以大幅降低 AI 應用門檻,吸引許多製造業關注與應用。」

其次是與 NVIDIA 新創計畫的夥伴展開密切合作。自2024年加入 NVIDIA Inception 新創計畫後,摩絡人工智慧在產品研發、市場行銷與募資等面向都獲得實質助力,例如,借助 NVIDIA NeMo™ 平台加速資料串接與生成式 AI 模型的微調時間,摩絡人工智慧成功將模型調整與應用落地時間從一開始的6個月縮短為1到3個月,大幅提升客戶的 AI 投資報酬率。

摩絡人工智慧共同創辦人暨執行長高聖翔認為,參加 NVIDIA Inception 新創計畫對新創的技
摩絡人工智慧共同創辦人暨執行長高聖翔認為,參加 NVIDIA Inception 新創計畫對新創的技術研發、市場行銷、業務擴展與募資都有極大的幫助。
圖/ 數位時代

高聖翔強調:「AI 發展日新月異、迭代速度極快,加入 NVIDIA 新創計畫讓我們能站在巨人肩膀上,掌握最新技術,並以更快速度滿足企業需求。」舉例來說,摩絡人工智慧不僅鎖定製造業共通需求推出相應 AI Agent,如品質客訴 Agent 等,更因應紡織、半導體、PCB、製鞋、精密機械等產業推出專屬 AI 模型與應用服務,加速製造業的 AI 轉型步伐。

所有加入 NVIDIA Inception 新創計畫的新創都可以免費取得 NVIDIA 深度學習學院(DLI)的訓練課程學分,藉此掌握最新產品與技術發展,此外,還可以透過技術分享會等方式了解產品技術的應用模式,激盪更多可能。除了 DLI 訓練課程,參與 NVIDIA Inception 新創計畫的台灣新創還可以獲得三大公有雲的 GPU 雲端點數資源、NVIDIA 軟體開發套件(SDK)存取,以及特定硬體與軟體的優惠價格,加速產品創新與研發時程。

NVIDIA 致力成為 DeepTech 新創的最佳後援。舉凡參加 NVIDIA Inception
NVIDIA 致力成為 DeepTech 新創的最佳後援。舉凡參加 NVIDIA Inception 新創計畫的新創團隊都可以取得 GPU 雲端資源、免費取得深度學習學院訓練學分、NVIDIA 產品早期試用機會,以及特定硬體與軟體的優惠方案,加速創新發展。
圖/ 數位時代

從技術支援、產品行銷到募資,NVIDIA Inception 新創計畫化身新創最佳後盾

除了從技術、產品層面給予支持,NVIDIA Inception 新創計畫也有助於摩絡人工智慧進行市場行銷與取得募資。舉例來說,NVIDIA 邀請包括摩絡人工智慧等16家 NVIDIA Inception 新創計畫新創團隊在 2025 COMPUTEX InnoVEX 大會中參展、展現前瞻技術,對此,高聖翔十分欣喜的說:「我們在展會期間就收到很多潛在客戶諮詢,一直到現在,都還有客戶提出需求,對品牌與產品行銷極具效益。」

值得特別一提的是,摩絡人工智慧自2024年加入 NVIDIA Inception 新創計畫後,也在 NVIDIA 的團隊協助下展開募資,並且成功完成80%募資目標,對於後續的產品開發與業務擴展極有幫助。加入 NVIDIA Inception 新創計畫後,新創團隊可以免費使用 Inception Capital Connect 福利,並有機會與全球 Inception 創投夥伴接觸,加速募資流程。

新創團隊可在 NVIDIA Inception 新創計畫網站清楚寫下產品服務等詳細資訊,如此一來, NVIDIA 全球各個部門都可以查詢到新創團隊資訊,便有機會取得 NVIDIA 軟體產品的早期試用(Early Access)機會,以及受邀參加地區性的大活動曝光等。

NVIDIA Inception 新創計畫提供專屬台灣的系列活動,藉此深化新創互動能量、活絡產業發展
NVIDIA Inception 新創計畫提供專屬台灣的系列活動,藉此深化新創互動能量、活絡產業發展。
圖/ 數位時代

為進一步擴大新創支援, NVIDIA 也計畫針對加入 NVIDIA Inception 新創計畫的台灣新創舉辦專屬活動,首先是每季會舉辦一次專屬技術研討會,主題會聚焦在製造、醫療、機器人與 AI Agent 等,讓新創團隊可以在會中分享應用心得、相互交流;其次是從 DLI 挑選熱門課程在台舉辦實體訓練課程,目標是讓新創與 NVIDIA 專家可以進行更即時的互動與討論;最後是持續邀請台灣新創在一年一度的 NVIDIA GTC Taipei 進行技術分享,並且在 COMPUTEX InnoVEX 的 Inception Startup Pavilion 進行展覽,共創商機。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
蘋果能再次偉大?
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓