「一滴水落在伺服器就完了!」黃仁勳催出液冷散熱商機,但普及還有2大難題
「一滴水落在伺服器就完了!」黃仁勳催出液冷散熱商機,但普及還有2大難題

儘管AI技術近兩年有著重大突破,從舊時科幻電影中的存在,變成尋常百姓都能體驗到、甚至改變工作生活的技術,這大大提升了資料中心的負荷,但依靠大量風扇替伺服器降溫的傳統手段,依然是最主要的散熱辦法。現在以輝達為首的科技公司,開始探索更有效率的技術: 液體冷卻(liquid-cooled)散熱技術

一圖看懂水冷技術
圖/ 數位時代製作

液冷技術為何崛起?跟風冷散熱相比,好在哪?

今年3月的GTC大會上,輝達揭露了採用全新Blackwell架構的GB200伺服器,並聲稱將採用液體冷卻技術。根據《華爾街日報》報導,輝達發言人還透露,他們正在與供應商合作,著手開發浸沒式冷卻技術,將整台電腦浸泡在絕緣液體中進行冷卻。

自從AI技術興起後,資料中心的用電一直被搬上檯面討論。目前全球資料中心用電已高達350 TWh(太瓦時),比台灣2023全年用電270 TWh還要高出許多,全球只有16個國家用電量高於這個數字。但《彭博社》預估,2034年時資料中心用電將成長至1,580 TWh,相當於印度一整年的用電量。

apple data center green energy.jpg
資料中心有接近4成耗電,都用在了降溫散熱上。
圖/ Apple

資料中心巨額的用電量,很大一部分就是用於散熱。麥肯錫曾估計,冷卻就占了資料中心耗電的40%左右。 倘若使用液冷或更先進的技術,用電占比降到10%甚至更低,都是有可能的情況。

而除了用電疑慮外, 依靠風扇冷卻的作法也已經快要滿足不了AI晶片的散熱需求

研究公司集邦科技指出,B200、GB200等產品單一GPU功率就超過1,000W,HGX型號一組就有8塊GPU,而NVL型號則每個機櫃有著高達36或72塊GPU,傳統的風冷已經漸漸難以負荷。NVL36預計還會採用風冷、液冷結合的作法,而NVL72則會以液冷為主。

《華爾街日報》指出,AI伺服器供應商美超微(Super Micro Computer)就強調,液冷系統可將資料中心的耗能降低30%到40%;輝達也提到, 液冷技術可以省下風扇空間,使得資料中心內可以容納倍於風冷的運算能力 。另外,風扇揚起的灰塵還可能影響硬體效能。

延伸閱讀:液冷散熱是什麼?跟水冷有何不同?解析下一個明星技術

液冷散熱普及兩大難題:漏水、供應不穩定

不過,液冷要普及應用還有幾點困難等待克服,最大的風險就是 液體外洩 。「如果一滴水落在伺服器上,好比說要價數百萬美元的GB200,可能引發災難性的損壞。」散熱技術公司力致科技總經理連春源向《華爾街日報》表示。

7月下旬,GB200就被爆出液冷零組件有問題,出現機櫃漏水的情況,一度導致鴻海和相關供應商股價下跌5%以上。《華爾街日報》指出,消息人士透露目前供應商正在解決問題,預計不會影響到GB200的出貨時間。

jensen gtc 2024.jpg
黃仁勳認為,液冷比風冷更具優勢,是AI運算未來所需的技術。
圖/ Nvidia

再加上,目前液冷零組件的供應還不是很穩定,美超微在最新財報中提到,因為液冷零組件短缺導致出貨延遲,這一季少了8億美元收入。短缺的其中一種零組件叫作快接頭(UQD),是讓液冷系統運作時不漏液的關鍵零組件。

液冷的成本暫時也相對高昂,摩根士丹利估計,GB200的液冷系統一套要價超過8萬美元,相當於H100使用的風冷系統的15到20倍的價格。

目前風冷仍是資料中心冷卻辦法的絕對多數,超過95%資料中心都還是使用風冷,集邦科技認為,隨著輝達Blackwell系列晶片的推出,液冷普及率可望在年底到達10%。值得一提的是,該研究是在Blackwell系列傳出設計缺陷前發布,延期消息對此有多大的影響,暫時還不得而知。不過美超微也透露,明年出貨的伺服器將有高達30%都是採用液冷技術。

液冷要取代風冷成為主流,勢必還有相當長的一段時間,但如今的成長趨勢顯示,液冷不再只是高端電腦玩家,或者核電廠等特別環境才會使用的技術,能夠真正為資料中心帶來革新。今年6月黃仁勳出席HPE的活動也提到,「液冷技術未來將帶來包括更好的性能、更少的基礎設施和更低的營運成本等所有一切好處。」

延伸閱讀:氣冷、液冷、浸沒式三種散熱差在哪?一文看懂AI大商機:關鍵技術、概念股有哪些?

資料來源:華爾街日報集邦科技CRN

責任編輯:林美欣

關鍵字: #Nvidia #資料中心
往下滑看下一篇文章
連結資金、技術與場域!資誠打造新創最強後盾,與企業共創 AI 新價值
連結資金、技術與場域!資誠打造新創最強後盾,與企業共創 AI 新價值

隨著生成式 AI、雲端與邊緣運算技術加速成熟,全球產業正面臨前所未有的技術革新與商業模式重塑。AI 已正式從實驗室的研究階段邁向實際應用,成為企業優化營運效能、驅動創新轉型的核心力量。對於新創團隊而言,這更是跨越產業門檻、進軍國際市場的關鍵跳板。

為了協助更多企業、新創團隊掌握最新趨勢,資誠不僅邀請政府與科技大廠分享觀察,更透過舉辦多場主題式媒合會提供專業諮詢,把創新構想化為具體行動。

雙引擎驅動,打造創業家友善與 AI 智慧城市

論壇一開始,臺北市長蔣萬安即點出市府推動新創的兩大核心:打造「創業家友善城市」與「AI 驅動的智慧城市」。

為加速國際鏈結,市府推出 Startup Passport(新創護照全球通)計畫,藉由城市互惠機制,協助國內外新創團隊在資金、人才、空間上無縫嫁接。

面對 AI 浪潮,臺北市體質持續強化。除迎來輝達總部、微軟等國際大廠,更成為全臺首個訂定「人工智慧作業指引」的地方政府,鼓勵活用 AI 並劃出明確規範。實際應用上,市民常用的 1999 熱線已導入 AI 語音轉文字技術,話務人員因此能快速回覆,大幅縮短服務時間並提升品質。市府目前也正積極建構大語言模型,持續精進市民服務。

資誠聯合會計師事務所
台北市長蔣萬安
圖/ 數位時代

資金與資源匯聚,資誠搭建生技與物聯網新創橋樑

資誠長期深耕新創生態圈,每年發布的「台灣新創生態圈大調查」顯示,場域驗證與夥伴關係建立是新創團隊最迫切的需求。資誠聯合會計師事務所所長徐聖忠致詞時強調,台北匯聚了金融人才、資金與算力資產,而資誠的角色正是連結這些資源的關鍵樞紐。

資誠聯合會計師事務所
資誠聯合會計師事務所所長徐聖忠
圖/ 數位時代

AWS 深耕台灣,以新創思維賦能企業雲端轉型

其中之一,便是 AWS。AWS 臺灣暨香港企業銷售暨策略方案副總經理謝佳男分享,AWS 在 2006 年成為亞馬遜集團一員,由最新財報看來,佔亞馬遜集團營收雖不到 20%,卻貢獻逾八成營運獲利。這來自於堅持「Day 1 Culture」(第一天文化)永保初心,以及從客戶角度出發的「逆向工作法」。

即便已是大集團的一員,AWS 仍視自身為新創,因此對新創理解更深,全球 83% 獨角獸公司服務皆建立於 AWS 之上。謝佳男指出,AWS 未來 15 年內將在臺投資數十億美元,建構 3 個可用區域的基礎設施,除提供超低延遲服務,也滿足企業對資料落地的法規需求。

針對 AI,亞馬遜推出 Amazon Bedrock 平台,連接各種頂尖基礎模型,讓企業能像使用積木般彈性構建應用。台灣有不少新創也使用AWS服務,如獲選為國家新創品牌 NEXT BIG 之一的凱鈿行動科技就是。謝佳男觀察,該公司做 PDF Reader 和電子簽核、SaaS 服務,品質非常好,是來自台南的團隊,卻透過雲端,把產品成功賣進全世界。

資誠聯合會計師事務所
AWS台灣暨香港企業銷售暨策略方案副總經理謝佳男
圖/ 數位時代

高通推邊緣 AI 落地,多管齊下助攻開發者

另一個和台灣新創團隊密切互動的大廠,則是高通。Qualcomm 美國高通公司業務開發總監暨亞太生態系發展計畫負責人戴郁文表示,該公司成立至今約 40 年,除精進通訊技術外,也一路帶領科技產業進入「萬物聯網」時代,並持續強化電腦、智慧穿戴等 IoT 產品的運算與連結能力。

她進一步解釋,未來是「混合式 AI」年代,運算需落地至「邊緣 AI」(Edge AI)執行,這能處理複雜情境、帶來更好效能、更低延遲與更嚴密的隱私保護。目前許多大語言模型應用正從雲端轉移至終端裝置。

為助開發者站穩腳步,高通推出 Qualcomm AI Hub,提供優化模型供驗證,輕鬆部署 AI 模型到高通晶片裝置上。不只在技術上成為新創團隊的後盾,高通也舉辦「高通台灣創新競賽」,每年選出 10 家頂尖新創團隊,並協助育成,另外也有一系列智慧財產權課程,協助新創了解專利與智財權佈局。

資誠聯合會計師事務所
Qualcomm美國高通公司業務開發總監暨亞太生態系發展計畫負責人戴郁文
圖/ 數位時代

從通用腦到專屬腦,資誠透過 Tars.ai 平台助企業打造AI轉型實戰力

但當企業導入 AI 技術後,如何從「好玩」走向「好用」,並善盡治理責任?資誠創新諮詢公司執行董事陳世祥提出獨到見解。他將企業 AI 應用分為三層次:一是行政輔助的「通用腦」;二是針對特定專業的「專業腦」;三則是企業最渴望、能結合內部數據的「專屬腦」。

「專屬腦並不容易建立,」陳世祥分析,「它必須與企業的 ERP、研發、製造及 CRM 系統深度連結。」為此,資誠透過「Tars.ai 平台」,協助企業整合 RAG 技術、知識庫與 AI 模型,打造具備語意理解與自主查詢能力的企業第二大腦。

透過 Tars.ai,研發人員可直接詢問 AI 關於投產參數調整對良率的預測;管理層則能即時分析營收數據與客戶動態,不再依賴落後指標。陳世祥更強調,資誠在協助導入技術的同時,也協助企業成立「AI 專責小組」,確保 AI 應用符合道德與安全規範,落實「負責任的 AI」。

資誠聯合會計師事務所
資誠創新諮詢公司執行董事陳世祥
圖/ 數位時代

與大廠共舞,新創深耕 Know-how 與速度才能突圍

最後由陳世祥與四家新創進行對談,探討新創如何擁抱 AI 產業化浪潮。但在發展過程中,新創往往與科技巨頭既合作又競爭,該怎麼學會共舞?

用益網路科技行銷長黃大成認為,大廠有最強算力,但不太可能知道新創在某個特定產業、特定店家狀況為何,不同產品、場域,往往有不同專業知識。而從 ChatGPT 演進過程,大家發現它開始有「情緒」。他認為,AI 未來在情緒價值、在地化經驗的發展,可以幫助新創勝過大廠。

睿加科技資深成長經理陳子裕也認為,大廠雖然可做通用型產品,但新創卻能針對特定使用者情境深化,是大廠比較難以顧及的層面。

伊斯酷軟體科技共同創辦人暨技術長鄭永斌分析,新創的優勢在於速度快,能立刻判斷新科技可做什麼,或不能做什麼。

康統醫學科技執行長廖威宣則表示,醫療產業封閉、保守,每家醫院場域不同,大廠未必願意下苦工調整醫護人員流程,進行資料標記與整理,再逐一和醫院既有系統供應商綁定、談判,是新創的優勢所在。

資誠聯合會計師事務所
由左至右:資誠創新諮詢公司執行董事陳世祥、康統醫學科技執行長廖威宣、伊斯酷軟體科技共同創辦人暨技術長鄭永斌、睿加科技資深成長經理陳子裕、用益網路科技行銷長黃大成
圖/ 數位時代

陳世祥總結,資誠看見新創在垂直領域的深耕潛力。只要把 Know-how 做深,發揮比大企業更快的反應速度,並善用資誠提供的資源與平台進行對接,就是新創在 AI 浪潮中突圍生存的關鍵。

精準媒合、評選輔導,資誠將資源對接化為實際行動

除了論壇上的觀點激盪,資誠更透過專館活動落實資源對接,在活動期間舉辦多場主題媒合會,為新創搭建通往市場的橋樑。

在「生技醫療領域投資媒合會」中,資誠特別攜手北醫生醫加速器對接臨床與市場資源。北醫生醫加速器副執行長易詩恩表示,作為台灣首家國際級創新醫療大學加速器,北醫聚焦「數位醫療」、「人工智慧」與「精準健康」,整合一校六院資源,建立「新創綠色通道」,加速產品臨床落地。

資誠聯合會計師事務所
資誠藉由主題媒合會,攜手北醫生醫加速器等夥伴,提供生醫、物聯網新創一對一財稅法務諮詢與資源對接,加速產品落地。
圖/ 數位時代

資誠審計服務執業會計師吳偉豪指出,有鑒於全球生技產業隨技術演進蓬勃發展,資誠成立生技醫療與健康科技服務團隊,針對新興產業提供從設立、募資、申請補助到上市櫃、跨境合作及併購的全方位財稅法務服務,現場吸引多家投資人與五家智慧醫療新創進行深度互動。

此外,在「物聯網領域投資媒合會」中,資誠創新諮詢董事劉冠志深入分析物聯網產業趨勢,並邀請三家資誠創業成長加速器新創團隊分享創新技術。而在為期三天的展會中,資誠也動員所內審計、稅務法律專家,提供新創一對一的財稅股權專業諮詢,協助解決營運痛點。

不僅提供媒合與諮詢,資誠更積極挖掘並獎勵具潛力的新創。在本次 Meet Taipei 的「2025 Meet Neo Star Demo Show」中,資誠創新創業服務主持會計師顏裕芳將特別獎頒予「介觀生醫」。

資誠聯合會計師事務所
透過 Meet Neo Star Demo Show 評選培植具潛力的優秀新創,資誠特別為介觀生醫提供六個月客製化加速器輔導與全方位專業諮詢,以企業顧問角色促進生態圈共創共榮。
圖/ 數位時代

顏裕芳表示,獲獎團隊可加入資誠創業成長加速器,享有六個月客製化輔導、商機與投資人媒合,以及涵蓋商業顧問、風險治理、法律財稅及國際化策略的諮詢服務。他強調,新創擴張時與外部夥伴建立緊密關係至關重要,資誠將持續扮演企業顧問角色,促進生態圈共創共榮。

透過論壇的趨勢引領、媒合會的精準對接,以及 Demo Show 的獎勵輔導,資誠在此次活動中完整呈現在新創生態圈的全方位佈局,持續以資金、技術與場域的整合力量,助攻台灣新創邁向國際舞台。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
進擊的機器人
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓