全球7成散熱產業在台灣!AI帶動水冷需求,台廠起飛關鍵在這一點
全球7成散熱產業在台灣!AI帶動水冷需求,台廠起飛關鍵在這一點

「目前(散熱的)需求在增加,水冷技術才剛要開始攻佔山頭!」台灣熱管理協會理事長、英特爾水冷團隊技術總監龔育諄表示。

就像車輛為了不要過熱,需要有水箱來散熱,AI伺服器同樣需要散熱技術的支援,而且隨著AI伺服器的算力愈來愈強大,對於散熱的需求不斷上揚。

AI帶動散熱需求!全球7成散熱產業在台灣!

龔育諄提到,隨著晶片公司推出各種「新型武器」,不只提升電力需求,散熱解決方案是伺服器大廠最關切的議題。

所以各大散熱廠也紛紛推出新型散熱技術,龔育諄引用了特斯拉執行長馬斯克所說的話:未來不會缺晶片,缺的是電,而現行的氣冷散熱方案會讓電力消耗多出30%,「水冷可以讓多出來的30%補回來。」

龔育諄看好未來水冷解決方案的展望,提到目前全球有7成的散熱產業都在台灣,透過水冷技術把散熱效率提高,達到節省能源,並且能與政府合作訂定台灣專屬的資料中心的電力使用效率(PUE)規範,讓機房的耗能可以得到有效管控。

液冷(liquid-cooled)散熱技術是什麼?

液冷又分為「水冷」和「油冷」,目前使用最大量的為水冷。

散熱廠雙鴻董事長林育申指出,現在 AI 伺服器幾乎都採用水冷散熱方案,像是 NVIDIA GH100 的 TDP 超過 700W 就必須使用水冷散熱,雖然目前占雙鴻營收比重仍小,但是 AI 伺服器與傳統伺服器的平均銷售單價(ASP)相差達 10 倍,因此將有助於雙鴻下半年產品結構的轉變,預估 2023 年 AI 伺服器將可占到 5~10%。

一圖看懂水冷技術
圖/ 數位時代製作

英特爾提台灣散熱廠「元件認證機制」,共同訂定散熱解決方案

除了效率之外,企業的ESG目標也是推升散熱的原因。因為有更好的散熱技術,就能夠降低能源的消耗。

然而散熱廠商將服務方案推給雲端大廠使用時,必須經過雲端廠的驗證,而英特爾去年就與工研院攜手,成立的聯合實驗室與建置冷卻液特性檢測流程與平台,整合系統與材料開發驗證技術,未來可提供廠商進行實機場域驗證,包含材料特性檢測、與伺服器零組件間的材料相容性、使用年限評估等,開創產業切入國際市場的契機。

這麼做對於台灣散熱廠商的好處是什麼呢?

由於雲端大廠對於散熱元件有許多嚴格的要求,而英特爾與各家廠商定出一個通用的規範,如:定義哪些元件經過測試之後,散熱效果最好,以及散熱模組用什麼方法最有效等等,製作成白皮書,免費提供給各家散熱廠商使用。

龔育諄也透露,許多雲端大廠也會要求供應商需要符合這些白皮書的架構才會使用,「現在很多廠商都在找我們能不能多幫忙驗證幾家公司,因為市場需求很高,我們就是一直在做義工,幫助廠商取得訂單。」

龔育諄提到,訂定規範可以協助建立散熱解決方案的生態系,讓更多液冷散熱解決方案可以落地。 但更重要的事情是,讓散熱廠與雲端廠有「共通的語言」 ,讓台灣重要的散熱供應鏈可以順暢地與海外雲端廠溝通,把解方推向國際。

英特爾水冷團隊技術總監龔育諄.jpg
台灣散熱管理協會理事長暨英特爾水冷團隊技術總監龔育諄,針對英特爾在液冷技術的研發以及認證方案進行分享。
圖/ 黃詩媛拍攝

AI帶動水冷市場需求,未來商機可觀

由於現行的氣冷方案對於雲端服務商已經達到散熱的臨界點,導入水冷或浸沒式液冷勢在必行。

資策會產業情報研究所(MIC)指出,2024年四大雲端服務商資本支出將持續提升,主要用於資料中心的AI基礎建設,例如廠房的設計,液冷方案的採用等等。資策會表示,AI算力需求急增也驅動雲端資料中心廠房架構產生變化。

產業分析師陳牧風表示,大型資料中心在散熱的需求上,也因為AI伺服器需要透過更緊密的方式排列、提升算力,因此基礎設施的散熱(水冷甚至是浸沒式)系統、不斷電系統(UPS)、配電裝置(PDU)與備援電池(BBU)都需要升級。散熱廠商也積極的投入整套式的解決方案,在電源供應設計、機櫃的設計、元件的使用、以及廠房導入水冷的評估等等,都會是未來龐大的市場需求。

龔育諄表示,現在水冷技術的相關元件市場需求量非常大,購買也都來自美系客戶,目前的產能已經無法提供市場需求,台灣廠商在這場散熱軍備賽中,保有相當大的優勢。

延伸閱讀:童子賢:得核融合者得天下,為何比AI還狂熱?台灣新3力:算力、電力、水力!

責任編輯:錢玉紘

關鍵字: #Intel #伺服器 #AI
往下滑看下一篇文章
AI代理時代已至!國泰金控以GAIA 2.0框架加速AI應用百花齊放
AI代理時代已至!國泰金控以GAIA 2.0框架加速AI應用百花齊放

AI正以驚人速度重塑世界樣貌,金融產業也不例外。國泰金控作為台灣最大的金融控股公司之一,不僅積極擁抱創新變革,更透過開放分享促進產業共好:在「2025國泰金控技術年會」中分享「GAIA 2.0技術框架」,揭示多代理(Multi-Agent)雲端協作架構,讓AI從知識問答助理進化成可以自主推論、規劃與協作的夥伴,拉開以人為中心的金融科技新世代序幕。

以GAIA 2.0技術框架為基礎,加速集團應用百花齊放

GAIA是國泰金控為實現AI即服務(AI as a Service)提出的關鍵技術框架,歷經一年的發展,不僅成功建立超過200種資料類別的知識庫、彙整50多種生成式AI模型的Model Hub、設有70道安全防護檢查點的AI護欄。

國泰金控
國泰金控副總暨國泰世華銀行數據長梁明喬分享GAIA 2.0技術框架與集團GenAI應用案例
圖/ 數位時代

國泰金控副總經理暨國泰世華銀行數據長梁明喬指出:「隨著代理式AI技術崛起,我們在今年提出GAIA 2.0技術框架,目標是讓AI助理(Assistant)進化成AI Agent,可以跨單位整合工具、數據與分工,實現真正的智慧協作。」

舉例來說,為深化集團員工運用AI提升工作效率,我們打造員工AI助手—Agia,協助同仁進行知識查詢、資料摘要等任務,提升效率與生產力;另外,透過AI自助開發平台—GAIA Studio,讓員工以No Code工具,連結內部知識庫,並以視覺化介面或Prompt快速自主開發,打造業務場景所需的生成式AI服務與工具。GAIA Studio 上線三個月已有28個部門自助開發超過40支內部應用AI服務(包含行銷文案、各類產品知識、趨勢摘要等)。

在技術面,具體作法是透過GAIA 2.0框架下的四個模組,包含負責統籌AI Agent任務分配與協作流程的「Agent Core核心框架」、提供安全自主運作環境的「Agent Workspace可控環境」、連結Agent間共通語言的「Agent Protocol串接協定」,以及集中管理AI工具與元件的「Agent Marketplace整合市集」,以加速AI Agent應用研發與部署。

梁明喬表示:「接下來,我們將以GAIA為引擎,打造通用型、業務型、IT型與服務型AI應用,如Vibe Coding、CUBE Intelligence等服務,一步一腳印擴展集團的AI Agent生態圈,型塑智慧金融新格局。」

舉例來說,隨著生成式AI普及,客戶對於數位(助理)服務的期待更高,國泰世華銀行數位品牌CUBE推出「CUBE Intelligence」兩項新服務,包含「升級版」智能助理–阿發,滿足客戶詢問複雜問題的需求,無論客戶提出什麼問題,都可以完整步驟與適當的情緒價值強化與客戶的連結,讓服務更智慧、貼心且符合期待。

國泰金控
國泰金控副總暨國泰世華銀行數位長陳冠學展示「CUBE Intelligence」兩項新服務
圖/ 數位時代

國泰金控副總經理暨國泰世華銀行數位長陳冠學表示:「除了升級版阿發,另一新服務是我們也在CUBE App新增『對話式功能搜尋(CUBE Search)』,就像把行員放到CUBE App一樣,讓客戶可以用自然語言輕鬆找到想要的服務,讓服務體驗變得更聰明、更人性也更懂你。」兩項CUBE Intelligence新服務即將在年底正式上線。

跨界合作推動台灣大型語言模型落地,加速生成式AI發展

大型語言模型具備強大的語意理解與內容生成能力,是生成式AI快速發展的關鍵推力。國立政治大學金融科技研究中心主任王儷玲指出:「金融產業因為有獨特的金融語境、法規語意以及在地化的繁體中文知識,國際通用模型並不適用,必須建構本土知識庫、標準化模型機制、AI 法規沙盒及在地算力平台,發展台灣企業共同主導與管理的大型語言模型,方能讓更多金融業者透過微調打造適用模型、加速可信賴的AI Agent服務落地。」

國泰金控數數發中心數據暨人工智慧發展部副總經理劉浩翔進一步補充:「本地大型語言模型的成功關鍵,不僅是掌握充足且高品質的數據,還要透過後訓練微調與人類回饋強化學習的訓練方式去微調出適用的AI模型,藉此提升答案的精準度,尤其是需要跨法規、多層邏輯的嚴謹金融專業知識。」

AI要成功,除了應用場景、模型,算力也扮演至關緊要角色,對此,鴻海科技集團亞灣超算執行長姚延宗表示:「本土算力是支持本土大型語言模型落地的關鍵。」不過,他也強調,AI算力快速迭代且進入門檻高,不是每一間企業都可以自建算力,因此,亞灣超算與NVIDIA合作啟用超算中心,讓金融等台灣企業可以按需租賃所需算力,解決資料共享等敏感問題,加速金融AI應用的多元發展。

國泰金控
產業與學界專家於國泰金控技術年會交流生成式AI如何在台落地應用,左起為:國泰金控副總經理施君蘭、政治大學金融科技研究中心主任王儷玲、國泰金控數數發中心副總經理劉浩翔、鴻海科技集團亞灣超算執行長姚延宗
圖/ 數位時代

總的來說,從GAIA 2.0技術框架的推出、生成式AI的落地應用、到積極參與本土大型語言模型建置等行動,可以清楚看到,國泰金控正由內而外推動全面AI創新:強化內部流程效率與治理能力、以智慧化服務提升客戶體驗,並透過技術開放與跨域合作,為金融產業的數位與AI智慧轉型注入新動能。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
進擊的機器人
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓