「所有AI最終都要落地!」宜鼎攻邊緣AI大商機,秘訣是把輝達、英特爾拉進來「組團打怪」
「所有AI最終都要落地!」宜鼎攻邊緣AI大商機,秘訣是把輝達、英特爾拉進來「組團打怪」

「所有AI,最終都必須要落地。」記憶體大廠宜鼎董事長簡川勝在10月22日的「AI Beyond the Edge」論壇表示,相比無限追求性能的雲端大型模型,能夠解決實際應用問題的邊緣AI,才是未來AI發展的重要基礎。

「雲端AI的軍備競賽結束後,真正的挑戰,是讓AI能在產線、醫療、交通現場穩定運作。」簡川勝表示,宜鼎十年前就看見邊緣AI的商機,開始進行一場深層轉型,目標是從記憶體製造商,邁向專精「邊緣AI」的系統服務提供者。

為了達成這項目標,宜鼎併購專做邊緣AI整合的安提國際,以及與輝達、英特爾、高通等國際晶片大廠攜手合作,藉由「跨國組團打怪」的戰術,打造出一站式的邊緣AI生態系,解決企業從硬體建置到實務應用的困難。

為什麼邊緣AI這麼重要?

邊緣AI是指的是AI技術在「現場」或「設備端」直接進行資料運算和決策,不需將資料傳回雲端伺服器上運算。

簡川勝回顧,近年雲端AI的發展從深度學習、生成模型一路演進,大型企業投入巨資建立雲端大模型與資料中心,但所有的AI,最終都得要「回到現場」才能產生實質效益,從製造、交通到城市治理,這些垂直場域才能真正創造價值,而這些都是邊緣AI的機會。

為什麼現場應用特別需要邊緣AI?簡川勝表示,邊緣AI的關鍵優勢在於速度、安全與可靠性。運算不需上傳至雲端,能大量減少延遲,讓系統即時回應生產線與設備的變化;同時資料可留在地端,確保資訊安全,也不必受制於雲端供應商,讓企業能完全掌握自身系統的穩定性與主導權。

然而,要讓AI回到現場、在地端運算,遠比想像中更難。一間企業在導入邊緣AI時,往往得同時面對硬體設備選擇、運算平台整合、資料傳輸穩定性等問題,甚至連散熱與功耗都會影響效能。「邊緣AI的落地,不是一家公司能單獨完成的」,簡川勝認為,導入邊緣AI的挑戰性過高,企業勢必需要外部團隊的協助,而這就是宜鼎提供邊緣AI系統服務的主要商機來源。

自己做不了,那就組隊!

原先專注於記憶體的宜鼎,如何打入邊緣AI系統服務這個新市場?為了克服技術挑戰,宜鼎早在十年前就決定了「組團打怪」的策略,收購專做邊緣AI整合的安提國際,並且整合國際夥伴的運算平台與硬體設備,建立能依客戶需求擴充、彈性調整的生態系。

宜鼎邊緣AI分工
宜鼎展示出「邊緣AI」生態系的涵蓋範圍與分工。
圖/ 數位時代

目前宜鼎整合輝達的GPU與軟體平台,並採用英特爾的伺服器架構與AI加速技術,同時為兩者的正式合作夥伴(NVIDIA Elite Partner、Intel Gold Partner);也導入高通的DragonWing SoC,滿足低功耗邊緣裝置的應用需求,並與歐洲晶片設計新創Axelera AI合作。

宜鼎將邊緣AI的市場需求劃分為兩個方向:Industry AI(產業型AI)聚焦現場即時決策,例如影像辨識、巡檢、自動化等應用;Enterprise AI(企業型AI)則著重管理層的資料整合與決策效率。為了符合這些類型的使用需求,宜鼎串聯系統整合商與軟體夥伴,與廣運機械合作推進智慧製造、機器人與巡檢系統,並與鼎新數智合作,協助企業導入生成式AI工具與內部知識系統。

宜鼎花十年建立起聯盟,從GPU硬體建置,到AI軟體應用,都涵蓋在他的生態系之中。簡川勝形容宜鼎集團是「邊緣AI建築師」,將邊緣AI的建置分為多個板塊,從資料收集、運算平台到學習與決策,每一塊都能獨立組合或整體交付。

一站式導入邊緣AI!從硬體配置建議到應用軟體堆疊

「客戶最常問的兩個問題是,我的應用需要多大的算力?該選哪一種處理器?」蘇威全指出,實務上企業導入的最大挑戰是「算力選擇」,不同場域對算力的需求差異極大,影像辨識約需8 TOPS,而人形機器人可能高達2000 TOPS以上。

延伸閱讀:AI PC中常見的TOPS是什麼?1 TOPS是多少算力?TOPS越大越好嗎?

「沒有最好的晶片,只有最適合的算力組合。」他表示,安提協助客戶從系統設計、散熱、電源、軟體開發套件到整體堆疊,確保每一瓦功耗都能發揮最大效益,讓AI在現場穩定運作。

安提展示了一款可對話的配餐機器人,作為邊緣AI的系統整合案例。這款機器人選擇使用NVIDIA Jetson Orin NX作為即時視覺識別的運算設備,能夠自動識別物品並完成分類與擺放作業;同時,安提也將LLM植入機器人中,使其具備互動式對話功能,可以用自然語言接收指令、為使用者提出建議等。

安提系統整合機器手臂
安提國際的智慧配餐機器人,為一款整合LLM與機器手臂的邊緣AI裝置。
圖/ 數位時代

從記憶體製造起家的宜鼎,如今成為邊緣AI落地的關鍵中介,連結晶片供應商、系統整合商與終端應用者,提供完整的邊緣AI解方。當AI從雲端回到現場,從模型走向真實運作,產業正站在另一場轉型的起點。

延伸閱讀:白話科技|HVDC高壓直流電是什麼?台廠概念股有哪些?為何是資料中心配電新解方?

關鍵字: #邊緣運算
往下滑看下一篇文章
AI代理時代已至!國泰金控以GAIA 2.0框架加速AI應用百花齊放
AI代理時代已至!國泰金控以GAIA 2.0框架加速AI應用百花齊放

AI正以驚人速度重塑世界樣貌,金融產業也不例外。國泰金控作為台灣最大的金融控股公司之一,不僅積極擁抱創新變革,更透過開放分享促進產業共好:在「2025國泰金控技術年會」中分享「GAIA 2.0技術框架」,揭示多代理(Multi-Agent)雲端協作架構,讓AI從知識問答助理進化成可以自主推論、規劃與協作的夥伴,拉開以人為中心的金融科技新世代序幕。

以GAIA 2.0技術框架為基礎,加速集團應用百花齊放

GAIA是國泰金控為實現AI即服務(AI as a Service)提出的關鍵技術框架,歷經一年的發展,不僅成功建立超過200種資料類別的知識庫、彙整50多種生成式AI模型的Model Hub、設有70道安全防護檢查點的AI護欄。

國泰金控
國泰金控副總暨國泰世華銀行數據長梁明喬分享GAIA 2.0技術框架與集團GenAI應用案例
圖/ 數位時代

國泰金控副總經理暨國泰世華銀行數據長梁明喬指出:「隨著代理式AI技術崛起,我們在今年提出GAIA 2.0技術框架,目標是讓AI助理(Assistant)進化成AI Agent,可以跨單位整合工具、數據與分工,實現真正的智慧協作。」

舉例來說,為深化集團員工運用AI提升工作效率,我們打造員工AI助手—Agia,協助同仁進行知識查詢、資料摘要等任務,提升效率與生產力;另外,透過AI自助開發平台—GAIA Studio,讓員工以No Code工具,連結內部知識庫,並以視覺化介面或Prompt快速自主開發,打造業務場景所需的生成式AI服務與工具。GAIA Studio 上線三個月已有28個部門自助開發超過40支內部應用AI服務(包含行銷文案、各類產品知識、趨勢摘要等)。

在技術面,具體作法是透過GAIA 2.0框架下的四個模組,包含負責統籌AI Agent任務分配與協作流程的「Agent Core核心框架」、提供安全自主運作環境的「Agent Workspace可控環境」、連結Agent間共通語言的「Agent Protocol串接協定」,以及集中管理AI工具與元件的「Agent Marketplace整合市集」,以加速AI Agent應用研發與部署。

梁明喬表示:「接下來,我們將以GAIA為引擎,打造通用型、業務型、IT型與服務型AI應用,如Vibe Coding、CUBE Intelligence等服務,一步一腳印擴展集團的AI Agent生態圈,型塑智慧金融新格局。」

舉例來說,隨著生成式AI普及,客戶對於數位(助理)服務的期待更高,國泰世華銀行數位品牌CUBE推出「CUBE Intelligence」兩項新服務,包含「升級版」智能助理–阿發,滿足客戶詢問複雜問題的需求,無論客戶提出什麼問題,都可以完整步驟與適當的情緒價值強化與客戶的連結,讓服務更智慧、貼心且符合期待。

國泰金控
國泰金控副總暨國泰世華銀行數位長陳冠學展示「CUBE Intelligence」兩項新服務
圖/ 數位時代

國泰金控副總經理暨國泰世華銀行數位長陳冠學表示:「除了升級版阿發,另一新服務是我們也在CUBE App新增『對話式功能搜尋(CUBE Search)』,就像把行員放到CUBE App一樣,讓客戶可以用自然語言輕鬆找到想要的服務,讓服務體驗變得更聰明、更人性也更懂你。」兩項CUBE Intelligence新服務即將在年底正式上線。

跨界合作推動台灣大型語言模型落地,加速生成式AI發展

大型語言模型具備強大的語意理解與內容生成能力,是生成式AI快速發展的關鍵推力。國立政治大學金融科技研究中心主任王儷玲指出:「金融產業因為有獨特的金融語境、法規語意以及在地化的繁體中文知識,國際通用模型並不適用,必須建構本土知識庫、標準化模型機制、AI 法規沙盒及在地算力平台,發展台灣企業共同主導與管理的大型語言模型,方能讓更多金融業者透過微調打造適用模型、加速可信賴的AI Agent服務落地。」

國泰金控數數發中心數據暨人工智慧發展部副總經理劉浩翔進一步補充:「本地大型語言模型的成功關鍵,不僅是掌握充足且高品質的數據,還要透過後訓練微調與人類回饋強化學習的訓練方式去微調出適用的AI模型,藉此提升答案的精準度,尤其是需要跨法規、多層邏輯的嚴謹金融專業知識。」

AI要成功,除了應用場景、模型,算力也扮演至關緊要角色,對此,鴻海科技集團亞灣超算執行長姚延宗表示:「本土算力是支持本土大型語言模型落地的關鍵。」不過,他也強調,AI算力快速迭代且進入門檻高,不是每一間企業都可以自建算力,因此,亞灣超算與NVIDIA合作啟用超算中心,讓金融等台灣企業可以按需租賃所需算力,解決資料共享等敏感問題,加速金融AI應用的多元發展。

國泰金控
產業與學界專家於國泰金控技術年會交流生成式AI如何在台落地應用,左起為:國泰金控副總經理施君蘭、政治大學金融科技研究中心主任王儷玲、國泰金控數數發中心副總經理劉浩翔、鴻海科技集團亞灣超算執行長姚延宗
圖/ 數位時代

總的來說,從GAIA 2.0技術框架的推出、生成式AI的落地應用、到積極參與本土大型語言模型建置等行動,可以清楚看到,國泰金控正由內而外推動全面AI創新:強化內部流程效率與治理能力、以智慧化服務提升客戶體驗,並透過技術開放與跨域合作,為金融產業的數位與AI智慧轉型注入新動能。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
進擊的機器人
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓