「所有AI,最終都必須要落地。」記憶體大廠宜鼎董事長簡川勝在10月22日的「AI Beyond the Edge」論壇表示,相比無限追求性能的雲端大型模型,能夠解決實際應用問題的邊緣AI,才是未來AI發展的重要基礎。
「雲端AI的軍備競賽結束後,真正的挑戰,是讓AI能在產線、醫療、交通現場穩定運作。」簡川勝表示,宜鼎十年前就看見邊緣AI的商機,開始進行一場深層轉型,目標是從記憶體製造商,邁向專精「邊緣AI」的系統服務提供者。
為了達成這項目標,宜鼎併購專做邊緣AI整合的安提國際,以及與輝達、英特爾、高通等國際晶片大廠攜手合作,藉由「跨國組團打怪」的戰術,打造出一站式的邊緣AI生態系,解決企業從硬體建置到實務應用的困難。
為什麼邊緣AI這麼重要?
邊緣AI是指的是AI技術在「現場」或「設備端」直接進行資料運算和決策,不需將資料傳回雲端伺服器上運算。
簡川勝回顧,近年雲端AI的發展從深度學習、生成模型一路演進,大型企業投入巨資建立雲端大模型與資料中心,但所有的AI,最終都得要「回到現場」才能產生實質效益,從製造、交通到城市治理,這些垂直場域才能真正創造價值,而這些都是邊緣AI的機會。
為什麼現場應用特別需要邊緣AI?簡川勝表示,邊緣AI的關鍵優勢在於速度、安全與可靠性。運算不需上傳至雲端,能大量減少延遲,讓系統即時回應生產線與設備的變化;同時資料可留在地端,確保資訊安全,也不必受制於雲端供應商,讓企業能完全掌握自身系統的穩定性與主導權。
然而,要讓AI回到現場、在地端運算,遠比想像中更難。一間企業在導入邊緣AI時,往往得同時面對硬體設備選擇、運算平台整合、資料傳輸穩定性等問題,甚至連散熱與功耗都會影響效能。「邊緣AI的落地,不是一家公司能單獨完成的」,簡川勝認為,導入邊緣AI的挑戰性過高,企業勢必需要外部團隊的協助,而這就是宜鼎提供邊緣AI系統服務的主要商機來源。
自己做不了,那就組隊!
原先專注於記憶體的宜鼎,如何打入邊緣AI系統服務這個新市場?為了克服技術挑戰,宜鼎早在十年前就決定了「組團打怪」的策略,收購專做邊緣AI整合的安提國際,並且整合國際夥伴的運算平台與硬體設備,建立能依客戶需求擴充、彈性調整的生態系。
目前宜鼎整合輝達的GPU與軟體平台,並採用英特爾的伺服器架構與AI加速技術,同時為兩者的正式合作夥伴(NVIDIA Elite Partner、Intel Gold Partner);也導入高通的DragonWing SoC,滿足低功耗邊緣裝置的應用需求,並與歐洲晶片設計新創Axelera AI合作。
宜鼎將邊緣AI的市場需求劃分為兩個方向:Industry AI(產業型AI)聚焦現場即時決策,例如影像辨識、巡檢、自動化等應用;Enterprise AI(企業型AI)則著重管理層的資料整合與決策效率。為了符合這些類型的使用需求,宜鼎串聯系統整合商與軟體夥伴,與廣運機械合作推進智慧製造、機器人與巡檢系統,並與鼎新數智合作,協助企業導入生成式AI工具與內部知識系統。
宜鼎花十年建立起聯盟,從GPU硬體建置,到AI軟體應用,都涵蓋在他的生態系之中。簡川勝形容宜鼎集團是「邊緣AI建築師」,將邊緣AI的建置分為多個板塊,從資料收集、運算平台到學習與決策,每一塊都能獨立組合或整體交付。
一站式導入邊緣AI!從硬體配置建議到應用軟體堆疊
「客戶最常問的兩個問題是,我的應用需要多大的算力?該選哪一種處理器?」蘇威全指出,實務上企業導入的最大挑戰是「算力選擇」,不同場域對算力的需求差異極大,影像辨識約需8 TOPS,而人形機器人可能高達2000 TOPS以上。
「沒有最好的晶片,只有最適合的算力組合。」他表示,安提協助客戶從系統設計、散熱、電源、軟體開發套件到整體堆疊,確保每一瓦功耗都能發揮最大效益,讓AI在現場穩定運作。
安提展示了一款可對話的配餐機器人,作為邊緣AI的系統整合案例。這款機器人選擇使用NVIDIA Jetson Orin NX作為即時視覺識別的運算設備,能夠自動識別物品並完成分類與擺放作業;同時,安提也將LLM植入機器人中,使其具備互動式對話功能,可以用自然語言接收指令、為使用者提出建議等。
從記憶體製造起家的宜鼎,如今成為邊緣AI落地的關鍵中介,連結晶片供應商、系統整合商與終端應用者,提供完整的邊緣AI解方。當AI從雲端回到現場,從模型走向真實運作,產業正站在另一場轉型的起點。
