群聯讓AI變平價了!aiDAPTIV+700億參數只要150萬台幣,開發背後全因輝達這件事?
群聯讓AI變平價了!aiDAPTIV+700億參數只要150萬台幣,開發背後全因輝達這件事?

「就像是去很遠的地方,你搭不了火車的話,騎Gogoro也是可以到。」群聯電子執行長潘健成今(24日)在AI EXPO大會的演講上,生動地推銷自家全新產品「aiDAPTIV+」。

生成式AI的爆發,帶動企業對AI的需求。然而中小企業卻不見得能夠負擔昂貴的伺服器價格。群聯的全新固態硬碟(SSD)產品「aiDAPTIV+」,能夠在伺服器內透過群聯自己開發的軟體,將SSD當作記憶體使用,解決AI運算中記憶體容量的問題。

群聯電子
群聯aiDAPTIV+產品系列。
圖/ 邱品蓉攝影

產業分析師指出,處理器中的記憶體越多,價格越高。換句話說,aiDAPTIV+幫助中小企業無需花費太多的價格,也能享有AI應用。潘健成開玩笑表示,原先想稱為窮人的AI,「但這其實就是全民AI的概念。」

群聯的這項技術推出後,引起不小的關注。群聯員工透露,目前該技術已經導入雲達、技嘉、研華和華碩等伺服器廠,「有已經在量產,也有還在POC(概念驗證)階段的。」顯見獲得市場青睞。

太貴就自己做!群聯aiDAPTIV+背後小故事

群聯之所以能開發出這項產品,背後有一個小故事。員工表示:「其實當初我們是想要買輝達(NVIDIA)伺服器來使用。」然而由於不斐的價格,讓群聯開始思考是否有其他替代措施。

為持續開發內部AI應用,群聯接著買下一台非AI伺服器,並想辦法運用對記憶體的研發能力,優化伺服器運作。最終,運用固有的硬體產品,加上自研的中介軟體,群聯不僅解決了內部問題,還陰錯陽差的開發出aiDAPTIV+這套軟硬整合的解決方案。

群聯電子
此圖為伺服器內部,風扇左側藍白相間的SSD,即為群聯aiDAPTIV+產品,能將SSD作為AI擴充記憶體使用
圖/ 邱品蓉攝影

雖然該項技術目前僅支援輝達的伺服器平台,不過群聯的員工表示,「像是超微(AMD)或英特爾(Intel)等其他平台我們也都有在談。」目前能處理的參數量超過700億,同時支援GPT、Llama2和等主流語言模型。

訓練700億參數僅需150萬台幣!群聯最強AI成本控管術

潘健成在今日演講中,表示企業採可以選擇用aiDAPTIV+來導入大語言模型(LLM),再加上微調(Fine-tuning)運算後就能達到目的。他比喻,只要目的相同,雖然不能搭火車,但騎Gogoro也還是會抵達。

以擁有700億個參數量的Llama2為例,僅需採用8顆輝達A6000的RTX顯卡驅動,搭配微調運算,中文AI模型的精準率可達92%,成本則約落在150萬新台幣。這與動輒就需要千萬甚至上億的費用的解決方案相比,有助於AI的普及。

群聯電子
群聯執行長潘健成表示,企業採可以選擇用aiDAPTIV+來導入大語言模型(LLM),再加上微調(Fine-tuning)運算後達到訓練目標
圖/ 邱品蓉攝影

潘健成分享,當前的採用客戶已遍及各行業,加上aiDAPTIV+有助於地端運算的效能提升,能更好的保護機敏性資訊。目前如政府機關、分析師、科學家、工程和建築等領域,都已經是該方案的採用客戶。

延伸閱讀:鴻海乘AI伺服器起飛!劉揚偉一句「全年展望顯著成長」背後,有哪些底氣?

責任編輯:蘇柔瑋

往下滑看下一篇文章
從優化 WiFi 網路架構到提供 IT 託管服務,自由系統助佳格數位聚焦 AI 音效演算、持續翻轉音樂市場
從優化 WiFi 網路架構到提供 IT 託管服務,自由系統助佳格數位聚焦 AI 音效演算、持續翻轉音樂市場

佳格數位科技(Positive Grid)成立於 2013 年,憑藉著高擬真數位訊號處理(DSP)技術與使用者導向的產品設計哲學,推出許多叫好又叫座的產品服務,例如,讓電吉他手可以使用行動裝置模擬各種音箱與效果器的 JamUp App 與 BIAS App,以軟硬整合的 BIAS 與 Spark 系列產品滿足不同使用情境需求,以及透過雲端平台 ToneCloud 串聯音樂社群,讓創作者可以一鍵上傳與下載專業音效,徹底翻轉音樂創作、練習與演奏的方式。

卓越的產品服務使 App 上市一年,便在超過 40 個國家的 App Store 排行榜位居音樂類榜首,Spark Go 智慧音箱也深受全球音樂人的喜愛、在短短 3 年的時間銷售 70 萬台。探究佳格數位的創新秘訣,與其掌握的「音效演算法」息息相關。

佳格數位科技網站暨資訊科技總監 Emil Wu 表示:「為滿足使用者需求,我們不僅透過雲端、人工智慧等新科技優化『音效演算法』等核心資產,還必須提升安全防護能力。」因此,佳格數位與資訊服務團隊自由系統展開合作,由自由系統提供 IT 架構管理服務,強化企業 IT 環境的穩定性與安全性,同時讓內部團隊得以專注於核心研發任務。

雙方合作項目涵蓋 WiFi 網路優化、防火牆建置、機房租用、伺服器遷移及 Apple 裝置管理等關鍵項目,透過專業技術支援,佳格數位可以無後顧之憂地將資源聚焦於技術創新與使用者體驗升級。

自由系統
佳格數位科技網站暨資訊科技總監 Emil Wu
圖/ 數位時代

從優化辦公室Wi-Fi網路架構開始,自由系統成佳格數位最佳資訊後援

把時間回溯到 2023 年,隨著產品服務與業務的光速擴展,佳格數位面臨一個棘手挑戰:辦公室 WiFi 品質不穩,導致 AI 模型的訓練工作中斷、音效檔案無法如期上傳,進而影響各個專案進程,為從根本解決問題,佳格數位重新評估辦公室 WiFi 網路架構與設備,並在過程中意識到:其需要的不僅僅只是穩定的 WiFi 設備,而是能提供一站式服務的長期資訊夥伴,經過長達數月的評估與接觸,最終會選擇與自由系統合作的原因有三:

首先,必須有能力跟美國總部同仁無縫溝通,確保團隊可以即時回應市場需求、快速推進專案進程;其次,合作夥伴必須具備專業技術能力與豐富實務經驗,可以提供包含諮詢、規劃、建置到維護等完整服務;最後,同時也是最重要的是,能站在佳格數位的立場思考,並提供最佳建議與解方。

「我們一開始以為只是設備老舊需要汰換,但在評估的過程中發現,我們需要的不是單一設備供應商,而是可以因應需求持續提供最佳解方的合作夥伴。」Emil 以 WiFi 專案為例指出,自由系統不僅派人到辦公室勘查與量測 WiFi 網路運行狀況、因應同仁需求提供專屬的規劃建議、更協助測試 WiFi 產品,確認一切都沒問題後,才導入相應設備與提供維運服務。

WiFi 網路架構優化至今,佳格數位的員工幾乎不再反應網路不穩等問題,就算有突發狀況,自由系統也會在最短的時間內解決,卓越的實務成績不僅深化雙方信任,合作關係也從 WiFi 網路架構優化延伸到防火牆建置、AI 伺服器搬遷,以及導入可以有效管理 Apple 裝置設備的 Jamf 解決方案等面向。

「從 WiFi 優化專案至今,自由系統已成為我們資訊委外的最佳夥伴。」佳格數位科技軟體經理 Tiny Chen 進一步分享雙方合作成效:成功縮減 30% 的 WiFi 網路設備處理時間,將 Apple 裝置的故障處理時間從 2 到 3 週縮減為 3 天等。「更重要的是,團隊成員可以聚焦在 AI 音效演算法的開發與維運等關鍵工作,無須擔憂運算資源優化與安全防護等資訊系統狀況,持續提升產品服務的競爭力。」

自由系統
佳格數位科技軟體經理 Tiny Chen
圖/ 數位時代

以全方位服務助佳格數位發揮AI綜效、持續成長卓越

自由系統資深服務顧問黃麒翰表示:「面對瞬息萬變的市場環境,企業需要的不是單一產品,而是可以提供全方位解決方案、一起成長茁壯的長期資訊夥伴,這正是自由系統一直以來的發展方向。」在與佳格數位的合作中,自由系統安排專職顧問與技術團隊來提升佳格數位的資訊系統架構與應用服務的可靠性、穩定性與安全性,爾後,更因應佳格數位的 AI 應用主動提出安全建議,讓佳格數位在持續創新的狀況下,兼顧系統營運韌性與安全。

自由系統
自由系統資深服務顧問 黃麒翰
圖/ 數位時代

展望未來,自由系統除因應佳格數位的需求持續優化資訊系統架構,如 AI 伺服器等領域,雙方也將深入盤點數據資產、逐步建構數據邊界,確保 AI 應用的合規性與可控性,以最佳後援之姿,讓佳格數位持續以 AI 創新服務滿足使用者的多元需求、為全球擴展打下堅實基礎,引領未來音樂樣貌。這段合作歷程也再次驗證:自由系統不僅擁有靈活應變、全方位支援的服務實力,更能在每一次挑戰中,提供超越預期的技術支持與策略建議。對佳格數位而言,自由系統不只是技術支援者,更是共創成長價值的重要夥伴,並在企業邁向數位轉型與 AI 創新過程中,成為堅實可靠的關鍵力量。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
電商終局戰
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓