「演算法縮小術」搶攻生成式AI藍海生意!滿拓科技助企業大減GPU用量、成本砍半
04

「演算法縮小術」搶攻生成式AI藍海生意!滿拓科技助企業大減GPU用量、成本砍半

台灣新創公司「滿拓科技」誤打誤撞做起生成式AI生意,獨家演算法縮減技術能助客戶減少GPU用量,不只業績翻3倍,更直逼國際大廠的地盤。

「我們最近一直在擴編,因為業務量突然變得太龐大了。」滿拓科技創辦人吳昕益苦笑著說,客戶在近三個月內突然不斷上門。

滿拓是一家專精於「AI模型微型化」的新創公司,一直到去年,客戶量都是用「10幾家」來概括。沒想到年底生成式AI爆發後,把龐
大的模型微型化變成最關鍵的技術,因為可以大幅降低企業部署AI的門檻和成本,吳昕益粗估,今年以來接洽的客戶已經超過50家企業。

滿拓從2018年創立後,在晶片設計、影像辨識等各種領域浮沉,去年剛確定轉向AI模型微型化的賽道,今年就正式上軌道並開始拓展商業版圖,他們怎麼做到的?

吳昕益_滿拓科技創辦人暨執行長_2023_10_25_蔡仁譯攝-10.jpg
滿拓科技由平均年齡30多歲的員工組成,圖左三為滿拓科技創辦人暨執行長吳昕益。
圖/ 蔡仁譯攝影

滿拓在做什麼?優勢是什麼

滿拓提供的AI模型微型化,簡單來說就像哆啦A夢的縮小燈,能夠把龐大參數量的AI演算法縮小,塞進不同大小的地端資料中心裡,成為企業自己擁有的資源,讓原本只能在AWS、Google Cloud、微軟Azure等公有雲上運行的模型,也能用來支應企業的日常任務。

對企業客戶來說,滿拓的技術有三大優勢能助攻AI應用:

助攻力1:保留關鍵特徵,「縮小燈」讓演算不失真

把東西縮小,聽起來很輕鬆簡單,但目前業界不少相關服務是採用「剪枝法」或「量化法」把看似不重要的參數都拿掉,勢必會降低模型的精準度。滿拓的專利技術正好鎖定這項痛點,直接把運算單元縮小,將原本位在雲端以32位元運算架構來撰寫的複雜演算法,轉為4位元或8位元的運算架構,等於用更簡單有效率的處理原有的AI演算法,運算量和資料量減少90%,但精準度卻只會減少1%。

滿拓科技微型化技術
滿拓科技的微型化技術讓運算效能大幅提升。
圖/ 滿拓科技

吳昕益進一步解釋,這就像判斷一隻大象,會有一些指標性的特徵,例如長鼻子、大耳朵,讓你能從部位就看出這是大象。滿拓的技術就能把真正關鍵的細節保留下來,讓模型在壓縮過程不會因此失去判斷力,就如同縮小燈能把人類等比例縮小,卻不會因此「缺手、缺腳」。

助攻力2:GPU成本大降,百萬搞定任務

對渴望掌握生成式AI能力的企業來說,這項技術最大的吸引力就是成本的縮減,尤其是目前因缺貨價格飆漲的GPU。目前市面上熱門的解決方案,一台伺服器可能就要超過新台幣700萬,但使用滿拓的技術縮小模型後,可以把需要300張GPU算力的任務,縮小到8張GPU就可以完成,雖然必須拉長運算時間,依照需求可能花1倍、2倍到10倍時間都有可能,但是對企業來說,大多願意用時間來換取成本的降低。

換算下來,滿拓從前期資料清洗、模型訓練到導入系統,整套服務只需要用市場價的4分之1 就可以取得。

助攻力3:地端部署,客製化訓練

對企業來說,滿拓的另一項重要優勢在於「地端部署」,當模型的體量縮小後,能放在公司的地端伺服器中運行。這一點對於金融業、政府機關等握有大量機密資料的客戶來說特別重要,能夠減少數據外洩的問題。正是因為這項優勢,讓滿拓有能力以「小蝦米」之姿,在這個市場上佔有一席之地

吳昕益指出,(其他同業)雖然手握巨量參數模型和龐大算力,但弱點在於無法做精細的客製化訓練,或者幫助單一企業部署到公司裡、完成整套流程,這正是滿拓的機會所在,「如果你需要完全地端、需要客製化,只有我們能做。」發現需求所在後,滿拓甚至開始把前段的資料清洗和後段的系統串接都拿來做,如果客戶不想費力,只要提供資料,便可開始操作及訓練。

不過吳昕益指出,和公有雲是能互補的盟友,透過合作可以提供客戶不同選擇,例如把不趕時間的任務留在地端算、節省成本,若有很急迫的任務,就多花錢放上雲端去處理,形成一套雲地混合的方案,目前已經在和台智雲進行類似的合作,「等到目前的客戶已經有超過30家完成部署,規模夠大了,我們就可以讓這項技術普及化。」

慢磨十年闖進AI生意,滿拓業務放眼東亞

在業務量不斷提高的情況下,滿拓除了組織要擴編,也預計明年第一季將啟動A輪募資,「其實募資完全是為了活下去,因為計畫越大,燒的錢越多。」眼看著許多AI新創倒在灘頭上,完全可以看出在AI這塊資本密集的市場生存有多不容易。

如今站穩腳跟的滿拓,崛起之路也並非一帆風順,在2018年創立時,技術已經在清大實驗室裡磨了10年,當年是想推一款IC設計軟體工具,讓企業更輕鬆設計AI晶片,但產品總歸是從實驗室孵化出來,缺乏實際應用經驗,所以現在滿拓大量的與各個合作廠商進行測試,讓這項10年的技術開始能應用在各大企業。

吳昕益_滿拓科技創辦人暨執行長_2023_10_25_蔡仁譯攝-1.jpg
滿拓科技創辦人暨執行長吳昕益直言,如今的成功並非偶然。
圖/ 蔡仁譯攝影

後來轉做影像辨識技術,其中一塊配搭的技術就是微型化,縮小模型加快影像辨識的速度,當時還只是個「Nice-to-have」(可有可無),生成式AI 崛起後,卻成為模型部署地端的「Must-have」(必須),陰錯陽差跑對賽道,滿拓現在的任務是趕快站穩腳步。

為了加快AI導入速度,更有效率降低成本,滿拓利用近期累積的經驗,將企業客戶最常用的需求打造成6大類預模型產品,未來客戶有相關需求,只要進行微調修改,就可以快速上線使用,整個團隊不用再從頭開始打造客製化產品。

滿拓6大類需求專用模型

  1. 客服Customer service:滿足客服聊天機器人的訓練需求
  2. 文件處理Document Expert:整理資料文件內容、按照需求調用資料
  3. 寫程式 Code Expert:協助IC設計工程師產生程式的模型
  4. 會議記錄 Meeting Expert:自動會議記錄,辨識人聲並摘要重點
  5. 圖像生成 Text to Image:輸入文字聲成圖案
  6. 模型調校Fine Tune:將AI模型微調訓練

既然做的是生成式AI的服務,需求自然是全球性的,滿拓目前已經摩拳擦掌準備出海,目前先往歐美地區擴張版圖,和美國及歐洲地代理商建立關係,培養代理商技術能力,「其實已經看見當地企業需求成長,我們可以挾著技術領先去圈地,樹立先進者優勢。」

慢磨十多年才等到這陣風起,滿拓已經準備好把幸運轉換成動力。

延伸閱讀:GPU太難買,又想導入AI怎麼辦?軟體技術助攻AI商機,三招優化GPU!

責任編輯:林美欣

關鍵字: #AI #GPU

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
蘋果能再次偉大?
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓