「DeepSeek出現以前,許多中小企業其實不敢問,也不敢碰AI,覺得太貴、自己玩不起。」資誠創新諮詢公司董事長盧志浩說道:「是DeepSeek讓大家發現,原來有機會可以不用花很多成本訓練,也可以做出表現優異的AI。」
今年1月,由中國新創公司推出的開源語言模型DeepSeek-R1橫空出世,號稱訓練成本僅600萬美元,迅速引發全球對AI訓練成本的討論。如今5個月過去,DeepSeek究竟對產業造成了哪些改變?如何撼動企業的AI部署策略?
盧志浩認為,與其說DeepSeek已經對企業使用AI的現況造成影響,不如說DeepSeek開拓了許多企業的想像,他們終於開始「敢碰AI」了,甚至已經有企業打造出AI法務助手、AI業務系統等功能。
自ChatGPT問世的2年多,企業導入AI呈現M型化趨勢。大型企業有能力拿出每年幾千萬元、幾億元的AI預算,直連微軟、AWS、Google等雲端服務供應商,而小型企業可用SaaS模式敏捷導入;唯獨大量中型企業顯得不上不下,既沒有豐沛的預算,又礙於合規、資安因素等,遲遲難以應用AI。
直到DeepSeek的出現,企業才看見了「自建AI」的可行契機。資策會MIC產業顧問兼組長朱師右指出, DeepSeek的出現,使得「開源」與「蒸餾」這2項特性正式走入產業視野,為企業指出一條新的AI導入路徑——在地端打造專屬AI模型 。
所謂開源,意味著企業不再受限於雲端、封閉的AI模型,能夠將AI部署在自有環境中,不僅提升資安掌控力,也開啟了自行訓練與調整模型的可能性。而蒸餾技術則讓模型變得更小、更輕量,卻仍保有一定的效能;企業得以用更低的運算成本,獨立運行AI應用。
換言之,使用雲端服務不再是企業導入AI唯一的選擇。群聯電子技術長林緯進一步指出,相 比雲端AI對於雲端服務商較為依賴,地端專屬AI能夠全盤操之在己,因而在資安、穩定性與自主性3大因素占有優勢。
最怕上雲資安外流!企業自建地端自主掌握機密資料
「ChatGPT剛推出時,企業導入AI多半仰賴雲端服務或串接API(應用程式介面),但許多關鍵知識、機密資料其實無法上雲,因此愈來愈多企業傾向尋求更具掌控性的方案,降低風險、提高彈性。」資策會MIC資深產業顧問兼主任朱南勳表示。
那些顧慮雲端資安問題,或是期待低成本、高度客製化AI的企業,這次終於有機會乘上AI浪潮。年初至今,硬體廠商群聯電子、資訊服務業精誠資訊等相關廠商,都明確感受到台灣企業對於AI導入的企圖心顯著上升。
就像個人用戶為了讓AI更懂自己,透過提示(prompt)、自訂指令等方式調整AI,企業也期待AI更了解特定領域知識、公司內部資料,甚至內化企業文化與工作流程。這也推動企業投入自建與調校技術,將通用模型轉為符合自身情境的版本,打造真正「專屬的AI」。
具體而言,專屬AI常用於企業知識管理、流程優化與內部客服等。透過串接內部資料庫,能快速回應查詢、輔助決策,成為懂公司語言的數位助理。
精誠資訊以一間汽車零件廠的業務系統為例:過去業務準備報價時,需要先查詢料號、過往交易紀錄,以及庫存情況等,多半需要3天左右,若是使用對接公司內部的資料庫的專屬AI,業務即可直接詢問AI得到資料,報價流程成功縮短至1小時內。
企業專屬AI有多種執行模式,目前討論度高的主流方法之一,是運用開源模型(如Mistral、Llama或DeepSeek),再加上Fine-tune(微調)、RAG(檢索增強生成)等調整模式,來訓練AI特定領域的知識,或是連結外部資料庫。
對此,APMIC AI生態圈策略夥伴總監蔡宜潔分享,通用模型往往對於專業領域的知識掌握度不足,尤其在製造、法律等領域,需要進一步訓練才能提高可用性。
這種運用「開源模型、自行調整」模式製作而成的專屬AI,除了非常了解公司、符合使用需求之外,更重要的是能夠放置於「地端」,將機敏資料留在自家設備。
雲端AI將資料儲存與運算作業委由遠端伺服器執行,並透過網路將結果傳輸給用戶;地端則是將伺服器、系統及相關運算資源部署於自有環境,自行管理資料儲存與運算作業。基於資安或合規要求,台灣的製造、醫療與金融等產業,對於上雲有所疑慮,因此更傾向將資料保存於自家硬體設備。
即便地端技術可行、符合使用需求,硬體成本仍是常見門檻。相比雲端供應商以token或算力彈性計費,地端的運作邏輯是購買GPU、NPU或顯示卡做為運算基礎。林緯估算,過往若是使用輝達的硬體方案,地端導入AI的成本可能動輒上億元。
然而,目前相關成本持續下降中。根據史丹佛大學人本人工智慧研究中心的研究, AI的推理成本在2年間下降280倍以上,硬體成本則是成本每年下降30%,能源效率每年提高40% 。許多台灣硬體廠商也推出更便宜的一體機,軟體供應商則提供模型微型化、GPU管理等降本增效的新方案。
根據多間供應商的估算,目前企業若要初步導入的話,約200萬元至300萬元即可製作地端專屬AI,硬體設備占100至150萬元。整體而言,無論是硬體設備、算力成本都在逐步平價化,讓「落地應用」不再遙不可及。
擁抱地端前,須考量自建門檻、維運成本
在DeepSeek效應帶動下,地端專屬AI正逐漸成為企業導入的可行選項。然而,考量導入生成式AI時,仍應依據資料敏感度、導入資源、應用目標與管理能力,來評估究竟要使用雲端還是地端方案。
相較於雲端的即用即接,地端部署往往伴隨較高的導入門檻與維運成本,不僅需自行建置設備與機房,還須負擔後續維運與擴充規畫,整體流程複雜度遠高於雲端。
雲端部署的優勢在於導入速度快、彈性高、維運成本低,特別適合導入初期或缺乏IT能力的企業;而地端部署則強調資安、系統穩定性與高度客製化,適用於資料敏感度高(如製造、醫療、金融)、已具備一定數位化基礎,並且對AI應用已有明確規畫的企業。
此外,也有愈來愈多企業採用「雲地混合」架構——將機敏資料與關鍵模組保留在地端,其餘則交由雲端運行,實現資安、彈性與效率的平衡。
若從台灣整體產業角度觀察,盧志浩指出,地端部署與小參數模型AI的組合,正是台灣產業得以發揮優勢的關鍵場域。台灣擁有高度整合的晶片設計與製造實力,從AI晶片、邊緣AI裝置到AIPC終端設備,皆具備成熟供應鏈與技術支撐。
企業導入AI的關鍵,不在於選擇雲端或地端的單一路徑,而是理解自身需求與風險承受度,靈活規畫最合適的部署策略。另外,盧志浩也提醒企業,不需等待所有條件成熟再啟動,只要具備初步的治理能力,就能一邊導入、一邊修正,逐步建立屬於自己的AI規範與應用架構。
當生成式AI正重塑產業格局,企業若仍選擇觀望,無異於錯失轉型良機。地端、自主、小模型,或許正是台灣企業啟動下一階段創新的起點。
延伸閱讀:
責任編輯:蘇柔瑋