「2009年時，我一直想像mobile device（行動裝置）有什麼軟硬整合的契機？可惜當時台灣沒把握住，但這次我們看到新的絕佳機會。」
在10月29日由Arm舉辦的「Arm Tech Symposia 2024」論壇上，AI從雲端到邊緣的整合屢次被提及，前Google台灣董事總經理簡立峰強調，這一次，小語言模型與邊緣運算會是台灣產業能把握的機會。
今年9月，蘋果推出首款內建AI手機，加上近期IOS18.1上線、宣告Apple Intelligence時代來臨，也讓邊緣AI（Edge AI）發展受到矚目，這也代表適合在終端設備運算的小語言模型將是新一波開發重點，其中就藏有台灣可以發展的潛力。
邊緣運算＋推理能力，AI突破人類極限
「小模型只要增加一點點邏輯推理，就不得了！」簡立峰認為，進步的推理能力讓邊緣AI出現新的可能性，可能加速AI代理（AI Agent）的進程。其中，值得關注的是AI的閱讀能力，當AI擁有理解能力，就能自主學習，「不是training（訓練），是reading（閱讀），training是改變參數，但reading只是給AI小抄而已。」
簡立峰表示，自2000年以來，AI各種能力已經突破人類極限。以百萬本藏書的圖書館來說，AI能一次運算的數據量，大約等於100座圖書館的藏書量。因此，只要資料足夠，AI就能做到很多人類做不到的事情。
只不過多數民眾仍不熟悉AI的應用，簡立峰認為，AI的發展還是要讓民眾「有感」。他舉例，台灣新聞台於美國總統候選人辯論會時，在直播利用chrome瀏覽器即時翻譯，展現AI語音辨識加翻譯的功能，「應用其實已經在我們生活裡頭，若把應用轉化為商機，那商機也已經出現了。」
小模型崛起 台灣開發者如何掌握先機？
簡立峰口中的「商機」，特別體現在邊緣AI與AI機器人領域，包含AI PC、AI手機和物聯網。過去在行動世代，可以說是台灣科技發展較為失落的階段，雖然硬體掛帥，但在軟體、軟硬整合卻沒有優勢。
但是這一次， 適合在終端設備運算的小語言模型將是新一波開發重點。 簡立峰說明，模型縮小能夠降低成本，若是效能還能提高，將會達到「甜蜜點」，目前Meta新推出的LLaMA模型雖然成本低，效能尚未達到標準，未來仍有進步空間。
除了降低資金成本、維護資料安全、能夠線下運作與整合互聯網之外，簡立峰還指出邊緣AI其他優點：
邊緣AI優勢
- 分散運算和能源成本：不需要全程仰賴大型雲端模型，降低運算成本
- 小模型易發展：小型模型更快速訓練
- 開發者門檻下降：AI用伺服器昂貴，並非所有開發者能負擔，運算規模較小的邊緣AI能降低開發者投入AI的門檻
- 模型任務化：也就是專業化的語言模型，更貼近不同適用情境
- 生態系形成：讓軟體、硬體商有合作動機
而當一個模型規模縮小，怎麼優化到最好？
簡立峰認為這是台灣科學家擅長之事，他並給予一項核心建議：不要被任何一個雲端公司的模型綁住，「模型要夠靈活，讓它能一直變換。」
簡立峰更提出其他縮小模型的方法：
小模型建構方法
- Quantization（量化）：將數據轉換為精確度較低，降低資料大小並提高速度
- Pruning（修枝）：從神經網絡中刪除不必要的神經元，精簡結構
- Knowledge Distillation（知識蒸餾）：訓練較小的模型，以模仿較大模型的效果，優化效率
- LoRA：透過類似微軟的LoRA技術，在既有模型結構上進行微調，使用更少的參數維持性能
簡立峰最後強調，台灣AI技術的發展潛力巨大，尤其是在與PC和手機產業的整合。未來從學生學習到老年人照護，AI的推理能力和邊緣計算的應用將成為關鍵。
他也說，隨著硬體性能的提升和模型縮小技術的進步，「台灣在AI領域的競爭力將持續增強。」
責任編輯：李先泰
