生成式AI帶動大型語言模型（LLM）迅猛發展，在資料訓練之後，未來在邊緣裝置執行AI推論的相關任務需求會帶動更多新應用。邊緣AI裝置的增長，主要來自生成式AI從雲端延伸至邊緣端的需求，其中首波大規模商轉的邊緣裝置就是AI手機與AI PC這2大類產品。
在2023年之前，已有手機的應用處理器（AP）晶片業者，嘗試在AI手機的應用處理器內導入類神經處理器（NPU）的處理架構。NPU與傳統的CPU和GPU不同，它以低能耗和低成本為特點，專門處理神經網路模型，這些模型通常會模仿人腦系統，用於執行各種AI運算任務。
ChatGPT讓生成式AI一炮而紅，並助推邊緣AI晶片在手機裡的地位上升，讓AI PC和AI手機在不影響系統既有功能下，額外執行生成式AI的推論功能。近期許多手機和PC業者已發表能離線執行AI服務的硬體專用平台，藉由PC的CPU與手機AP內整合NPU，來持續提升整體運算效能，並搭配生成式AI模型訓練與推論等技術優化，提供更好的使用體驗。
邊緣運算模型是基於簡單概念：使某些應用程式所需的運算更接近最終端用戶，不需將資料傳送到雲端（公有雲也可能有隱私外洩的疑慮），因此可減少網路流量。以此衍生出的資通訊端應用產品、終端大數據生成／使用者等方面的需求日益龐大。而邊緣端執行AI相對於雲端AI，具有低延遲、高隱私、可離線、省頻寬、節省傳輸成本等優點。
邊緣AI和雲端AI的技術，在運算力、記憶體方面的需求迥然不同。雲端資料中心需求的算力和記憶體最大；邊緣伺服器、AI PC、AI Box兩者皆為中等；邊緣端（終端）裝置，如AI手機等，需求算力和記憶體較少。
全球AI晶片的發展，除了GPU加速器，還包括許多廠商自研的ASIC加速器晶片，呈現群雄並起。戰火也擴及AI晶片的上下游，包括先進製程、先進封裝等產業鏈，以及各種AI軟硬體的系統整合業者。2024年全年AI晶片市場出貨將呈現翻倍成長，其中資料中心對高階GPU的需求在2024年成長218％，ASIC加速器則成長178％，高頻寬記憶體（HBM）的市場規模也擴增到139億美元。
未來隨著邊緣端，各家新型AI手機與AI PC推出，將會帶動晶片出貨量爆增，例如邊緣AI的語音終端可導入家電、穿戴裝置、車用中控、產業製造或相關智慧設備等。預計2024年全球AI終端（主要是AI手機）出貨規模將達2.6億顆，年成長率為293％；而AI PC出貨規模則將達5000萬顆，年成長率為79％；2023至2028年AI處理器的出貨年複合成長率更上看40％。
除了CPU和NPU規格升級，記憶體容量及頻寬也較前代提升下，在手機上運行大型語言模型成為可行，生成式AI功能成為手機業者行銷主軸。預期2023至2028年AI手機的AP處理器晶片，出貨年複合成長率將高達65％，帶動AI手機於智慧終端的市場滲透率，至2028年突破50％。
歐盟力拱6G，找輝達、三星助陣
邊緣AI於通訊應用方面，國際通訊組織（3GPP）已公開標準（R18）關於人工智慧的研究項目，將人工智慧／機器學習功能朝向通訊空中介面（Air Interface）和無線接取網路（Radio Access Network）的技術方向推進。
歐盟於去年積極推動6G人工智慧原生計畫，例如AI公司CENTRIC開發人工智慧空中介面（AI-Air Interface）、智慧網路服務公司ADROIT6G計畫致力發展分散式人工智慧驅動的開放式可程式架構，以及VERGE計畫推動開放和安全的邊緣AI架構。其中VERGE計畫成員有三星（Samsung）、英特爾（Intel）、易利信（Ericsson）、土耳其解決方案供應商Turkcell、西班牙邊緣運算解決方案供應商Nearby Computing等。
在3GPP和歐盟等組織對下世代通訊人工智慧的推動下，未來在6G網路的各層面，包含核心網路、無線接取網路、空中介面和邊緣設備等，各種系統單元都會蘊含人工智慧功能，6G網路會更充分利用網路節點的通訊、運算和感知能力，來實現完全自治和自動化的6G網路，帶動人工智慧晶片新的市場需求。輝達（NVIDIA）、英特爾和三星等大廠都已積極參與歐盟的多項6G人工智慧原生計畫。
6G網路系統單元也將帶動高度客製化的人工智慧晶片，以滿足各種運算需求。小晶片（Chiplet）將是6G人工智慧晶片的重要發展方向，這是透過異質整合將各類小晶片整合在一起，滿足6G基礎設施開發人員和終端用戶需求，降低AI晶片設計的複雜度和成本。
英特爾、台積電和三星都已經號召晶片設計、製造、封測、雲端和網路服務業者等，共同籌組通用小晶片互連產業聯盟（Universal Chiplet Interconnect Express，UCIe），來建立晶片到晶片（die-to-die）的互聯標準，促進開放式小晶片生態系統。
UCIe成立約1年半，已吸引超過120家聯盟成員，包含輝達、博通（Broadcom）和聯發科等，預期未來將有更多晶片廠商採用小晶片技術，推動6G人工智慧發展。
隨著人工智慧和算力需求增長，廠商單打獨鬥競爭力有限，因此衍生邊緣AI產業跨域合作趨勢。例如：邊緣語音AI業者正積極與各類微控制器廠商及AI晶片新創公司合作，共同協助優化語音AI運算能力，由微控制器廠商自研語音AI技術，周邊廠商共同提供套裝解決方案，共同推升軟硬整合。
跨域應用齊發，AI能辨哭聲、咳嗽聲
而未來邊緣端AI技術解決方案也愈來愈多元，預期將朝下列各式應用方向逐步演進：
一、朝向開發語言以外的人聲辨識技術，如哭聲、咳嗽聲；或是分析人聲情緒，例如：利用邊緣AI平台開發咳嗽偵測應用。語音AI業者亦拓展人聲以外的聲音辨別，如警車鳴笛、玻璃碎裂、槍聲等。
二、邊緣終端裝置，如穿戴裝置（耳機、手錶、AR/VR等）、智慧家電、玩具、語音喚醒裝置、語音辨識、智慧開關、智慧音響行動裝置以及產業用語音助理等。在車用語音助理方面，相較於觸控，語音助理較不易讓駕駛者分心、並且語音助理較能釋放駕駛人手動操控的繁瑣動作。
三、分散式邊緣AI整合應用於專業和運輸場域。專業場域的B5G（Beyond 5G）應用於智慧製造場域，大型跨國企業可運用延展實境（XR）的邊緣AI，讓散布在全球不同地點的工程人員，增強不同管理部門之間的知識傳遞和即時資料共享，進行產品設計、製作、驗證、測試等各個階段的合作。全球不同地點專家透過使用B5G XR工具進行協作時，對突發性問題提供即時回饋。
利用語音AI互動也讓作業員雙手可同時做其他更多事情。在醫療照護領域，透過語音AI互動可降低醫療接觸之風險，如「AI骨鬆X光篩檢」可利用AI模組分析影像，快速提供骨密度風險報告，並能連接醫院PACS系統，提高診斷精準度和速度；區域聯防AI遠距轉診平台可結合AI自動化流程和警示系統，快速傳遞重症緊急病患資訊。
而零售業方面應用像是自助結帳、自助點餐和自動物流等。其他還有多輪對話客服機器人，具有15種以上對話方式，辨識率達90％，並可降低70％人工負擔。邊緣智慧輔助運輸方面，由於自動駕駛電車必須配備多種感測器，例如光達（Light Detection and Ranging）、雷達（Radio Detection and Ranging）、可見光攝影機等，可提前數秒採取必要的行動避免意外事故以確保安全。
此外，透過城市環境收集的資訊，像是城市物聯網感測器和攝影機，可提供潛在盲點資訊，提升電車的態勢感知和韌性。
迎戰百家爭鳴，人才、法規配套要有
未來全球的邊緣運算市場將呈現多元分散的情境，而邊緣AI晶片的軟硬解決方案也將呈現百家爭鳴局面。台灣目前各界大規模導入AI還面臨一些阻礙，包括欠缺人才與技能、欠缺AI治理策略、整體建置與維運成本過高、安全性、以及政策法規考量等。企業可藉由員工在職訓練，啟動小型AI專案試驗再逐步導入核心業務。
在2024年之前的生成式AI著重在AI模型訓練，但未來大型語言模型更多進入邊緣終端裝置，帶動AI落地商機，尤其邊緣AI模型特具的安全性、隱私性和可信度等特別重要。未來須有一系列方法保護AI模型，以對抗人為惡意攻擊並提高可靠度，確保資料隱私。
責任編輯：蘇柔瑋
