作為微軟首波「Copilot+ PC」的處理器供應商、先前並豪言喊出「PC正在重生！」，過往以「通訊晶片龍頭」為人所知的IC設計大廠高通（Qualcomm），在近年的AI浪潮下倍受矚目。
高通副總裁暨台灣、東南亞與紐澳區總裁劉思泰於《2024 AI TAIWAN未來商務展》，以「智慧運算Ｘ邊緣無限：驅動AI時代的創新」為題，分享高通對於AI趨勢的觀察見解。
劉思泰在演說一開始提到，高通作為IC設計公司，在無線通訊是領先的專家，不過事實上高通自從10多年前，就開始針對AI大幅度的研究。
AI近來被視為帶動經濟發展的火車頭，劉思泰表示，據估計，整體AI產業（包括軟體、硬體的研發及服務等）每年將帶來2.6兆至4.4兆美元的經濟成長，約等於英國2021年的GDP，是非常龐大的市場。然而，在一片樂觀之外，大量的算力及能源耗費等問題，也浮上檯面。
生成式AI資源耗費大，「混合式AI」、「更小的LLM」成突破口
自網路普及的數十年以來，人們從習以為常的「Google一下」獲取解答，在近幾年生成式AI技術成熟後，越來越多人變成各種大小事都「去問ChatGPT」，並運用在工作上提升生產力。不過，在生成式AI所帶來的便利背後，代價是比過去高上許多倍的能源消耗。
「每次生成式AI的詢問（inquiry）、推論（inference），所需的資源是一般上網搜尋的10倍！」劉思泰舉例，不論是和ChatGPT問答、美化照片、輔助程式設計等各項生成式AI功能加起來，再乘上全世界的人口，所需要的運算資源以及電力耗費是十分可觀。
業界也越發認知到，不可能將所有的AI訓練及推論，都放在雲端執行，而是需要 雲端運算及終端裝置運算結合的「混合式AI」（Hybrid AI） 。劉思泰解釋，即是把一部分的AI功能，主要是推論，分散到筆電、智慧型手機、智慧車等各種裝置上，需要大量資料的模型訓練則在雲端處理。
他並提及，在終端裝置的設計上，要考量各種不同的技術，包括高內存的記憶體、低耗電的網路，以及續航力及散熱，都需達到消費者能接受的程度。
另一方面，生成式AI核心的「大型語言模型」（Large Language Model，LLM），也開始有了典範轉移，並非參數越多越好，更少參數的「小型」大語言模型（LLM），能力變得更強，也更適合部署在裝置上。
劉思泰指出，例如80億個參數的Llama3模型，能力已和擁有1750億個參數的GPT-3.5Turbo在伯仲之間。規模更小的大語言模型，在裝置端更容易運行，也成為生成式AI能在裝置端落地的重要突破方向。
責任編輯：林美欣
