作為微軟首波「Copilot+ PC」的處理器供應商、先前並豪言喊出「PC正在重生!」,過往以「通訊晶片龍頭」為人所知的IC設計大廠高通(Qualcomm),在近年的AI浪潮下倍受矚目。
高通副總裁暨台灣、東南亞與紐澳區總裁劉思泰於《2024 AI TAIWAN未來商務展》,以「智慧運算X邊緣無限:驅動AI時代的創新」為題,分享高通對於AI趨勢的觀察見解。
劉思泰在演說一開始提到,高通作為IC設計公司,在無線通訊是領先的專家,不過事實上高通自從10多年前,就開始針對AI大幅度的研究。
AI近來被視為帶動經濟發展的火車頭,劉思泰表示,據估計,整體AI產業(包括軟體、硬體的研發及服務等)每年將帶來2.6兆至4.4兆美元的經濟成長,約等於英國2021年的GDP,是非常龐大的市場。然而,在一片樂觀之外,大量的算力及能源耗費等問題,也浮上檯面。
生成式AI資源耗費大,「混合式AI」、「更小的LLM」成突破口
自網路普及的數十年以來,人們從習以為常的「Google一下」獲取解答,在近幾年生成式AI技術成熟後,越來越多人變成各種大小事都「去問ChatGPT」,並運用在工作上提升生產力。不過,在生成式AI所帶來的便利背後,代價是比過去高上許多倍的能源消耗。
「每次生成式AI的詢問(inquiry)、推論(inference),所需的資源是一般上網搜尋的10倍!」劉思泰舉例,不論是和ChatGPT問答、美化照片、輔助程式設計等各項生成式AI功能加起來,再乘上全世界的人口,所需要的運算資源以及電力耗費是十分可觀。
業界也越發認知到,不可能將所有的AI訓練及推論,都放在雲端執行,而是需要 雲端運算及終端裝置運算結合的「混合式AI」(Hybrid AI) 。劉思泰解釋,即是把一部分的AI功能,主要是推論,分散到筆電、智慧型手機、智慧車等各種裝置上,需要大量資料的模型訓練則在雲端處理。
他並提及,在終端裝置的設計上,要考量各種不同的技術,包括高內存的記憶體、低耗電的網路,以及續航力及散熱,都需達到消費者能接受的程度。
另一方面,生成式AI核心的「大型語言模型」(Large Language Model,LLM),也開始有了典範轉移,並非參數越多越好,更少參數的「小型」大語言模型(LLM),能力變得更強,也更適合部署在裝置上。
劉思泰指出,例如80億個參數的Llama3模型,能力已和擁有1750億個參數的GPT-3.5Turbo在伯仲之間。規模更小的大語言模型,在裝置端更容易運行,也成為生成式AI能在裝置端落地的重要突破方向。
責任編輯:林美欣