問一次ChatGPT,比網路搜尋多花10倍資源!生成式AI能耗大,高通揭2大突破關鍵
問一次ChatGPT,比網路搜尋多花10倍資源!生成式AI能耗大,高通揭2大突破關鍵

作為微軟首波「Copilot+ PC」的處理器供應商、先前並豪言喊出「PC正在重生!」,過往以「通訊晶片龍頭」為人所知的IC設計大廠高通(Qualcomm),在近年的AI浪潮下倍受矚目。

高通副總裁暨台灣、東南亞與紐澳區總裁劉思泰於《2024 AI TAIWAN未來商務展》,以「智慧運算X邊緣無限:驅動AI時代的創新」為題,分享高通對於AI趨勢的觀察見解。

劉思泰在演說一開始提到,高通作為IC設計公司,在無線通訊是領先的專家,不過事實上高通自從10多年前,就開始針對AI大幅度的研究。

AI近來被視為帶動經濟發展的火車頭,劉思泰表示,據估計,整體AI產業(包括軟體、硬體的研發及服務等)每年將帶來2.6兆至4.4兆美元的經濟成長,約等於英國2021年的GDP,是非常龐大的市場。然而,在一片樂觀之外,大量的算力及能源耗費等問題,也浮上檯面。

生成式AI資源耗費大,「混合式AI」、「更小的LLM」成突破口

自網路普及的數十年以來,人們從習以為常的「Google一下」獲取解答,在近幾年生成式AI技術成熟後,越來越多人變成各種大小事都「去問ChatGPT」,並運用在工作上提升生產力。不過,在生成式AI所帶來的便利背後,代價是比過去高上許多倍的能源消耗。

「每次生成式AI的詢問(inquiry)、推論(inference),所需的資源是一般上網搜尋的10倍!」劉思泰舉例,不論是和ChatGPT問答、美化照片、輔助程式設計等各項生成式AI功能加起來,再乘上全世界的人口,所需要的運算資源以及電力耗費是十分可觀。

FC 高通 cost per inference.jpg
每用一次生成式AI的詢問、推論,所需的資源是上網搜尋的10倍,所需要的運算資源及電力耗費十分可觀
圖/ 孫嘉君攝影

業界也越發認知到,不可能將所有的AI訓練及推論,都放在雲端執行,而是需要 雲端運算及終端裝置運算結合的「混合式AI」(Hybrid AI) 。劉思泰解釋,即是把一部分的AI功能,主要是推論,分散到筆電、智慧型手機、智慧車等各種裝置上,需要大量資料的模型訓練則在雲端處理。

他並提及,在終端裝置的設計上,要考量各種不同的技術,包括高內存的記憶體、低耗電的網路,以及續航力及散熱,都需達到消費者能接受的程度。

另一方面,生成式AI核心的「大型語言模型」(Large Language Model,LLM),也開始有了典範轉移,並非參數越多越好,更少參數的「小型」大語言模型(LLM),能力變得更強,也更適合部署在裝置上。

FC 高通 大語言模型.jpeg
智慧型手機、筆電、汽車等不同裝置,適合不同參數數量的大型語言模型。
圖/ 2024 AI TAIWAN未來商務展

劉思泰指出,例如80億個參數的Llama3模型,能力已和擁有1750億個參數的GPT-3.5Turbo在伯仲之間。規模更小的大語言模型,在裝置端更容易運行,也成為生成式AI能在裝置端落地的重要突破方向。

延伸閱讀:他的智慧販賣機打進台積電!搶食70億販賣機商機,滙聚智能、亞尼克揭創利方程式

責任編輯:林美欣

往下滑看下一篇文章
以AI驅動智慧轉型  中華電信打造產業升級新引擎
以AI驅動智慧轉型 中華電信打造產業升級新引擎

人工智慧技術正在加速企業的進化。中華電信早在2016年就制定了AI策略,不僅用來優化自身營運,還透過「內服外推」的策略,將實戰經驗轉化為產品與服務,例如智慧客服、法遵審閱和跨國語譯等,幫助企業在AI 2.0時代掌握人機協作的優勢,發揮AI的最大綜效。

從辨別式到生成式AI技術 驅動人機協作新紀元

2016年,AlphaGo的出現象徵著辨別式AI技術的成熟。人工智慧不僅能「看懂」、「讀懂」,甚至能「聽懂」人類的語言與行為,讓語音辨識、影像分析、文字理解等應用進入金融、製造、醫療與安防等產業。例如,金融業利用辨別式AI優化信用評估、詐欺偵測與風險管理;醫療業提升診斷疾病的能力;製造業用於品質檢測與預測性維修;安防業則透過人臉辨識與行為分析提升安全性。

隨著生成式AI與大型語言模型(LLM)的迅速發展,AI 2.0時代隨之而來。現在,不僅文本、圖像、影片、聲音、程式、數據與物件可以自動生成,還催生了代理式AI的出現。中華電信研究院院長蘇添財表示:「從辨別式AI、生成式AI到代理AI,人工智慧不僅具備成熟的數據分析、影像識別、語音合成能力,還具備語意理解能力,更重要的是,正朝著認知智慧邁進,能理解、思考、學習以及創新,開啟了人機協作的無限可能。」

然而,相較於個人使用者對生成式AI的積極採用,企業在導入AI方面仍較為謹慎。多數企業會從相對明確、風險可控的場景開始,例如客服自動化、智慧助理、文件摘要、行銷內容生成、知識庫查詢等,逐步評估資料安全、法遵框架與投資報酬率。

中華電信
中華電信研究院院長蘇添財
圖/ 數位時代

蘇添財指出:「AI導入不僅是IT專案,更是組織文化與營運流程的變革工程。」他提醒企業,若要真正發揮AI的效益,除了精準找出業務痛點、決定AI應用範疇,還需積極參與導入過程,並確保AI應用服務上線後,員工願意且滿意使用,才能發揮商業價值。

蘇添財進一步引用BCG《AI Radar Survey》指出,高達86%的企業相信人類與AI的協作將是未來的主流。協作模式多樣,有些企業讓AI成為決策輔助者,人類仍握有關鍵監督權;也有企業建構AI代理人(AI Agent)主動處理流程,只在例外情況轉交人工審核。「這些模式的共通點是,AI不再只是支援系統,而是決策與執行流程的共同參與者。」

「內服外推」策略 推動AI應用落地

身處AI變革的關鍵時刻,中華電信一方面在內部導入AI以優化營運效率、推動流程自動化,另一方面將實戰經驗轉化為產品與服務,協助客戶加速數位轉型。目標是透過「內服外推」的雙軌策略,加速AI落地,讓AI創造具體可見且有感的商業價值。

中華電信早在2016年就開始規劃與建構AI賦能的智慧客服、智慧聲控、智慧分析、智慧安防、語音助理與新興應用,並陸續推出20多個AI應用服務,例如IVR語音導航、MOD聲控助理、電信大數據分析、智慧交通、科技執法、AI總機等,並獲得市場的廣泛好評。

以智慧客服為例,中華電信透過語音辨識、語音合成、語意理解、多輪對話、知識管理、語音核證、對話分析等核心技術,開發出文字機器人、語音機器人、外撥機器人、值機應答助理、客戶心聲分析、訂位助理、掛號助理與智慧總機等服務,協助公部門、餐飲、旅遊、電商、製造、金融、醫療、物流等超過30家客戶優化客服效率與體驗。

蘇添財表示:「2016到2022年間,我們的重點不僅是打造AI應用服務,更是透過持續的實務應用與實戰經驗,全面提升『人才』、『平台』、『技術』與『資料』等方面的能力,例如員工對語音合成、影像辨識、自然語言處理(NLP)與數據分析的掌握度,為未來做好準備。」

隨著生成式AI的出現,中華電信也從AI 1.0(辨別式AI)階段邁向AI 2.0(生成式AI)階段,不僅鎖定智慧客服、智慧法律、新興應用、元宇宙、防詐資安、Copilot等六個領域,推出生成式AI賦能的產品服務,例如台灣第一個代筆遺囑生成服務、跨國即時語譯與仿聲服務等。此外,中華電信也將AI技術導入電信網路,研發智慧維運助理、自治網路、網路數位分身等服務,提升網路品質並降低維運成本。在客服領域,透過自然語言處理結合客服知識庫,能在5秒內提供一線客服人員所需的精準答案與參考資料,協助即時解決客訴問題,減少10%的客戶等待時間。同時,推出AI企業年報審閱服務,審閱人員只需匯入公司年報與相關法條,即可完成AI年報審閱工作,節省超過80%的人工作業時間,法規審閱精準度超過95%。

展望未來,中華電信將持續以「內服外推」的雙軌策略優化AI產品與服務,成為企業AI轉型的最佳夥伴。蘇添財表示,將因應AI技術的發展,深化在體現智慧(Embodied Intelligence)、多模態AI(Multimodal AI)、領域化模型(Domain-Specific Models)、可解釋AI(Explainable AI)、空間智慧(Spatial Intelligence)、人型機器人(Humanoid Robotics)、AI擴增開發(AI-Augmented Development)等領域的能力,目標是提供在地客製、可控可信的智慧應用,滿足各領域與產業的需求,攜手夥伴與客戶共同將想像轉化為價值,共建智慧新未來。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
蘋果能再次偉大?
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓