AI Agent過譽了?16款LLM代理功能大PK:GPT-5達成率43%卻奪冠,為何複雜任務AI搞不定?
AI Agent過譽了?16款LLM代理功能大PK:GPT-5達成率43%卻奪冠,為何複雜任務AI搞不定?

重點一:MCP-Universe基準測試顯示,現有大型語言模型(如GPT-5)在真實企業環境下的成功率僅約四成,遠低於市場宣傳。

重點二:模型雖能遵循格式規範,但在處理動態資料、多步推理及不熟悉工具時,表現大幅下滑,暴露出多重脆弱性。

重點三:框架選擇與工具組合對AI代理效能有實質影響,僅靠提升模型規模無法解決可靠性問題。

目前市面上的各式AI代理,真的如各家AI大廠說的這麼神,甚至可以取代初階白領工作?近期的研究結果,恐怕為AI代理的任務成功率打了一個大問號。

由Salesforce AI Research主導開發的MCP-Universe基準測試,首次以連接真實伺服器、涵蓋導航、金融分析、3D設計等六大領域、共231項任務,全面檢驗16款大型語言模型(LLM)在企業應用的實戰表現,從最新的GPT-5到DeepSeek-V3都在測試之列。

測試結果顯示, 即使是最先進的 LLM(如 GPT-5、Grok-4、Claude-4.0-Sonnet),在 MCP-Universe 的真實任務中成功率僅 43.72%、33.33%、29.44% ,顯示現有模型在長上下文、多工具、跨領域等挑戰下表現有限,而其他多數模型成功率低於 20%。

以最新推出的GPT-5為例,雖在金融分析領域完成率達67.5%,在3D設計任務也超過五成(52.63%),但在導航(33.3%)與瀏覽器自動化(35.9%)等複雜多步驟任務上,失敗率反而居高不下,與宣傳中的「全能」形象形成鮮明對比。

而在特定測試項目上,Grok-4 在瀏覽器自動化(41.03%)與網頁搜尋(41.82%)具競爭力。Claude 4.0 Sonnet 則在金融(55%)表現突出;表現最佳的開源模型則為GLM-4.5(由中國AI新創Z.ai開發),任務成功率達24.68%,但與頂級商用模型仍有明顯差距。

若以效率來看,o3 完成成功任務的平均步數最少(AS 4.82),顯示較高行動效率;但整體成功率不及 GPT-5、Grok-4。

16款代理AI大PK
測試結果顯示,即使是最先進的 LLM(如 GPT-5、Grok-4、Claude-4.0-Sonnet),在 MCP-Universe 的真實任務中成功率僅 43.72%、33.33%、29.44%。
圖/ 數位時代編輯部

註1 :以上數據皆取自論文表格(Table 3、Table 4)。
註2 :AE 為平均評估器得分(Average Evaluator score),可理解成 AI 完成任務時,答對了多少要求的平均分數。分數越高,代表 AI 不只答對大方向,連細節也做得好;AS 則為成功任務的平均步數,原則上越低代表效率越高。
註3 :對於一款優秀 AI 的理想狀況是:AS 低的同時 SR 和 AE 都高,才是又快又準的好 AI。

代理AI能力仍有限,4大瓶頸有哪些?

MCP-Universe 的評測不再讓 AI 自評,而是以「執行結果」為唯一標準,分別設有格式、靜態資料、動態資料三類評估。多數模型在格式規範上表現優異,亦即 AI 必須按照題目或系統要求,輸出特定的格式、欄位、順序或資料型態。

例如,Anthropic 的 Claude-4.0 Sonnet 在格式規範的合規率接近 98%,但一旦面對需要「查詢即時股價」、「路線規劃」等動態資訊,成功率即跌至四至六成。

GPT-5 在動態任務中的表現雖領先同儕,成功率仍僅 65.9%,也就是每三次就有一次失敗。模型在多步推理、長上下文維持、與不熟悉工具互動時常出現執行錯誤。例如,在 Yahoo Finance 伺服器查詢股價時,模型經常將應填兩個不同日期的欄位填成同一天,導致任務失敗。

總結來說,AI 代理在真實應用場景下的可靠性,主要受到以下幾個關鍵瓶頸限制:

一、長上下文挑戰
隨著任務步驟增加,AI 需要記住和處理的資訊量(token 數)急速膨脹,容易導致資訊遺失、上下文溢出,進而影響推理與決策品質。

二、工具不熟悉
AI 代理常常不熟悉 MCP 伺服器或外部工具的參數、使用方式與回傳格式,容易出現操作錯誤或無法正確完成任務。

三、跨域適應困難
當任務橫跨多個領域(如地圖、財務、程式碼等),AI 代理難以靈活切換規則與知識,導致表現不穩定或失誤率上升。

四、格式與內容雙重要求
雖然多數模型能遵守格式規範,但在內容正確性(如資料查詢、推理結果)上仍有明顯落差,這也影響了可靠性。

代理AI落地仍是未竟之志

報告同時揭示,AI 代理(Agent)所採用的架構與工具組合對效能有明顯影響。例如,ReAct(由 Meta 開發的前端 JavaScript 框架)框架在多數情境下優於 Cursor Agent,僅在瀏覽器自動化等少數場景例外。而 OpenAI 自家 Agent SDK 在金融、設計領域的表現也優於通用框架。

更值得注意的是,當任務中加入無關伺服器、增加工具雜訊後,模型成功率會大幅下滑,凸顯現有 AI 在「工具協作」與「抗干擾」能力的不足。

整體而言,MCP-Universe 基準測試證實,現有大型語言模型雖在一般任務表現優異,但在真實多工具、多領域環境下仍有明顯不足。未來模型需加強四大瓶頸,才能真正落地於企業與產業場景。

>延伸閱讀:「誰說不玩了?」宏達電靠AI眼鏡拔4根漲停,VIVE Eagle如何迎戰Meta、Google?

資料來源:Salesforce AI Researchdigitalinformationworld

本文初稿為 AI 編撰,整理.編輯/ 李先泰

往下滑看下一篇文章
從缺工到食安:古吉系統科技如何推動餐飲業數位化的下一波浪潮?
從缺工到食安:古吉系統科技如何推動餐飲業數位化的下一波浪潮?

Computex 2026 圓滿落幕,除了 AI 與機器人應用之外,服務業數位化也成為展場上的另一項焦點。其中,自助服務設備品牌古吉系統科技展出的多款新品,以「雙機整合」概念吸引不少參觀者目光。無論是雙面自助點餐機、POS 與自助點餐二合一雙系統機,或桌上型 1 托 2 點餐機,皆為台灣首創、自主研發的創新設計,不僅展現古吉深厚的產品研發與系統整合能力,放眼國際市場也具有高度差異化。

古吉系統科技總經理吳三奇表示,古吉長期聚焦於如何用更高效率、更低成本的方式協助業者解決營運痛點,希望透過持續創新,滿足不同場域與業態的需求,進一步推動服務業數位轉型。

#3 從缺工到食安:古吉系統如何推動餐飲業數位化的下一波浪潮?
圖/ 數位時代

從連鎖品牌走向街邊小店,自助設備迎來新一波普及潮

事實上,相較於連鎖餐廳、速食店或手搖飲品牌,自助設備在傳統市場、市集攤販、街邊小吃等中式餐飲場域的普及率一直不高。古吉系統科技總經理吳三奇分析,背後原因主要來自資訊落差、經營習慣與成本考量三大因素。

不過,隨著食藥署修正《食品良好衛生規範準則》,明定餐飲從業人員在調理即食食品時,手部不得接觸現金,這樣的市場現況正逐漸出現改變。關鍵在於,傳統餐飲業者的人力本就有限,「老闆一人負責點餐、備餐兼找零」的作業模式已成常態,即便有意增聘人力,也往往受限於缺工問題而不易實現。

在此背景下,自助點餐機/售票機、自助付款機等自助設備成了最佳解答。吳三奇形容,業者導入自助設備就像多聘請一位櫃檯人員,不僅能協助處理點餐、收款等重複性工作,符合法規要求及降低第一線人力負擔,也能減少找錯錢、收到假鈔,以及尖峰時段來不及應對顧客需求等問題,讓業者能將更多心力投入餐點製作與服務品質提升。

從早餐店到主題樂園,自助設備如何解決不同產業的營運痛點?

而從古吉服務的客戶案例來看,自助設備所解決的問題,不只是作業效率而已,而是涵蓋人流分散、收款管理與消費體驗等不同面向,且應用場景橫跨餐飲業、觀光休閒等各種服務場域。

像連鎖早餐品牌晨間廚房便透過自助設備解決尖峰時段的人流問題。由於早午餐產業的顧客高度集中在特定尖峰時段,且普遍不願久候,因此,點餐與出餐效率往往直接影響門市營運表現。為此,晨間廚房在原有的 POS 與手機點餐系統外,再導入古吉自助點餐機進行分流顧客,不僅提供更多元的點餐選擇,也有效降低櫃檯壓力並提升整體點餐與出餐效率。

而手搖飲品牌茶之魔手則透過自助收款設備改善門市收銀流程,其將自助收款機整合既有 POS 系統,店員只需負責點餐即可,由消費者自行完成付款流程,不僅減少收款、找零所耗費的時間,也能降低錯誤風險,進而快速消化排隊人流。

值得注意的是,自助設備的應用也早已跨出餐飲產業。例如主題樂園遠雄海洋公園便導入自動售票機並整合園區消費系統,遊客在購票的同時,還可取得折價卷,折抵在園區內的消費,不僅降低售票窗口的人力需求,也讓遊客從購票到入園的流程更加順暢。

#1 從缺工到食安:古吉系統如何推動餐飲業數位化的下一波浪潮?
圖/ 數位時代

從店家痛點出發,打造跨產業的一站式解決方案

從餐飲到觀光,不同產業面臨的營運挑戰雖然各不相同,卻都能在古吉的解決方案中找到對應答案,關鍵在於,古吉從市場需求角度出發,建立起涵蓋點餐、收款、叫號、廚房作業及營運管理的一站式解決方案,並透過多元產品組合滿足不同場域需求。

吳三奇進一步說明,古吉系統科技早在 2014 年便投入研發自助點餐系統,長期與第一線店家合作的過程中,發現許多業者面臨相似的經營難題,例如:人力不足、店面空間有限等。因此,古吉的產品開發始終圍繞著「省空間、更有效率、降低成本」三大目標,希望透過科技協助店家減輕人力負擔,同時優化營運流程。

正因如此,古吉系統科技不斷研發新產品,目前市場上多數品牌僅能提供 3 至 5 種機型,古吉卻已發展出 12 至 15 種不同尺寸與安裝形式的設備,讓業者能依照自身業態與空間條件選擇最適合的配置。

這樣的研發思維,也體現在古吉 2026 年推出的多款新產品上。例如:雙面自助點餐機採用兩個螢幕共用一台主機的設計,可同時服務兩位顧客;桌上型 1 托 2 點餐機則讓兩台點餐機共用一台付款設備,在有限空間中提升服務量能;而 POS 與自助點餐二合一雙系統機,則兼具店員服務與顧客自助操作兩種模式,可依現場需求靈活調整,無論是店員點餐、顧客自助結帳,或由顧客自行完成點餐與付款,都能有效提升整體營運效率。

「我們不是為了追求產品數量而開發新產品,而是從店家真正遇到的問題出發。」吳三奇表示,正因為持續思考如何解決店家在人力與空間上的限制,古吉才能持續創新產品,並成為台灣商家導入數量最高的自助點餐機品牌。

展望未來,吳三奇認為,隨著食安規範逐步落實,加上缺工問題短期內難以緩解,自助設備在服務業中的角色也將持續轉變,從過去提升效率的選配工具,逐漸成為維持營運、兼顧合規與優化顧客體驗的基本配備,並進一步推動餐飲業展開新一波數位轉型。

#0 從缺工到食安:古吉系統如何推動餐飲業數位化的下一波浪潮?
圖/ 數位時代

面對市場需求持續升溫,古吉系統科技也將持續投入產品創新,包括導入 AI 應用、縮減設備體積,以及開發更多符合不同場域需求的解決方案。同時,古吉也正積極布局日本、香港、越南等海外市場,希望將台灣自主研發的自助服務技術推向國際,讓更多企業透過科技提升營運效率與服務品質。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
代理式商務連動百兆商機
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓