重點一：MCP-Universe基準測試顯示，現有大型語言模型（如GPT-5）在真實企業環境下的成功率僅約四成，遠低於市場宣傳。
重點二：模型雖能遵循格式規範，但在處理動態資料、多步推理及不熟悉工具時，表現大幅下滑，暴露出多重脆弱性。
重點三：框架選擇與工具組合對AI代理效能有實質影響，僅靠提升模型規模無法解決可靠性問題。
目前市面上的各式AI代理，真的如各家AI大廠說的這麼神，甚至可以取代初階白領工作？近期的研究結果，恐怕為AI代理的任務成功率打了一個大問號。
由Salesforce AI Research主導開發的MCP-Universe基準測試，首次以連接真實伺服器、涵蓋導航、金融分析、3D設計等六大領域、共231項任務，全面檢驗16款大型語言模型（LLM）在企業應用的實戰表現，從最新的GPT-5到DeepSeek-V3都在測試之列。
測試結果顯示， 即使是最先進的 LLM（如 GPT-5、Grok-4、Claude-4.0-Sonnet），在 MCP-Universe 的真實任務中成功率僅 43.72%、33.33%、29.44% ，顯示現有模型在長上下文、多工具、跨領域等挑戰下表現有限，而其他多數模型成功率低於 20%。
以最新推出的GPT-5為例，雖在金融分析領域完成率達67.5%，在3D設計任務也超過五成（52.63%），但在導航（33.3%）與瀏覽器自動化（35.9%）等複雜多步驟任務上，失敗率反而居高不下，與宣傳中的「全能」形象形成鮮明對比。
而在特定測試項目上，Grok-4 在瀏覽器自動化（41.03%）與網頁搜尋（41.82%）具競爭力。Claude 4.0 Sonnet 則在金融（55%）表現突出；表現最佳的開源模型則為GLM-4.5（由中國AI新創Z.ai開發），任務成功率達24.68%，但與頂級商用模型仍有明顯差距。
若以效率來看，o3 完成成功任務的平均步數最少（AS 4.82），顯示較高行動效率；但整體成功率不及 GPT-5、Grok-4。
註1 ：以上數據皆取自論文表格（Table 3、Table 4）。
註2 ：AE 為平均評估器得分（Average Evaluator score），可理解成 AI 完成任務時，答對了多少要求的平均分數。分數越高，代表 AI 不只答對大方向，連細節也做得好；AS 則為成功任務的平均步數，原則上越低代表效率越高。
註3 ：對於一款優秀 AI 的理想狀況是：AS 低的同時 SR 和 AE 都高，才是又快又準的好 AI。
代理AI能力仍有限，4大瓶頸有哪些？
MCP-Universe 的評測不再讓 AI 自評，而是以「執行結果」為唯一標準，分別設有格式、靜態資料、動態資料三類評估。多數模型在格式規範上表現優異，亦即 AI 必須按照題目或系統要求，輸出特定的格式、欄位、順序或資料型態。
例如，Anthropic 的 Claude-4.0 Sonnet 在格式規範的合規率接近 98%，但一旦面對需要「查詢即時股價」、「路線規劃」等動態資訊，成功率即跌至四至六成。
GPT-5 在動態任務中的表現雖領先同儕，成功率仍僅 65.9%，也就是每三次就有一次失敗。模型在多步推理、長上下文維持、與不熟悉工具互動時常出現執行錯誤。例如，在 Yahoo Finance 伺服器查詢股價時，模型經常將應填兩個不同日期的欄位填成同一天，導致任務失敗。
總結來說，AI 代理在真實應用場景下的可靠性，主要受到以下幾個關鍵瓶頸限制：
一、長上下文挑戰
隨著任務步驟增加，AI 需要記住和處理的資訊量（token 數）急速膨脹，容易導致資訊遺失、上下文溢出，進而影響推理與決策品質。
二、工具不熟悉
AI 代理常常不熟悉 MCP 伺服器或外部工具的參數、使用方式與回傳格式，容易出現操作錯誤或無法正確完成任務。
三、跨域適應困難
當任務橫跨多個領域（如地圖、財務、程式碼等），AI 代理難以靈活切換規則與知識，導致表現不穩定或失誤率上升。
四、格式與內容雙重要求
雖然多數模型能遵守格式規範，但在內容正確性（如資料查詢、推理結果）上仍有明顯落差，這也影響了可靠性。
代理AI落地仍是未竟之志
報告同時揭示，AI 代理（Agent）所採用的架構與工具組合對效能有明顯影響。例如，ReAct（由 Meta 開發的前端 JavaScript 框架）框架在多數情境下優於 Cursor Agent，僅在瀏覽器自動化等少數場景例外。而 OpenAI 自家 Agent SDK 在金融、設計領域的表現也優於通用框架。
更值得注意的是，當任務中加入無關伺服器、增加工具雜訊後，模型成功率會大幅下滑，凸顯現有 AI 在「工具協作」與「抗干擾」能力的不足。
整體而言，MCP-Universe 基準測試證實，現有大型語言模型雖在一般任務表現優異，但在真實多工具、多領域環境下仍有明顯不足。未來模型需加強四大瓶頸，才能真正落地於企業與產業場景。
＞延伸閱讀：「誰說不玩了？」宏達電靠AI眼鏡拔4根漲停，VIVE Eagle如何迎戰Meta、Google？
資料來源：Salesforce AI Research、digitalinformationworld
本文初稿為 AI 編撰，整理．編輯/ 李先泰
