觀點 | 專家也擋不住了?「人類最後測驗」被破解,AI正在進化成獨立代理人
觀點 | 專家也擋不住了?「人類最後測驗」被破解,AI正在進化成獨立代理人

自1956年人工智慧這個詞興起以來,研究者為何為人工智慧的試金石不斷地討論和更新。最近,「人類最後的測驗」(Humanity's Last Examination,HLE)競賽有了最新結果。在所有獨立基礎模型供應商中,Google DeepMind取得了最高分。

而不久後,Zoom透過「聯邦式架構」(federated approach)提升了成績,該方法整合了來自多個合作夥伴,包括OpenAI、Anthropic和Google的多個基礎模型,以產生更優異的結果。這清楚地預示了未來AI應用的演進方向。

什麼是「人類最後的測驗」?它是一項專門測試學術知識和推理能力的考試,其題目無法單靠原始記憶或網路搜尋來解決。

這項測驗由來自全球50多個國家、超過1,000名專家共同出題,於2025年1月正式推出。在審核測驗題目時,若該問題能透過網路搜尋找到答案,或已被現有的大型語言模型(LLM)破解,就會被剔除。其目標是挖掘出必須具備邏輯推理能力,且無法輕易透過搜尋引擎解決的難題。

此外,約14%的題目屬於多模態(multimodal),這代表AI必須理解圖表或影像才能作答。測試分為2種模式:

一、純模型模式: 不連接任何工具,單純依靠大型語言模型已有的知識。在此方法下,目前的最佳成績為37.5%。

二、外掛工具模式: 系統可使用網頁搜尋背景知識、生成程式碼並執行程式。在這種模式下,成績提升至45.8%。

這2項頂尖紀錄均由Gemini 3.5 Pro於2025年11月創下,隨後12月初,Zoom採用其聯邦式架構將分數推升至48.1%。

據估計,人類專家在各自領域的正確率可達95%。顯然,在各專業領域,AI仍不如人類專家,但進步趨勢驚人——2025年初測驗剛發布時,最高分還不到20%。

而且,若以涵蓋領域的廣度,不但沒有任何一個人可以在這項測試達到同樣的成績,即使組織一組專家團隊解題,也是一個耗費資源和時間的挑戰。如今,透過調度基礎模型的應用程式介面(API),一名獨立開發者就可能組織和領導一組AI的代理人。

這帶給我們第1個啟示:AI不再只是輔助人類執行任務的工具。 現在眾人熱議的「代理人」(Agents),正是指AI能像代理人一樣獨立承接並解決問題。它能自主調用工具,例如透過網路搜尋查找定義與知識,或撰寫並執行程式進行精確運算,而非僅僅依賴語言模型的機率預測。

AI代理人正對軟體產業產生巨大衝擊。去年,使用者習慣每月支付20美元使用聊天機器人;而2025年隨著AI代理人承擔了大部分的軟體開發任務,Anthropic Claude Code Max每月200美元的方案已在業界獲得極大回響,因為使用者實質感受到了生產力的躍升。

Claude Code
Anthropic旗下的AI編碼助手Claude Code。
圖/ Claude Code

精明調度,多模型勝過單一模型

第2個啟示:沒有任何一個基礎模型能永遠稱霸。 Zoom的聯邦式架構證明了:透過智慧化的任務編排(orchestration)與調度,並讓不同的AI代理人互相協作,可以達到更好的效果。

這對台灣尤其有參考價值。即使我們不一定能自行開發大規模的基礎模型,仍可透過聰明的調度策略,深入理解如何極大化各種模型的優勢,並結合我們在特定垂直領域(special domain)的專業知識,來優化AI模型的表現。

目前已有許多在特定任務中運用多模型的案例。例如最近的《紐約時報》播客《Hard Fork》提到,從FutureHouse拆分出來的美國公司Edison Scientific推出了名為Kosmos的AI代理人,旨在協助科學研究。使用者只須向系統描述研究問題,系統便會獨立進行約12小時的研究後回報結果。Kosmos定價高達每次提示(per prompt)200美元。公司CEO的估計是Kosmos可能達到一位科研人員3至6個月的研究成果。

若以此推算,投資200美元非常划算。像美國新創Sierra也是以調度多個基礎模型為基礎,提供代理人服務給客戶。它以新的商業模式、完成任務為指標來收費。這種以結果為準的收費模式,更好聯繫客戶及AI廠商的利益,比傳統by seat(座位制)或by API call(調用次數)更好傳達AI提供的價值。

關於HLE測驗的另一個反思是:既然AI快速達到多項里程碑(如在2024年獲得國際數學奧林匹亞銀牌後,隨即在隔年達到金牌水準),擁有一個足以挑戰AI數年之久的基準測試是件好事。但AI能力的持續飆升也對人類社會構成了挑戰。

2025年12月初,知名投資家馬克斯(Howard Marks)發表了一篇「AI是泡沫嗎?」的備忘錄。他全面總結了歷史事件(如2000年網際網路股市泡沫)及早期技術革新(如鐵路和無線電)在投資市場上的表現,並提出論點證明泡沫論的正反兩面皆有理據。他總結:「既然沒人能斷言這是否為泡沫,我建議大家不要孤注一擲,要意識到如果情況惡化,自己將面臨破產的風險。但同樣地,也不該孤注一擲,從而錯失重大的技術進步。採取適度的策略,並輔以選擇性和謹慎,似乎是最佳方案。」

令我感觸最深的是,他不只從金融投資者的角度擔心風險,更憂心AI對社會的潛在衝擊。從趨勢來看,AI導致的失業已成事實,例如Waymo在美國多個城市的自駕服務持續擴張;從軟體產業的招聘與裁員趨勢來看,初階開發職位的門檻已提高。

長期而言,我們樂觀相信社會將會適應,人們會透過學習與技能重塑(reskill)找到新機會。但在短期內,難以快速轉型的人將面臨困境。「AI給人類的考卷」是:我們該如何善用AI來極大化全人類的福祉,同時能有效控管其負面影響?

延伸閱讀:a16z年度資訊長大調查:大企業最愛用哪一家AI?這家狂追OpenAI,成最大黑馬

責任編輯:蘇柔瑋

往下滑看下一篇文章
AI Agent 時代來了!SUPER 8 Studio ORRA 如何讓企業快速招募、治理 AI 團隊?
AI Agent 時代來了!SUPER 8 Studio ORRA 如何讓企業快速招募、治理 AI 團隊?

隨著微軟、Google、AWS 等巨頭紛紛喊出「AI Agent將接管工作流程」,企業營運已正式宣告進入 AI 代理人時代。在可預見的未來,真人員工將與大量 AI Agent 協同工作,而企業也將面臨新的挑戰—如何規模化部署與管理這些 AI Agent。

對企業來說,打造一隻 AI Agent 並不難,但當企業需求的是數十、甚至數百隻 Agent 時,該如何快速招募、有效管理,並確保每位 AI 員工都遵循企業的權限規範與治理機制,成了普遍的落地痛點。對此,SUPER 8 Studio 雲發互動科技創辦人暨執行長陳子龍認為,解方就在於一套兼顧開發效率與治理能力的平台。

從招募一位 AI 員工,到管理一支 AI 團隊

陳子龍觀察,市面上的 AI Agent 開發工具多半要自行寫程式、設計工作流程或串接 API,且缺乏權限管理、流程控管與稽核追蹤等治理機制,導致企業無法大規模部署。

也因此,SUPER 8 Studio 推出能建立企業 AI 員工團隊的平台 – ORRA,使用者不需撰寫程式,只要以自然語言描述需求,例如:我需要一個每天整理競品動態、9 點前發到通訊軟體的 AI 員工,或依照 ORRA 平台引導回答三個問題,也就是 AI 員工的權責範圍、日常工作內容及角色定義,ORRA 就會生成一個已經設定好角色、權限與工作流程的 AI 員工,並於半小時內完成調校與部署,且每位 AI 員工都能在相同的治理框架下運作。

換句話說,ORRA 不是 Agent 開發工具,而是建立企業 AI 團隊的平台。企業需要什麼樣的 AI 人才,ORRA 就能快速打造符合需求的 AI 員工。

#2 AI Agent 時代來了!SUPER 8 Studio ORRA 如何讓企業快速打造、治理
SUPER 8 Studio 推出能建立企業 AI 員工團隊的平台 - ORRA,企業免程式,以自然語言描述需求,生成具治理機制的 AI 員工團隊並快速部署。左起 SUPER 8 Studio 資深產品總監王婕、SUPER 8 Studio 雲發互動科技創辦人暨執行長陳子龍、SUPER 8 Studio 商務長陳之逵
圖/ 數位時代

招募只是開始,AI 員工更需要管理

招募只是第一步。真正決定 AI 員工能否進入企業日常營運的關鍵,在於治理。為此,ORRA 將治理機制納入平台設計,建立一套涵蓋角色定義、權限設定、測試驗證到持續優化的 AI 員工管理五階段。

第一階段是定義角色,如同招募人才前必須先寫好職務說明(Job Description),企業在尋找 AI 隊友前,也必須先清楚界定它的工作內容、責任範圍與目標,再進入招募階段。

通常具備「高頻率、重複性高」、「有明確輸入與輸出」、「可用數據評估品質」及「可以設定清楚權限與邊界」四項特性的工作,最適合作為 AI 員工的第一個應用場景。相反地,涉及財務匯款、人際互動、情感信任,或美感判斷等高風險、難以標準化的工作,則不應完全交由 AI 執行,而應保留 Human in the Loop 機制,由人在關鍵節點負責把關與決策。

第二階段則是設定權限邊界,包括 AI 員工可以存取哪些資料、串接哪些系統、哪些動作必須經過人工核准、產出結果是草稿還是可以直接上線等,避免因權限設定不清而超出職責範圍。

第三階段是進入沙盒(Sandbox)環境測試,AI 員工開發完成後,不能直接進入正式環境,必須先在可控的測試環境裡驗證能力。陳子龍形容,沙盒就像 AI 員工的專屬訓練室,在接觸真實資料與工作流程前,企業可以先觀察它如何完成任務、沒有 AI 幻覺、提示詞注入(Prompt Injection)等風險,再加以調整與修正,確認符合預期後,再讓它進入正式環境。

第四階段則是指派一位員工,擔任正在招募的 AI 員工的直接負責人:就是這位 AI 員工的主管,雖然不必盯著這位 AI 員工的每一個動作,但要檢視其是否達成既定 KPI、何時需要真人介入,以及是否需要調整工作內容,而非放任它自行運作。

#1 AI Agent 時代來了!SUPER 8 Studio ORRA 如何讓企業快速打造、治理
陳子龍表示,招募只是第一步。真正決定 AI 員工能否進入企業日常營運的關鍵,在於治理。
圖/ 數位時代

與管理真人不同的是,AI 員工的每一次任務執行都會留下完整的數位軌跡與數據,以便負責人檢視 AI 員工的運作狀況與執行成果,了解 AI 員工 有沒有出錯或做了超出權限的行為,如果有,也能進一步找出原因再思考解決方法。

最後一個階段,企業還必須像管理員工績效一樣,定期檢視 AI 員工的表現,包括品質、用量、成本、延遲、失敗案例等,若表現未達預期,便透過調整能力、重新訓練,甚至汰換更適合的 AI 員工,持續優化整體運作品質。

只有 1 名員工,卻有一支 AI 團隊:SecureTalk 的營運新模式

「在目前的亞洲市場中,我還沒有看到像 ORRA 一樣,能夠同時兼顧快速招募 AI 員工並能嚴謹治理的平台,」陳子龍強調。

ORRA 的核心價值,不只是讓每個人都能快速招募 AI 員工,更重要的是,將開發與治理整合於同一個平台,讓企業可以快速招募、部署與管理大量 AI 員工,加速建構出一支能被信任、能被管理的 AI 團隊。

新創團隊 SecureTalk 只有一名員工,卻能同時處理產品研發、銷售、行銷、出貨與客服等作業,背後靠的就是這樣一支各司其職的 AI 團隊。

陳子龍分享,ORRA 在正式發表前,曾邀請部份企業試用,SecureTalk 便是最早導入 ORRA 的合作案例之一。該公司的核心產品為 AI 離線語音辨識與翻譯工具,初期在群眾募資平台上架,目前已順利達標並進入出貨階段。在這過程中,該公司運用 SUPER 8 Studio 的 ORRA 平台招募多個不同職責的 AI 員工,例如:專責回答客戶問題的 AI 客服、協助解決客戶使用問題的售後 AI 客服等,與 SecureTalk 創辦人並肩作戰,撐起日常營運作業。

「以前什麼都得自己做,現在,人不必親自處理每一項工作,只要管理 AI 員工、確認任務完成就可以。」陳子龍表示,透過 ORRA,企業能快速建立一支分工明確的 AI 團隊,讓真人員工可以從大量重複、繁瑣卻不得不做的工作中抽身,轉而專注於產品創新、策略思考、與 AI 員工的協作管理,以及真正需要創造力、同理心與判斷力的工作。

#3 AI Agent 時代來了!SUPER 8 Studio ORRA 如何讓企業快速打造、治理
陳子龍表示,AI 時代最值得追求的方向,就是人擁有更多時間與心力投入對企業、社會與未來做有價值的事情,這正是 ORRA 誕生的初衷。左起 SUPER 8 Studio 商務長陳之逵、SUPER 8 Studio 雲發互動科技創辦人暨執行長陳子龍、SUPER 8 Studio 資深產品總監王婕
圖/ 數位時代

這不僅是他希望 ORRA 能為企業帶來的價值,也是 SUPER 8 Studio 提出的品牌使命—Infinite Power for Infinite Good。陳子龍表示,當 AI 能無限放大每個人的能力,人就有更多時間與心力投入對企業、社會與未來更有價值的事情,這正是 ORRA 誕生的初衷,也是 AI 時代最值得追求的方向。 了解更多 https://no8.io/zh-tw/

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
台達電全解讀
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓