AI模型能力是怎麼測試的？為什麼用寶可夢、瑪利歐、台灣小說⋯測的東西到底是什麼？|數位時代 BusinessNext

「我現在真的不確定這些模型到底有多強，」3 月 3 日 OpenAI 共同創辦人 Andrej Karpathy 在 X（前 Twitter）發文指出，傳統的測試基準（Benchmark）如 MMLU、Chatbot Arena，已逐漸失去參考價值，AI 產業正在迎來評測標準的變革。

當前 AI 技術發展迅速，各家科技公司紛紛推出更強大的模型，如何有效評估 AI 的能力成為重大挑戰。除了傳統基準，如 MMLU、TruthfulQA、GSM8K 主要測試 AI 的語言理解與推理能力；近期更是出現遊戲、小說等新型態的小型測試，多方檢測 AI 在不同領域的能力，使其更貼近實際應用場景。

遊戲測試：寶可夢與瑪利歐，挑戰 AI 推理與反應

根據《TechCrunch》報導，Anthropic 近期在 Twitch 上直播了一場特殊的遊戲實驗，讓旗下最新的 AI 模型 Claude 3.7 Sonnet 挑戰《寶可夢紅》。相較於前一代 Claude 3.5 Sonnet 無法走出遊戲起始點的家門，Claude 3.7 Sonnet 成功獲得三枚道館徽章，顯示其推理能力與環境理解有明顯進步。

然而，這款 AI 仍遇到一些困難，例如在面對一面岩牆時花費了大量時間嘗試「穿牆」，直到最後才意識到應該繞路。這類「人類視角看來理所當然的問題」，對 AI 而言仍然是一道考驗。

《TechCrunch》報導，加州大學聖地牙哥分校的 Hao AI Lab 選擇用《超級瑪利歐兄弟》來測試多款AI模型。他們開發了一個名為 GamingAgent 的框架，允許 AI 透過 Python 指令控制瑪利歐的移動，並提供簡單的遊戲指導方針，例如「當遇到障礙物或敵人時，向左跳」。

在這場比賽中，Claude 3.7 Sonnet 再度奪冠，而 Claude 3.5 Sonnet 則緊隨其後。然而，Google 的 Gemini 1.5 Pro 與 OpenAI 的 GPT-4o 表現則不如預期，反應速度較慢，甚至在某些場景無法做出合理決策。

研究團隊發現，「推理型 AI」在即時遊戲中的表現反而不如「非推理型 AI」。這是因為推理型 AI 需要較長時間思考每一步行動，導致它在反應要求極高的遊戲場景中表現不佳。這項發現對於 AI 應用於即時決策領域（如自動駕駛、機器人控制等）具有重要參考價值。

小說測試：臺灣作家極短篇《烤肉》，挑戰 AI 的社會認知

如果說遊戲測試能夠評估 AI 的即時反應，那麼如何測試 AI 對於文化與社會脈絡的理解呢？臺灣研究團隊選擇由作家張原通撰寫的小說《烤肉》作為測試案例，並將成果刊登於《亞洲精神醫學期刊》。

《烤肉》是一篇只有 667 字的極短篇小說，以一名六歲女孩的視角敘述母親「不讓她吃烤肉」，暗示母親可能正在密謀以燒炭方式結束自己與兒子的生命，但留下女兒存活。

研究團隊測試了包括 GPT-4o、GPT-o1、Claude 3.5 Sonnet、Sonar Large（基於 LLaMA-3.1）、Gemma-2-2b 與 DeepSeek-R1 等六款 AI 模型。結果顯示，所有模型都能識別故事中的家庭暴力元素，但僅有 Claude 3.5 Sonnet、Sonar Large與 GPT-o1 能夠正確識別母親的行為暗示燒炭自殺。

值得注意的是，故事中的母親選擇帶走兒子，是因為東亞文化中兒子通常被視為家族血脈的繼承者。研究成果發現，沒有任何一款 AI 能夠正確理解為何母親選擇殺子卻留下女兒，顯示 AI 在文化推理與社會價值觀的理解上仍有很大進步空間。

3 月 4 日，研究團隊成員林煜軒於 Facebook 粉絲專頁〈探索大腦的會談地圖〉發文表示：「《烤肉》或許也可以作為大型語言模型，是否深刻理解亞洲國家，特別是在台灣的社會文化，並且作為心理健康領域的 Lena 測試。」

AI 測試基準的局限與改進方向

面對 AI 測試基準的變革，史丹佛大學的 HAI 政策研究團隊在報告《What Makes a Good AI Benchmark?》中，分析了 24 種現有的 AI 測試基準。他們發現，大部分測試基準在「設計階段」表現良好，但在「實作階段」的品質卻有所下滑。

HAI 政策研究團隊提出幾點改進建議。首先，測試基準的設計應針對特定應用場景，確保其有效性與解釋性，並提升測試的可重現性。測試基準應公開測試代碼與數據，讓結果能夠被驗證和重複，也須清楚說明其適用範圍與限制，避免過度依賴過時或污染的測試數據。

文章還建議在測試基準的整個生命週期中，從設計到維護，每個階段都應遵循最佳實踐，並且政策制定者應強化指導測試基準的品質，促使業界標準化報告和評估方法，從而提高透明度與可比性。

未來 AI 測試基準的發展趨勢

上述使用《寶可夢紅》、《超級瑪利歐兄弟》與《烤肉》進行的 AI 測試，展現真實世界對於 AI 多種不同面向的期待，同時也昭示了目前 AI 待加強之處。隨著 AI 技術的不斷進步，未來的測試基準將需要更加關注實際應用情境，如自動駕駛、醫療診斷等高風險領域的實時反應能力。同時，AI 如何理解社會與文化脈絡，也將成為未來測試的關鍵指標之一。

如何在保持高效能的同時，也能做到更高的倫理與文化敏感度，是未來測試基準發展的主要方向。無論是遊戲測試、文化測試，還是新的測試標準，這些努力都指向同一個目標——讓 AI 不僅能通過標準化考試，更能理解世界，並在不同環境中發揮最佳效能。

本文授權轉載自FC未來商務，作者為王聖華

騰雲科技持續展現強勁成長，不僅連續五年維持雙位數的營收增幅，更於 2025 年前三季累計營收來到 5.47 億元、淨利 1.03 億元，年成長率高達 67%，顯示騰雲科技已從智慧零售解決方案供應商擴展成為智慧社區、智慧城市解決方案供應商，並持續發揮高毛利、高成長、以智慧場域資料為核心驅動的代理式 AI 解決方案全方位供應商。

騰雲科技是怎麼辦到的？

騰雲科技董事長暨總經理梁基文不藏私分享兩大關鍵：「首先是以 AI 賦能的產品與服務，協助客戶提升效率、優化營收；其次是透過騰雲孵化器與其生態系中新創夥伴協作，打造零售、不動產、製造與數位保險等產業所需的新商務服務。」

以 AI 賦能全產品線，強化客戶黏著度、深化長期關係

梁基文表示：「AI 不是單一產品或立即變現的技術，要能有效消除資訊不對等，需協助企業先將散落的資料整合成數據資產，才能找出能驅動決策的洞察。」因此，要讓 AI 真正落地，需要同時理解產業現況與營運痛點的夥伴，才能把技術與數據轉化為具體價值，成為企業成長的新引擎。

有鑑於此，騰雲科技的策略是推出 AI Agent 平台 –TrendVotex，由深耕百貨零售、商業不動產等產業的專業團隊協助打造符合場景需求的 AI 代理服務。

例如，為百貨零售打造的「AI 品牌行銷專家」透過市場輿論進行趨勢及同業動態分析、以口碑行銷進行品牌塑造、針對會員數據進行自動化文案生成及傳播、針對行銷成果進行效益分析等自動化決策，「AI 招商助理」則能整合商圈熱度、樓層營運狀態等資訊，提出精準的櫃位調整與招商策略。至於針對複合式商業不動產管理場景推出「AI 能源智慧管理」服務，導入 AIoT 終端裝置佈署並運用其感測數據與歷史異常紀錄，預測設備故障風險，協助排程維修，降低停機時間，大幅提升營運績效。

梁基文補充說明：「除了協助企業打造專屬 AI 代理與串接代理式工作流程（Agentic Workflow），我們也推出 Marketing、Content、Sales、Manufacturing 等跨產業可重複使用的 AI 代理模組，加速零售、不動產、製造、旅遊與數位保險服務等產業的導入腳步。」

值得注意的是，為真正發揮、極大化 AI 價值，騰雲科技不僅提供技術，也協助企業梳理流程、整合分散數據，打造可支撐多場景的數據驅動營運中台。

梁基文表示，不只零售業正加速虛實通路整合，製造與金融服務業也十分重視「全通路數據」，例如製造業需要即時掌握生產過程關鍵數據指標與庫存狀況以確保良率及產能、數位保險業則積極深化對顧客旅程的掌握以完善服務能量等，騰雲科技推出「隨開即用」、雲地整合的 AI 平台，讓企業能在多場景中無縫串接數據並兼顧資訊安全，充分展現「From Insight to Intelligence」價值。

例如，協助數位保險整合顧客的「線上資料（如客戶資料、風險判斷」與「線下數據（如客戶活動數據、場域營運數據）」，透過 AI 進行產品推薦、簡化內部核保作業流程，並提供更加順暢的一致體驗，讓保險也能像零售一樣真正做到懂顧客。

「接下來，我們會把在百貨零售與商業不動產驗證過的技術，進一步擴大到製造、數位保險等產業，讓價值放到最大。」梁基文如是說道。

五大技術、四大產業，騰雲科技以孵化器成就下一個十年

梁基文表示：「過去 10 年，我們專注在『新零售・新生活』；接下來將延伸至『新商務・新生活』，透過收購、合資、投資等方式與外部夥伴共創新的成長動能。」

具體做法是以 ABCDE（AI、Blockchain、Cloud、Data、Experience）五大技術為核心，鎖定零售、不動產、製造與金融服務四大產業，透過外部合作與孵化機制強化解決方案的廣度與深度：整合現場設備、門市裝置、POS、排隊系統、取貨流程、感測器與後勤運作，推出 AIoT 智慧場域管理方案，滿足跨場域、跨產業與跨國企業的需求。

例如，協助泰國五星級酒店導入 AIoT 智慧場域管理方案以優化能源設備管理、降低營運成本並提升使用者體驗等。明（2026）年，騰雲科技計畫將 AIoT 智慧場域管理方案推向製造業廠房，協助客戶管理冷氣、燈光等能源設備並進行碳管理，同時，透過監控產線設備的振動與溫度等數據，提供 AI 預判的設備維修時機（Preventive Maintenance），擴大數位與綠色雙軸轉型的綜效。

除以集團力量推廣 AIoT 智慧場域管理方案，騰雲科技亦積極擴大相應的生態體系發展：首先是與跨業夥伴一同延伸 AIoT 智慧場域管理方案的應用範疇，如與保險業者合資成立數位保險公司以提供 AI-Ready 數位應用方案；其次是建立消費者生態體系以發揮「新商務‧新生活」的相互影響綜效。例如，騰雲科技子公司騰加數位將擴大 AIoT 平台運營版圖，深入零售、商辦與飯店等多元場景，並以此為載體整合數位支付、會員數據與數位內容傳播等應用，藉此強化場域的智慧化能力，以及拓展騰雲解決方案的落地深度與廣度。

「透過 AIoT 智慧場域管理方案、營運中台與 TrendVotex 等產品與服務，我們不僅能更精準回應台灣、日本與東南亞市場在流程自動化、營運效率提升上的需求，也能同步改善大眾的日常體驗，真正落實『新商務・新生活』的共好價值。」關於未來的發展，梁基文如是總結。