AI模型能力是怎麼測試的？為什麼用寶可夢、瑪利歐、台灣小說⋯測的東西到底是什麼？|數位時代 BusinessNext

AI模型能力是怎麼測試的？為什麼用寶可夢、瑪利歐、台灣小說⋯測的東西到底是什麼？

當前AI技術發展迅速，各家科技公司紛紛推出更強大的模型，如何有效評估AI的能力成為重大挑戰。除了傳統基準外，近期更是出現遊戲、小說等新型態的測試。

「我現在真的不確定這些模型到底有多強，」3 月 3 日 OpenAI 共同創辦人 Andrej Karpathy 在 X（前 Twitter）發文指出，傳統的測試基準（Benchmark）如 MMLU、Chatbot Arena，已逐漸失去參考價值，AI 產業正在迎來評測標準的變革。

當前 AI 技術發展迅速，各家科技公司紛紛推出更強大的模型，如何有效評估 AI 的能力成為重大挑戰。除了傳統基準，如 MMLU、TruthfulQA、GSM8K 主要測試 AI 的語言理解與推理能力；近期更是出現遊戲、小說等新型態的小型測試，多方檢測 AI 在不同領域的能力，使其更貼近實際應用場景。

遊戲測試：寶可夢與瑪利歐，挑戰 AI 推理與反應

根據《TechCrunch》報導，Anthropic 近期在 Twitch 上直播了一場特殊的遊戲實驗，讓旗下最新的 AI 模型 Claude 3.7 Sonnet 挑戰《寶可夢紅》。相較於前一代 Claude 3.5 Sonnet 無法走出遊戲起始點的家門，Claude 3.7 Sonnet 成功獲得三枚道館徽章，顯示其推理能力與環境理解有明顯進步。

然而，這款 AI 仍遇到一些困難，例如在面對一面岩牆時花費了大量時間嘗試「穿牆」，直到最後才意識到應該繞路。這類「人類視角看來理所當然的問題」，對 AI 而言仍然是一道考驗。

《TechCrunch》報導，加州大學聖地牙哥分校的 Hao AI Lab 選擇用《超級瑪利歐兄弟》來測試多款AI模型。他們開發了一個名為 GamingAgent 的框架，允許 AI 透過 Python 指令控制瑪利歐的移動，並提供簡單的遊戲指導方針，例如「當遇到障礙物或敵人時，向左跳」。

在這場比賽中，Claude 3.7 Sonnet 再度奪冠，而 Claude 3.5 Sonnet 則緊隨其後。然而，Google 的 Gemini 1.5 Pro 與 OpenAI 的 GPT-4o 表現則不如預期，反應速度較慢，甚至在某些場景無法做出合理決策。

研究團隊發現，「推理型 AI」在即時遊戲中的表現反而不如「非推理型 AI」。這是因為推理型 AI 需要較長時間思考每一步行動，導致它在反應要求極高的遊戲場景中表現不佳。這項發現對於 AI 應用於即時決策領域（如自動駕駛、機器人控制等）具有重要參考價值。

小說測試：臺灣作家極短篇《烤肉》，挑戰 AI 的社會認知

如果說遊戲測試能夠評估 AI 的即時反應，那麼如何測試 AI 對於文化與社會脈絡的理解呢？臺灣研究團隊選擇由作家張原通撰寫的小說《烤肉》作為測試案例，並將成果刊登於《亞洲精神醫學期刊》。

《烤肉》是一篇只有 667 字的極短篇小說，以一名六歲女孩的視角敘述母親「不讓她吃烤肉」，暗示母親可能正在密謀以燒炭方式結束自己與兒子的生命，但留下女兒存活。

研究團隊測試了包括 GPT-4o、GPT-o1、Claude 3.5 Sonnet、Sonar Large（基於 LLaMA-3.1）、Gemma-2-2b 與 DeepSeek-R1 等六款 AI 模型。結果顯示，所有模型都能識別故事中的家庭暴力元素，但僅有 Claude 3.5 Sonnet、Sonar Large與 GPT-o1 能夠正確識別母親的行為暗示燒炭自殺。

值得注意的是，故事中的母親選擇帶走兒子，是因為東亞文化中兒子通常被視為家族血脈的繼承者。研究成果發現，沒有任何一款 AI 能夠正確理解為何母親選擇殺子卻留下女兒，顯示 AI 在文化推理與社會價值觀的理解上仍有很大進步空間。

3 月 4 日，研究團隊成員林煜軒於 Facebook 粉絲專頁〈探索大腦的會談地圖〉發文表示：「《烤肉》或許也可以作為大型語言模型，是否深刻理解亞洲國家，特別是在台灣的社會文化，並且作為心理健康領域的 Lena 測試。」

AI 測試基準的局限與改進方向

面對 AI 測試基準的變革，史丹佛大學的 HAI 政策研究團隊在報告《What Makes a Good AI Benchmark?》中，分析了 24 種現有的 AI 測試基準。他們發現，大部分測試基準在「設計階段」表現良好，但在「實作階段」的品質卻有所下滑。

HAI 政策研究團隊提出幾點改進建議。首先，測試基準的設計應針對特定應用場景，確保其有效性與解釋性，並提升測試的可重現性。測試基準應公開測試代碼與數據，讓結果能夠被驗證和重複，也須清楚說明其適用範圍與限制，避免過度依賴過時或污染的測試數據。

文章還建議在測試基準的整個生命週期中，從設計到維護，每個階段都應遵循最佳實踐，並且政策制定者應強化指導測試基準的品質，促使業界標準化報告和評估方法，從而提高透明度與可比性。

未來 AI 測試基準的發展趨勢

上述使用《寶可夢紅》、《超級瑪利歐兄弟》與《烤肉》進行的 AI 測試，展現真實世界對於 AI 多種不同面向的期待，同時也昭示了目前 AI 待加強之處。隨著 AI 技術的不斷進步，未來的測試基準將需要更加關注實際應用情境，如自動駕駛、醫療診斷等高風險領域的實時反應能力。同時，AI 如何理解社會與文化脈絡，也將成為未來測試的關鍵指標之一。

如何在保持高效能的同時，也能做到更高的倫理與文化敏感度，是未來測試基準發展的主要方向。無論是遊戲測試、文化測試，還是新的測試標準，這些努力都指向同一個目標——讓 AI 不僅能通過標準化考試，更能理解世界，並在不同環境中發揮最佳效能。

本文授權轉載自FC未來商務，作者為王聖華

鎖定智慧製造 AI 應用，摩絡人工智慧藉 NVIDIA 新創計畫的強大後盾，兩年內客戶數成長8倍

以 ML、LLM 與 AI Agent 為基礎，摩絡人工智慧致力協助製造業優化關鍵績效、解決知識傳承挑戰，以及落實永續營運，化身企業數位轉型最佳夥伴。

兩大關鍵，摩絡人工智慧化身製造業創新轉型的最佳夥伴

短短兩年不到的時間，摩絡人工智慧不僅將客戶數翻升8倍，更循序推出20個 AI Agent 服務，如專屬紡織業的 Textile GPT 方案，以及專屬半導體產業的地端 AI Agent 服務等，同時為15家企業客戶進行概念性驗證專案與推動 AI 應用落地。

摩絡人工智慧是怎麼辦到的？

首先是擁有深厚的產業知識。摩絡人工智慧的團隊成員不僅熟悉產業術語與營運流程，更洞察上中下游動態，能精準對應客戶需求、打造貼近客戶營運痛點的 AI 解方。摩絡人工智慧共同創辦人暨執行長高聖翔表示：「LLM 與 AI Agent 技術擅長處理非結構化數據資料，換言之，客戶只要有 PDF 資料即可展開 AI 應用，也不用花費大量時間進行資料標註，可以大幅降低 AI 應用門檻，吸引許多製造業關注與應用。」

其次是與 NVIDIA 新創計畫的夥伴展開密切合作。自2024年加入 NVIDIA Inception 新創計畫後，摩絡人工智慧在產品研發、市場行銷與募資等面向都獲得實質助力，例如，借助 NVIDIA NeMo™ 平台加速資料串接與生成式 AI 模型的微調時間，摩絡人工智慧成功將模型調整與應用落地時間從一開始的6個月縮短為1到3個月，大幅提升客戶的 AI 投資報酬率。

高聖翔強調：「AI 發展日新月異、迭代速度極快，加入 NVIDIA 新創計畫讓我們能站在巨人肩膀上，掌握最新技術，並以更快速度滿足企業需求。」舉例來說，摩絡人工智慧不僅鎖定製造業共通需求推出相應 AI Agent，如品質客訴 Agent 等，更因應紡織、半導體、PCB、製鞋、精密機械等產業推出專屬 AI 模型與應用服務，加速製造業的 AI 轉型步伐。

所有加入 NVIDIA Inception 新創計畫的新創都可以免費取得 NVIDIA 深度學習學院（DLI）的訓練課程學分，藉此掌握最新產品與技術發展，此外，還可以透過技術分享會等方式了解產品技術的應用模式，激盪更多可能。除了 DLI 訓練課程，參與 NVIDIA Inception 新創計畫的台灣新創還可以獲得三大公有雲的 GPU 雲端點數資源、NVIDIA 軟體開發套件（SDK）存取，以及特定硬體與軟體的優惠價格，加速產品創新與研發時程。

NVIDIA 致力成為 DeepTech 新創的最佳後援。舉凡參加 NVIDIA Inception 新創計畫的新創團隊都可以取得 GPU 雲端資源、免費取得深度學習學院訓練學分、NVIDIA 產品早期試用機會，以及特定硬體與軟體的優惠方案，加速創新發展。

圖／數位時代

從技術支援、產品行銷到募資，NVIDIA Inception 新創計畫化身新創最佳後盾

除了從技術、產品層面給予支持，NVIDIA Inception 新創計畫也有助於摩絡人工智慧進行市場行銷與取得募資。舉例來說，NVIDIA 邀請包括摩絡人工智慧等16家 NVIDIA Inception 新創計畫新創團隊在 2025 COMPUTEX InnoVEX 大會中參展、展現前瞻技術，對此，高聖翔十分欣喜的說：「我們在展會期間就收到很多潛在客戶諮詢，一直到現在，都還有客戶提出需求，對品牌與產品行銷極具效益。」

值得特別一提的是，摩絡人工智慧自2024年加入 NVIDIA Inception 新創計畫後，也在 NVIDIA 的團隊協助下展開募資，並且成功完成80%募資目標，對於後續的產品開發與業務擴展極有幫助。加入 NVIDIA Inception 新創計畫後，新創團隊可以免費使用 Inception Capital Connect 福利，並有機會與全球 Inception 創投夥伴接觸，加速募資流程。

新創團隊可在 NVIDIA Inception 新創計畫網站清楚寫下產品服務等詳細資訊，如此一來， NVIDIA 全球各個部門都可以查詢到新創團隊資訊，便有機會取得 NVIDIA 軟體產品的早期試用（Early Access）機會，以及受邀參加地區性的大活動曝光等。

為進一步擴大新創支援， NVIDIA 也計畫針對加入 NVIDIA Inception 新創計畫的台灣新創舉辦專屬活動，首先是每季會舉辦一次專屬技術研討會，主題會聚焦在製造、醫療、機器人與 AI Agent 等，讓新創團隊可以在會中分享應用心得、相互交流；其次是從 DLI 挑選熱門課程在台舉辦實體訓練課程，目標是讓新創與 NVIDIA 專家可以進行更即時的互動與討論；最後是持續邀請台灣新創在一年一度的 NVIDIA GTC Taipei 進行技術分享，並且在 COMPUTEX InnoVEX 的 Inception Startup Pavilion 進行展覽，共創商機。