AI模型能力是怎麼測試的？為什麼用寶可夢、瑪利歐、台灣小說⋯測的東西到底是什麼？|數位時代 BusinessNext

「我現在真的不確定這些模型到底有多強，」3 月 3 日 OpenAI 共同創辦人 Andrej Karpathy 在 X（前 Twitter）發文指出，傳統的測試基準（Benchmark）如 MMLU、Chatbot Arena，已逐漸失去參考價值，AI 產業正在迎來評測標準的變革。

當前 AI 技術發展迅速，各家科技公司紛紛推出更強大的模型，如何有效評估 AI 的能力成為重大挑戰。除了傳統基準，如 MMLU、TruthfulQA、GSM8K 主要測試 AI 的語言理解與推理能力；近期更是出現遊戲、小說等新型態的小型測試，多方檢測 AI 在不同領域的能力，使其更貼近實際應用場景。

遊戲測試：寶可夢與瑪利歐，挑戰 AI 推理與反應

根據《TechCrunch》報導，Anthropic 近期在 Twitch 上直播了一場特殊的遊戲實驗，讓旗下最新的 AI 模型 Claude 3.7 Sonnet 挑戰《寶可夢紅》。相較於前一代 Claude 3.5 Sonnet 無法走出遊戲起始點的家門，Claude 3.7 Sonnet 成功獲得三枚道館徽章，顯示其推理能力與環境理解有明顯進步。

然而，這款 AI 仍遇到一些困難，例如在面對一面岩牆時花費了大量時間嘗試「穿牆」，直到最後才意識到應該繞路。這類「人類視角看來理所當然的問題」，對 AI 而言仍然是一道考驗。

《TechCrunch》報導，加州大學聖地牙哥分校的 Hao AI Lab 選擇用《超級瑪利歐兄弟》來測試多款AI模型。他們開發了一個名為 GamingAgent 的框架，允許 AI 透過 Python 指令控制瑪利歐的移動，並提供簡單的遊戲指導方針，例如「當遇到障礙物或敵人時，向左跳」。

在這場比賽中，Claude 3.7 Sonnet 再度奪冠，而 Claude 3.5 Sonnet 則緊隨其後。然而，Google 的 Gemini 1.5 Pro 與 OpenAI 的 GPT-4o 表現則不如預期，反應速度較慢，甚至在某些場景無法做出合理決策。

研究團隊發現，「推理型 AI」在即時遊戲中的表現反而不如「非推理型 AI」。這是因為推理型 AI 需要較長時間思考每一步行動，導致它在反應要求極高的遊戲場景中表現不佳。這項發現對於 AI 應用於即時決策領域（如自動駕駛、機器人控制等）具有重要參考價值。

小說測試：臺灣作家極短篇《烤肉》，挑戰 AI 的社會認知

如果說遊戲測試能夠評估 AI 的即時反應，那麼如何測試 AI 對於文化與社會脈絡的理解呢？臺灣研究團隊選擇由作家張原通撰寫的小說《烤肉》作為測試案例，並將成果刊登於《亞洲精神醫學期刊》。

《烤肉》是一篇只有 667 字的極短篇小說，以一名六歲女孩的視角敘述母親「不讓她吃烤肉」，暗示母親可能正在密謀以燒炭方式結束自己與兒子的生命，但留下女兒存活。

研究團隊測試了包括 GPT-4o、GPT-o1、Claude 3.5 Sonnet、Sonar Large（基於 LLaMA-3.1）、Gemma-2-2b 與 DeepSeek-R1 等六款 AI 模型。結果顯示，所有模型都能識別故事中的家庭暴力元素，但僅有 Claude 3.5 Sonnet、Sonar Large與 GPT-o1 能夠正確識別母親的行為暗示燒炭自殺。

值得注意的是，故事中的母親選擇帶走兒子，是因為東亞文化中兒子通常被視為家族血脈的繼承者。研究成果發現，沒有任何一款 AI 能夠正確理解為何母親選擇殺子卻留下女兒，顯示 AI 在文化推理與社會價值觀的理解上仍有很大進步空間。

3 月 4 日，研究團隊成員林煜軒於 Facebook 粉絲專頁〈探索大腦的會談地圖〉發文表示：「《烤肉》或許也可以作為大型語言模型，是否深刻理解亞洲國家，特別是在台灣的社會文化，並且作為心理健康領域的 Lena 測試。」

AI 測試基準的局限與改進方向

面對 AI 測試基準的變革，史丹佛大學的 HAI 政策研究團隊在報告《What Makes a Good AI Benchmark?》中，分析了 24 種現有的 AI 測試基準。他們發現，大部分測試基準在「設計階段」表現良好，但在「實作階段」的品質卻有所下滑。

HAI 政策研究團隊提出幾點改進建議。首先，測試基準的設計應針對特定應用場景，確保其有效性與解釋性，並提升測試的可重現性。測試基準應公開測試代碼與數據，讓結果能夠被驗證和重複，也須清楚說明其適用範圍與限制，避免過度依賴過時或污染的測試數據。

文章還建議在測試基準的整個生命週期中，從設計到維護，每個階段都應遵循最佳實踐，並且政策制定者應強化指導測試基準的品質，促使業界標準化報告和評估方法，從而提高透明度與可比性。

未來 AI 測試基準的發展趨勢

上述使用《寶可夢紅》、《超級瑪利歐兄弟》與《烤肉》進行的 AI 測試，展現真實世界對於 AI 多種不同面向的期待，同時也昭示了目前 AI 待加強之處。隨著 AI 技術的不斷進步，未來的測試基準將需要更加關注實際應用情境，如自動駕駛、醫療診斷等高風險領域的實時反應能力。同時，AI 如何理解社會與文化脈絡，也將成為未來測試的關鍵指標之一。

如何在保持高效能的同時，也能做到更高的倫理與文化敏感度，是未來測試基準發展的主要方向。無論是遊戲測試、文化測試，還是新的測試標準，這些努力都指向同一個目標——讓 AI 不僅能通過標準化考試，更能理解世界，並在不同環境中發揮最佳效能。

本文授權轉載自FC未來商務，作者為王聖華

AI 與數據正快速落地至各行各業，從製造、金融、電信、醫療到零售，應用速度不斷加快。但在每年交易規模至少新台幣 1900 億元的商用地產領域，卻長期受到數據破碎且不透明的限制，只能仰賴人力蒐集資訊，再憑直覺和經驗去解讀資訊、做出決策，使 AI 潛在價值難以真正發揮。為回應產業轉型的核心痛點，方睿科技首度舉辦「商用地產生態系年會 2026 Raise Day」，以開放式平台為核心，串聯專業地產服務商、空間相關企業服務商、產業專業人士等多元角色，勾勒出 B2B 企業服務生態系的全貌，希望能透過科技促進數據流動，為商用地產企業協作模式開啟新的可能性。

方睿科技雙軌策略，讓 AI 成為商用地產的決策引擎

方睿科技創辦人暨執行長吳健宇指出，在 AI 時代，人應該專注於「最有價值」的工作；然而在商用地產業中，專業人士卻有約 70% 的時間耗費在資料蒐集與整理上，真正用於判斷與決策的時間僅約 10%。方睿科技希望翻轉這樣的時間分配，讓人力從低價值的資料處理中解放，將更多心力投入在判斷、溝通與決策等創造價值的商業活動。

為此，方睿科技提出兩條實踐路徑。第一條是建構出具備完整性、易用性與進化性的商用地產智慧平台，運用 AI 技術，將過去產業中破碎、非結構化的資料，重塑為可被運算、可驗證的標準化數據，並結合圖表與互動式介面，讓使用者能夠快速得到完整市場資訊，實現「用戶即專家」的目標。

第二條則是推動生態系聯盟，將不動產視為企業服務的核心載體，串聯設計、家具、搬遷、清潔等多元服務夥伴，使空間不再只是靜態標的，而是承載案例、服務與數據回饋的生態系節點。透過生態系夥伴累積的實務資料與服務紀錄，平台得以發展「資料即推薦」模式，推動商用地產從單點交易，邁向可擴張的 B2B 服務網絡。

獨創「資料飛輪」機制，實現用戶即專家目標

在 AI 模型日益普及的當下，真正的競爭關鍵已不在模型本身，而是能否有效率地收集資料、提高資料品質，並將其與實際決策流程緊密結合。為此，方睿科技獨家設計出一個由「資料收集、資料精煉、專家把關、決策反饋」組成的資料飛輪，回應商用地產長期面臨的資料破碎與決策效率低落問題，成為方睿科技實踐願景的第一條路徑。

方睿科技技術長郭彥良進一步說明，資料飛輪機制的運作架構。首先在資料收集階段，必須系統性蒐集公開資料、內部檔案與報告，並透過 AI 協作將圖片等非結構化資訊轉換為可用的結構化數據。接著進入資料精煉，透過資料清洗與實體對齊，將原始資訊從單純的可閱讀升級為可比較、可推論的決策依據。第三步專家把關，則引入不動產專家進行校正與產業判讀，補上模型難以理解的規則與慣例，確保關鍵數據的正確性。最後的決策反饋階段，藉由收集使用者提問與行為，檢視現有資料是否足夠精準，再回到專家校正與補齊流程，使整個系統能隨使用頻率提升而持續進化。

在資料飛輪的運作基礎上，方睿科技正積極研發商用地產智慧平台 PickPeak。郭彥良表示，PickPeak 並非單純的物件搜尋工具，而是結合深度資料與 AI 的決策輔助平台。使用者可透過自然語言互動，提出人數、預算、區位、產業屬性等多重條件，再由系統動態生成可比較、可驗證的選址方案，真正將 AI 從「回答問題的工具」，轉化為「陪伴決策的數位專家」。

創新 Data to win 模式，讓 AI 深入商用地產各階段決策流程

不過，單靠數據整合與 AI 應用仍不足以支撐產業全面升級，因此，方睿科技提出的第二條路就是，推動產業生態系聯盟，整合商用地產市場上不同角色的數據，讓 AI 能夠真正成為商用地產決策時的智慧引擎。

方睿科技不動產知識創新中心總監曾凡綱指出，目前在企業、房東或物業主與各類服務供應商之間，缺乏有效的整合機制，導致企業在選址與空間規劃過程中，難以快速找到真正合適的服務與解決方案，形成明顯的產業斷點。

為解決這些斷點，方睿科技提出「Data to win」模式，以資料取代傳統「Pay to win（付費買廣告）」思維，讓真正具備經驗與實績的服務夥伴，在適當的決策節點被看見。

曾凡綱說明，在廣告投放效益越來越低的情況下，企業服務商面臨的問題已不只是「如何曝光」，而是「如何在對的地方被看見」，這將是未來的市場勝出指標；而 Data to win 正好可以協助企業服務商建立此能力，方睿科技將生態系夥伴所擁有的案例、服務紀錄與產業知識等資料，經過去識別化與結構化處理後，再嵌入企業決策流程中，讓推薦不再來自廣告投放，而是真實、可被驗證的使用經驗，透過這樣的機制，不僅提升企業決策的準確度，也能同步放大生態系夥伴在合作中的實質價值。

舉例來說，方睿科技整合辦公傢俱夥伴 Backbone 班朋實業長期累積的辦公室規劃案例與平面圖資料，讓企業在選址階段，就能同步評估空間規劃方案，加速決策流程。又如，整合出行服務夥伴 USPACE 悠勢科技的服務資料，並呈現在地圖上，協助企業評估辦公據點的交通便利性，優化員工日常通勤與出行體驗。此外，平台也可整合大樓的 ESG 認證、公共設施與服務層資訊，協助企業快速篩選符合需求的辦公大樓，提升進駐媒合效率。

「Raise Day 只是這場變革的起點。」吳健宇強調，方睿科技已經透過投資與合夥模式，將布局延伸至專業地產服務與空間經營領域，至今旗下已有商用不動產仲介、顧問與估價等專業服務的宇豐睿星，以及聚焦商用地產代銷市場的希睿創新置業。透過直接參與第一線實務運作，方睿得以更深入理解產業真實痛點，讓科技不只是工具，而能真正回應實際決策與服務需求。

此外，方睿科技未來也將持續擴大「商用地產 x 企業服務生態系」聯盟，目前包括 Backbone、USPACE、IKEA For Business、潔客幫等企業服務夥伴已率先加入；接下來，方睿科技將邀請更多擁有關鍵數據與專業能力的企業服務商加入，讓數據在安全、可控的前提下流動，進一步釋放商用地產在選址、營運與企業服務等全生命週期中的結構性價值，為產業轉型啟動下一個關鍵階段。

右起方睿科技共同創辦人暨營運長陳致瑋、USPACE悠勢科技共同創辦人暨執行長宋捷仁、Backbone班朋實業創辦人暨執行長廖家葳，透過企業服務生態系合作共同為產業啟動下一個關鍵階段。

圖／數位時代

方睿科技官網： https://www.funraise.com.tw