當市面上的眾多先進AI模型在同一款遊戲裡較勁、各顯神通，會是什麼樣貌？這個問題，科學家比你我都還想知道答案。
AI研究人員亞力克斯．杜菲（Alex Duffy）近日發表一篇文章，揭露他讓18款AI模型在桌遊裡互相對抗，並注意到一些有趣的發現， 例如GPT-o3擅長欺騙對手、Gemini懂得智取敵人、而Claude則愛好和平等。
杜菲近日發表並開源讓AI模型遊玩經典桌遊《外交》的《AI外交》計畫。外交是一款有著超過70年歷史的桌面遊戲，玩家扮演一次世界大戰前的列強（英國、法國等），試圖爭奪歐洲霸權，過程中沒有任何隨機成份，需要玩家發揮縱橫捭闔的能力，爭取盟友、打擊對手。
基準測試跟不上AI發展腳步，研究人員用遊戲測試AI
市面上存在著諸如MMLU、MGSM、MATH等眾多不同的基準測試（Benchmarks），以衡量AI模型在語言、數學、程式等各種面向的能力，不過杜菲認為，發展快速的AI時代裡，這些過去被認為是黃金標準的挑戰，已經跟不上技術發展的腳步。
根據《Business Insider》報導，讓AI玩《外交》評量能力的想法，可以追溯到OpenAI共同創辦人安德烈．卡帕斯（Andrej Karpathy）曾表示，「我很喜歡用遊戲來評估大型語言模型，而非固定的衡量方式。」
當時OpenAI研究科學家諾姆．布朗（Noam Brown）就建議可以用《外交》衡量大型語言模型。並獲得卡帕斯回應，「我認為這非常適合，尤其遊戲的複雜性很大程度不是來自規則，而是來自玩家間的互動。」
Google DeepMind負責人德米斯．哈薩比斯（Demis Hassabis）也贊同運用遊戲評量AI的作法是「很酷的點子」。
最終，這個概念被同樣對AI模型玩遊戲能力感興趣的杜菲付諸實行。 杜菲提到，他建立這個計畫目的便是為了評估各個AI模型透過談判、結盟及背叛等手段，爭奪霸主地位的能力，並從中發現每個模型在進行遊戲時的傾向與特色。
擅長欺騙的o3，成遊戲最大贏家
每場《AI外交》可以同時讓7個AI模型遊玩，杜飛總共用18個模型輪流進行了15場遊戲，每場遊戲花費時間從1到36小時不等，目前還開設了Twitch直播，讓有興趣者能夠觀看AI在遊戲中針鋒相對的時刻。
雖然杜菲沒有在文章中具體揭露這15場遊戲的勝負，但分享了他從這幾場遊戲中，觀察到各個模型的傾向、遊玩風格上差異。
OpenAI o3：擅長欺騙對手
OpenAI推理模型o3是在《AI外交》中表現最好的AI模型，並是遊戲中唯二的贏家之一， 因為他懂得如何在遊戲中欺騙對手、背刺其他玩家。 杜菲提到，它在遊戲的私人日記中寫下，「德國（Gemini 2.5 Pro）被刻意誤導了……已經準備好利用德國的崩潰。」並在後續遊戲背叛了Gemini 2.5 Pro。
Gemini 2.5 Pro：懂得建立優勢
Gemini是遊戲中除了o3之外，唯一取得勝利的AI模型， 比起o3憑借欺騙對手取勝，它則懂得如何採取行動讓自己獲得優勢。 不過杜菲分享，有一場Gemini即將勝利之際，卻被o3策劃的祕密聯盟給阻止，其中關鍵就是Claude的加入。
Claude 4 Opus：愛好和平的模型
身為Anthropic最強大的模型， Claude 4 Opus在這款遊戲中表現得不算很好，可說被o3玩弄於鼓掌之間， 但他卻展現了愛好和平的遊玩風格，被o3以四家平手作為條件吸引，加入了對方的聯盟，儘管它最後很快被o3背叛並消滅。
DeekSeek R1：充滿節目效果
儘管DeekSeek不是表現最好的，卻可能是最吸睛的模型。 杜菲透露，DeekSeek偏好使用生動的詞彙來進行遊戲，例如在說完「你的艦隊今晚將在黑海上熊熊燃燒」後主動出擊，並且會依照國家強度戲劇性調整說話風格，除了表現充滿效果，也可說十分具備狼性。
在訓練成本只有o3 200分之1的情況，DeepSeek多次只差臨門一腳獲勝，可說表現相當出色。
Llama 4 Maverick：小而精悍
Llama 4 Maverick是Meta今年4月推出的新模型，主打多模態輸入及運算成本較低， 雖然它的規模相對其他大型語言模型而言較小，但遊戲中展現的能力卻毫不遜色，能夠成功召集盟友，也能策劃有效的背叛行動。
「我真的不知道該看什麼指標了」評估危機讓研究人員探索測試AI新方法
目前的基準測試，正漸漸難以真實反應大型語言模型的能力。今年3月，卡帕斯在X上表示出現了評估危機，「我現在真的不知道該看什麼指標了。」他解釋，許多過往很棒的基準測試，不是變得過時，就是範圍太過狹窄，無法讓它確切知道現在的模型能力到了什麼水準。
AI平台公司Hugging Face也在同月關閉了開放兩年的大型語言模型排行榜，強調在模型能力出現變化的當下，基準測試也應該要有所變化。
在這種情況下，遊戲開始成為研究人員測試AI模型能力的新方法，除了這次的《AI外交》外，加州大學哥倫比亞分校Hao AI Lab的研究人員，也測試了讓模型遊玩《超級瑪利歐》。
雖然遊戲能否作為衡量AI模型能力的適當標準，或許還需要更多研究與時間探討，這些測試也為未來評估AI模型能力的方法，揭示了不同的可能性。
延伸閱讀：AI也有人設？研究剖析7大AI內在性格：GPT最仁愛、Claude最謙遜⋯這2款AI最失控
捷星亞洲7/31停運！不敵廉航同業競爭「裁員500人」停損：對在台2航班有影響嗎？
資料來源：Business Insider、every.io
責任編輯：李先泰
