大型推理模型並不知道自己在說什麼？
OpenAI執行長山姆．奧特曼（Sam Altman）一向是廣為人知的AI樂觀論者，他近期的部落格專文指出，AI發展已經進入「溫和奇點」，亦即超級AI即將帶領人類起飛，從生產力到社會結構都會出現飛越式的躍升。
有趣的是，才辦完年度WWDC大會的蘋果，卻在近期發布一份研究報告，其中對「AI擅長思考」的說法大潑冷水，直言AI面對高複雜度問題仍然有其缺陷，「甚至不知道自己在說些什麼。」
一邊是端出殺手級應用的ChatGPT之父，另一邊則是近20年開啟智慧型手機世代的巨頭，為何他們對當前AI發展的看法如此極端？
蘋果：大型LLM遇到難題會「放棄思考」
蘋果在WWDC開發者大會前發表的一份研究《思考的幻覺》（The Illusion of Thinking）中，點名大型推理模型，在遇到過於複雜的問題時會「放棄思考」，減少投入的思考資源，無論是OpenAI的o1/o3、DeepSeek R1，還是Google 的Gemini Flash Thinking都是如此。
蘋果研究人員在實驗中測試了「河內塔」、跳棋問題和渡河問題（狐狸、雞、豆子）等經典益智題目。河內塔的目標是在三根柱子中，將不同大小的圓盤從一根柱子移動到另一根，同時遵守不能將大盤子放在小盤子上的規則。
這些都是相當經典、有一定邏輯的益智問題，只要掌握背後脈絡即使增加題目規模，例如更多的圓盤，人類仍能輕易解答，但大型推理模型到一定程度後，就會開始「秀逗」，無法正常解開題目，即使研究人員給予提示，讓模型按照演算法處理，也無法提昇準確度。
蘋果提到，在面對簡單問題時，大型語言模型表現優於大型推理模型；而中等複雜度問題時，大型推理模型會反過來展現優勢；但面對高複雜度問題時，兩種模型都會崩潰。
整體而言，蘋果研究人員在報告中指出了幾個問題：
問題一：準確度崩潰
當大型推理模型處理超過一定複雜度的任務時，準確性會大幅下降，甚至展現出反常的限制，即在擁有足夠資源的情況下，面對複雜任務反而減少推理資源投入，顯示當面對複雜問題時，模型可能無法有效推理，進而導致生成錯誤或憑空捏造──也就是幻覺。
問題二：無法精確計算
大型推理模型在執行精確計算上有著巨大的侷限，並且無法在不同任務中一致運用邏輯推理，或者妥善利用演算法，這種問題可能導致模型生成不符合事實或邏輯的資訊。
問題三：自我修正效率低
面對較簡單的問題時，大型推理模型會「過度思考」，儘管確定了正確答案，仍會花費資源探索錯誤的替代答案，導致表現不如一般的大型語言模型，而超過一定複雜程度的問題，模型完全無法找到正確答案，顯示大型推理模型有限的自我修正能力。
蘋果還指出，目前的評量方法主要集中在最終答案的準確性上，這些方法無法深入了解大詳推理模型內部推理過程的品質和結構，而幻覺問題正是源於這些缺陷，這使得僅檢視最終輸出結果無法找出問題。
值得一提的是，近來有越來越多的聲音認為，目前常用來檢測AI能力的基準測試，已經無法準確反應模型真正的性能。OpenAI共同創辦人安德烈．卡帕斯（Andrej Karpathy）今年4月就表示，「我現在真的不知道該看什麼指標了。」指出過往很棒的基準測試，已經難以讓他正確評量現在的模型能力。
打臉蘋果論文！實驗設計缺陷，讓AI智商被低估
不過，並不是所有人都認同蘋果發布的這項研究結果。慈善機構Open Philanthropy研究人員艾力克斯．勞森（Alex Lawsen）發表了一篇反駁文章《思考幻覺的幻覺》（The Illusion of the Illusion of Thinking）， 聲稱蘋果這聳動的研究結果，實際上混淆了實驗設計上的缺陷與推理能力的限制。 Open Philanthropy是OpenAI的早期資助者，曾提供3,000萬美元資金。
該反駁文章提到，他認為蘋果在解釋模型「崩潰」時，忽略了Token輸出上限， 例如在解8層或以上的河內塔問題時，模型會明確表示為了節省Token而停止輸出，是受到輸出長度限制而非無法推理。
蘋果使用自動化的流程評估模型輸出結果，無法正確區分推理失敗？還是Token不夠只能輸出部份結果？這些都被歸類為完全失敗。
他也指出，只要改變回答條件，讓大型推理模型有辦法在Token範圍內輸出結果後，Claude、Gemini以及o3等模型，可以輕易解開15層河內塔問題。
另外，反駁文章還聲稱，蘋果的渡河測試中包含了無解的問題。「模型得到零分並非因為推理失敗，而是因為正確辨識出無解的問題。」文章中寫道。
這篇反駁文章顯示，大型推理模型或許確實無法處理需要大量Token的邏輯問題，但並不像蘋果研究所示的那麼脆弱。
但勞森也承認AI在將學習到的知識運用在前所未見的狀況時，能力仍然有所侷限，他這篇文並不是想辯駁AI模型有多聰明，而是在宣佈推理崩潰前，我們需要更合理的評估標準。
本文合作轉載自：數位時代
責任編輯：李先泰
