AI 學會東西的方式，和人類學會東西的方式，不只常常雷同，還往往能夠反過頭來給我們人類很大的啟發。
Meta 超級智慧實驗室（Superintelligence Lab）與牛津大學的科學家們最近的一個研究，相當具有啟發性。
假設我們現在讓一位天資聰穎的小朋友，從出生起就只被允許閱讀純文字（或是只能聽 podcast 或有聲書來學習）。並且用這個方式讓他讀完了圖書館裡所有的書：從牛頓的「原理」、莎士比亞的劇本、到網路上的程式碼、鄉民的廢文也好，全部看完、全部吸收。
他從未親眼看過一張照片、一段影片。他的世界只有文字，完全沒有「視覺」的經驗、沒有「看過」任何東西。
總之，就是透過全部是文字的方式，把人類的知識全部學完了。
那麼，如果我們現在讓這位小朋友「睜開眼睛」，他能立刻理解眼前這個複雜的世界嗎？例如，看懂一張照片裡人們微妙的表情，或是一場球賽中攻防的動態關係？
Meta 與牛津大學的科學家們，在這項耗資 50 萬 GPU 小時的龐大研究中，給出了一個驚人的答案： 一個只靠「讀萬卷書」長大的 AI，在真正「行萬里路」之前，其心智中早已具備了理解視覺世界的驚人潛力 。
也就是說，這個 AI 小朋友居然只靠著吸收文字，就培養出了會「看」東西的能力。
以往我們總是把一個人區分成是「文字型」還是「視覺型」的學習者，但這篇論文的結論似乎打破了這個界線，雖然我們現在訓練的對象是 AI 而不是人類，但這篇論文對於訓練 AI 的發現，讓我們得以從人類學習的角度反思一些更深的問題： 對我們人類而言，到底什麼才是學習的本質？讀萬卷書、還是行萬里路比較好？
這些一直以來的大哉問，似乎也可以透過我們與 AI 的互動和科學研究，有了新的啟發和屬於現代的答案。
我們還是用最簡單的方式，來稍微看看到底最近人類從 AI 的學習當中發現了什麼。（請不要左轉）
這項研究最關鍵的地方，是發現 AI 從文字中獲得「視覺先驗（visual prior）」的方式，是由兩種學習成果所構成。「視覺先驗」看似是個高深的專有名詞，但這邊簡單理解就是「看東西的能力」而已；所以當中的「先驗」指的是「預先具備的能力或是知識」。
再來，AI 這裡的大腦結構，採用的是目前像 Llama-3 這類模型主流的「decoder-only」架構。（請不要左轉）
這種架構其實就是「文字接龍」大師，AI 在這個架構下的核心任務是「根據前面的內容，預測下一個最合理的字詞」。為了完美地完成這個看似簡單的任務，AI 被迫要學會理解文法、上下文、事實，甚至是字裡行間的情緒和意圖。
這個架構也是為什麼 AI 常常一本正經地胡說八道的原因，因為 AI 每次回答只是在做文字接龍，而不是去驗證自己說的話是對還是錯。
不過，正是這種「被迫」的深度學習，為它孕育出了兩種關鍵能力。這其實就是各位可能聽過的「湧現（emergence）」，指的是當一件事物變得複雜或很大時，會產生出不可預期的新特性，這是目前大自然當中最迷人、也最費解的神奇現象。
AI的「視覺先驗」是怎麼構成的？
第一種能力，研究者稱為「推理先驗」(Reasoning Prior)。這並非指「具體的知識」，而是一種更底層、更抽象的「思維框架」。這就像我們學習數學或程式設計，其真正的目的不是記住公式或語法，而是要內化一種分析問題、建立因果、洞察模式的邏輯能力。就像是學內功，而不是學表現上的花俏招式。
研究發現，AI 正是透過大量閱讀高度結構化的文本，例如程式碼、數學公式和學術論文，來鍛鍊這種「思維肌肉」的。這套思維框架是跨領域的，今天用它來理解程式碼的迴圈與條件，明天就能用它來理解一張圖片裡「因為 A，所以 B」的邏輯關係。
第二種能力，則被稱為「感知先驗」(Perception Prior)。這像是我們腦中的「世界常識百科全書」，包含了對具體事物的認知。我們是如何知道「天空是藍的」、「貓有鬍鬚」？並非透過嚴謹的邏輯推導，而是來自於成長過程中，從無數的故事、對話和閱讀中，潛移默化、無數次重複後形成的印象。
AI 也是如此，它透過閱讀網路上包羅萬象的通用文本，以一種「彌散式（diffusely）」的方式，逐漸將關於物體顏色、形狀、名稱等基礎知識，收錄進自己的心智資料庫。
AI到底是怎麼「開眼」的？
為了精準地分離出 AI 在「睜眼」前到底學會了什麼，研究團隊設計了一個極其巧妙的實驗流程。
1.他們先把純文字訓練好的語言模型（LLM）的「文字大腦」給「凍結」起來，不允許其內部參數再發生改變。
2.他們外掛上一個能看懂圖片的「視覺編碼器」（Visual Encoder，可以想像成 AI 的眼睛），並只訓練一個小小的「轉接器」（Adapter），讓它負責把「眼睛」看到的資訊，翻譯成「大腦」能聽懂的語言。
這個設計的巧妙之處在於，如果 AI 的「文字大腦」在預訓練階段就已經很「聰明」、邏輯很強，那麼這個小小的「翻譯官」就能事半功倍，輕鬆地將視覺資訊轉化為深刻的理解。反之，如果大腦本身是個草包，再好的翻譯官也無能為力。透過這個方法，他們得出了幾個極具啟發性的結論：
一個很聰明的AI，原來是這樣來的！
首先，「教材」的類型，決定了學到的能力。 實驗證明，那些主要閱讀「程式碼」和「數學」長大的 AI 模型，在需要抽象思考的視覺問答（VQA）任務上表現最好：這類任務考的不是「圖裡有什麼？」，而是「 圖裡的人為什麼要這麼做？ 」這清晰地指出，特定的訓練材料會塑造出特定的心智能力，就像常做邏輯謎題的孩子，解決新問題的能力會更強一樣。
其次，也是深具啟發的一個發現是： 不同的學習內容，存在著截然不同的「效益曲線」 。對於程式碼這類能鍛鍊思維的「推理教材」，AI 是多多益善，當其在訓練資料中的佔比持續提升到 75% 左右時，模型的視覺推理能力仍在顯著增強。然而，對於描述顏色、形狀的「常識教材」，其學習效果會迅速「飽和」。AI 只需要一小部分這類資料打下基礎，再餵養更多，效果的提升就微乎其微了。
這給了我們一個啟示： 想讓 AI 變得更聰明，與其讓它死記硬背一百萬次「蘋果是紅色的」，遠不如讓它多去解析一些複雜的程式碼或數學證明 。前者只是在增加資料庫的冗餘，後者卻是在升級整個底層邏輯的作業系統。
最後，實驗還發現，這個 AI 學到的「思維框架」是通用且獨立的。這也印證了他們實驗設計的巧妙之處：因為 AI 的「文字大腦」在接入視覺時是被「凍結」的，所以無論給它接上哪一款「眼睛」（視覺編碼器），只要大腦本身邏輯強，它解決複雜視覺問題的能力都會很強。相反的，「常識百科」這部分能力，就更依賴於「眼睛」本身的品質和後期「翻譯官」的針對性訓練。
基於這些發現，研究團隊接下來不再只是被動觀察，而是主動出擊打造 AI 的「黃金學習菜單」。他們最終為一個擁有 70 億個參數的 AI 大腦，調配出了一套黃金學習「平衡配方」。這份「菜單」並非簡單的資料大雜燴，而是一個精心設計的比例，其中富含能鍛鍊思維的推理內容，同時搭配了適量的、能建立世界常識的訓練資料。
結果，用這套配方訓練出的模型，不僅在所有視覺測試中全面超越了其他對照組，甚至在純語言能力上，也絲毫不輸給那些專門為語言任務優化的模型。這證明了，我們可以「未卜先知」，在 AI 的「幼兒期」（純文字預訓練階段），就為它未來的多模態發展，打下很好的基礎，專注在建立底層邏輯，而非過多重複性的死記硬背。
這裡還是要強調一下，死記硬背有其必要，但過了一個程度就會邊際效益遞減，重點是抓住死記硬背的效益的甜蜜點，這也是這個研究的發現之一。
看到這邊，AI 跟我們人類的學習，是不是很像呢？
這篇論文不僅僅是在談論如何構建更強大的 AI。它更像是在用海量的數據和嚴謹的實驗，為我們印證了一個古老的教育哲學： 學習的核心，是建立思考的能力，而不僅僅是知識的堆疊 。
而且，文字和圖像，似乎都只是我們所處的這個複雜世界，在不同媒介上的「投影」罷了。一個真正掌握了底層規律的人類或是 AI，可以僅僅透過深入研究其中一種投影（文字），就反推出創造出這些投影的那個「現實世界」的內在結構。
在 AI 的專業領域中，這叫做遷移學習「Transfer Learning」；在人類世界，這就做「一法通、萬法通」。
雖然 AI 的發展才剛剛開始。但已經為我們帶來了很多寶貴的啟示，促使我們去重新思考：對於我們自己，對於下一代，到底什麼樣的學習方式，才是真正通往「理解」的康莊大道？
本文授權轉載自程世嘉Facebook
