4月18日消息，OpenAI的聊天機器人ChatGPT可謂是功能強大，引起了人們對人工智慧的極大興趣和投資。但該公司的CEO山姆·奧特曼(Sam Altman)認為，現有研究策略已經失效，未來的AI進步需要新的思路。
近年來，OpenAI通過將現有的機器學習演算法擴展到以前無法想像的規模，在處理語言方面取得了一系列令人印象深刻的進步。其最近開發的項目是GPT-4，據稱已經使用數兆字的文本和數千個強大的計算機晶片進行訓練，耗資超過1億美元。
但是，奧特曼表示，未來AI的進步不再依賴於將模型變得更大。在麻省理工學院的一次活動上，他說：「我認為，我們正處在一個時代的盡頭。在（即將過去的）這個時代，模型變得越來越大。現在，我們會在其他方面讓它們變得更好。」
奧特曼的表態意味著，開發和部署新AI演算法的競賽出現了出人意料的轉折。自去年11月推出ChatGPT以來，微軟就開始利用這一底層技術在其必應搜索引擎中添加了聊天機器人，Google也推出了名為Bard的競爭對手。許多人都迫不及待地嘗試使用這種新型聊天機器人來幫助完成工作或個人任務。
與此同時，許多資金充足的新創公司，包括Anthropic、AI21、Cohere和Character.AI等，正在投入大量資源用於構建更大的演算法，以努力趕上OpenAI的腳步。 ChatGPT的初始版本是基於GPT-3構建的，但用戶現在也可以接觸到功能更強大的GPT-4版本。
奧特曼的陳述也暗示，採用將模型擴大並提供更多數據進行訓練的策略後，GPT-4可能是OpenAI最後一項重大成果。不過，他沒有透露任何可能替代當前方法的研究策略或技術。在描述GPT-4的論文中，OpenAI表示，其估計表明，擴大模型規模的回報正在減少。奧特曼說，該公司可以建立的數據中心數量以及建設這些中心的速度也都受到物理限制。
Cohere的聯合創辦人尼克·弗羅斯特（Nick Frosst）曾在Google從事人工智慧研究，他表示，奧特曼所說的「不斷擴大模型規模並不是無限制的有效解決方案」是正確的。他認為，針對GPT-4和其他transformers類型（transformers直譯為轉換器，而GPT是Generative pre-trained transformers的簡寫，意思是基於轉換器的生成式預訓練模型）的機器學習模型，進展不再只是靠擴大規模。
弗羅斯特補充說：「有很多方法可以讓transformers變得更好、更有用，而且很多方法都不涉及給模型增加參數。新的人工智慧模型設計或架構，以及基於人類反饋的進一步調整，都是許多研究人員已經在探索的前進方向。」
在OpenAI的語言演算法家族中，每個版本都由人工神經網絡組成，這個軟體的設計靈感來自於神經元之間相互作用的方式，經過訓練後，它可以預測應該跟隨在給定文本字符串後面的單詞。
2019年，OpenAI發布了其第一個語言模型GPT-2。它最多涉及到15億個參數，這一指標能夠衡量神經元之間可調整的連接數量的大小。這個數字非常大，這在某種程度上要歸功於OpenAI研究人員的發現，擴大規模使模型變得更加連貫。
2020年，OpenAI推出GPT-2的後繼者GPT-3，該模型規模更大，參數高達1750億個。 GPT-3在生成詩歌、電子郵件和其他文本方面具備廣泛能力，這令其他公司和研究機構相信，他們可以將自己的AI模型擴展到與GPT-3類似甚至更大的規模。
去年11月，ChatGPT首次亮相後，表情包製造者和科技專家猜測，當GPT-4問世時，它將是個擁有更多參數、更為複雜的模型。然而，當OpenAI最終宣布新的人工智慧模型時，該公司沒有透露它有多大，也許是因為規模不再是唯一重要的因素。在麻省理工學院的活動上，奧特曼被問及GPT-4的培訓成本是否有1億美元，他回答說：「不止如此。」
儘管OpenAI對GPT-4的規模和內部工作原理保密，但很可能它已經不再僅僅依賴於擴大規模來提高性能。有一種可能性是，該公司使用了名為「強化學習與人類反饋」的方法，用於增強ChatGPT的能力，包括讓人類判斷模型答案的質量，以引導它提供更有可能被判斷為高質量的答案。
GPT-4的非凡能力讓許多專家感到震驚，並引發了關於AI改變經濟潛力的辯論，以及其可能傳播虛假訊息和製造失業的擔憂。許多企業家和AI專家最近簽署了一封公開信，呼籲暫停開發比GPT-4更強大的模型6個月，其中包括特斯拉執行長伊隆·馬斯克。
在麻省理工學院的活動中，奧特曼證實，他的公司目前沒有開發GPT-5。他補充說：「這封公開信的早期版本聲稱OpenAI正在訓練GPT-5。實際上我們並沒有這樣做，短期內也不會。」
本文授權轉載自：網易科技
責任編輯：傅珮晴、錢玉紘
