由人工智慧OpenAI所打造的ChatGPT，風潮延燒全球，當中也用到不少繪圖晶片大廠輝達（NVIDIA）出產的GPU。
黃仁勳也在本屆GTC的議程中，與OpenAI聯合創始人暨首席科學家伊爾亞・蘇茨克維（Ilya Sutskever）開啟爐邊談話，雙方針對ChatGPT的誕生、訓練過程和未來願景進行對談。內容精華如下。
📍邀請您加入Web3+ Line社群，持續關注最重要的網路變革
👉 https://lin.ee/kItnyTh
黃仁勳（以下簡稱黃）： 你為何知道深度學習未來會發揮作用？你當初為何會接觸呢？
伊爾亞・蘇茨克維（以下簡稱蘇茨克維）： 回到2003年，學習是一件人類可以做但電腦不能做的事情，甚至理論上能不能實現都不知道。因此我想，若能在深度學習上做出一些成績，可能會是人工智慧最大的進步。很幸運的是，我遇到Jeff Hinton教授，他是在研究神經網路，因為神經網路是在學習平行處理運算，與大腦運作很相似。雖然還不太清楚如何讓它有作用，不過在當時，這已經是當時最可行的方向。
黃： 你剛開始研究時，運算的規模如何？
蘇茨克維： 其實當時沒人覺得規模很重要，因此人們訓練的只有50到100個神經元，100萬會被認為太龐大。當時我們在CPU上跑我們的數據，我們做了一些實驗，什麼都試看看。Jeff Hinton當時也認為用神經網路解一些數學問題非常有趣，這是生成模型的源頭。但隨後問題就出現：什麼應用才能真正推動技術進步？
黃： 你何時具體知道要建構視覺導向的網路神經運算，並參加電腦視覺競賽？
蘇茨克維： 在發展電腦視覺之前，我首先了解到監督式學習（Supervised learning）是我們的前進的方向。
編按：機器學習大致可分為三個方向，監督式學習、無監督式學習 與增強式學習；監督式學習指的是電腦從標籤化（labeled）的資訊中分析模式後做出預測，像是學習標準答案，可一邊修正去達到更精準的預測）。
這不僅僅是一種直覺，還是無法辯駁的前進方向。如果神經網路很深又強大，可以解決困難任務，關鍵字為「深」和「大」，但那時大家不關注神經網路。
大的神經網路能在面對問題時給予好的答案，但需要大量數據才能做到，不過，很明顯優化是一個瓶頸。當時Jeff Hinton教授的另一個研究生James Martens取得突破，他突出一種不同的優化的做法，讓我們證明神經網路是可訓練的。
所以路徑就很清楚： 你找到一些數據，把它變大，訓練神經網路，然後你就能成功 。但下一個問題是要找什麼數據，答案就是ImageNet（大型視覺資料庫）。當時ImageNet看起來難度很高，但只要你有足夠算力用於ImageNet的數據，就會成功。
黃： 那時候我們就開始攜手合作，你如何發現GPU是很有幫助的，但如何發生的，你沒和我說過？
蘇茨克維： Jeff Hinton教授告訴我們可以試試這個GPU，但一開始我們也沒搞懂要用在哪。接下來我們發現，ImageNet的數據及很適合用GPU來運算，速度很快，訓練規模前所未有。
黃： 你來到矽谷，和一些朋友創辦OpenAI，你對OpenAI最初的想法是什麼？你如何達到現在的成就？
蘇茨克維： 一開始，我們不是百分百知道如何推動，環境也和現在很不同。2015～2016年我們創業時，研究人員很少，只有100人，大部分人是從Google的DeepMind來的。
當時我第一個想法是透過壓縮數據，讓機器進行無監督學習，這個技術拿到現在來看，會覺得很簡單，只要預先訓練就好，但在2016年時根本沒人知道怎麼做。臉書（Meta）首席人工智慧科學家楊立昆（Yann LeCun）當時還到處演講說是巨大挑戰。
編按：機器在面對資料時，依照關聯性去歸類、找出潛在規則與套路等，不需事先以人力處理標籤，也不會判別資訊的正確性。
時至今日，GPT不只可做到壓縮訓練數據，也因為如此，在進一步發展後，我們在亞馬遜（Amazon）上預測下一則評論會出現的字詞，發現它具備預測能力，意味著可以發現數據中的秘密，這就是大家今天看到ChatGPT今天能做到的事：給它一些資訊，它能從中提煉和預測。
編按：GPT將大量的資訊壓縮，並進行歸類、找出潛在的規則）；壓縮得好，甚至還能有效提取數據中隱藏的訊息。
黃： OpenAI寫了一篇論文談論訓練規模大小的重要性，哪個東西你預見會先出現？是GPT1、2和3，還是訓練大小的規模擴展？
蘇茨克維： 我有一個很強大的信念就是越大越好。在OpenAI，有個重要任務是：如何正確運用越來越大的訓練規模，以及如何精準運用？另一個目標就是強化學習，但你要拿它做什麼？
第一個在OpenAI完成的大專案，就是我們解決實戰遊戲Data2，我們做了一個強化學習agent，讓它和自己對抗，目標是希望可和世界上最好的玩家競爭。
黃： ChatGPT是最簡單的應用程式，任何人都可以用。GPT-4在很多領域表現都令人驚艷，在很多測試中都領先了人類能做到的水準，GPT-4為何能有如此大的進步？
蘇茨克維： GPT-4在很多維度做了改變，它建立在有更好預測能力的基礎之上，當神經網路越能預測下一個字詞，相對來說也代表更理解文本的內容。
例如偵探小說中有很多難的字、事件、線索，當最後要揭曉誰是犯人時，有很多預測結果，但透過更了解文本，就能更精確的預測字詞（誰是犯人），這就是為什麼GPT-4功能更強大。
黃： ChatGPT會希望問問題的人先給予一些先備知識再給予回答，所以ChatGPT已具備內建的推理能力？
蘇茨克維： 某些程度上是，但現在神經網路的推理結果還不太可靠，有時候這些神經網路會有幻想，或做出人類不太會犯的錯誤，降低他們的用處。但我認為繼續做一些研究，能達到更高的可性度，使模型學會要問得更清楚再回答。
黃： 我之前看到GPT-4在維基百科頁面做檢索，GPT-4是否能在既存的事實資料中做檢索，印證其所推論得結果呢？
蘇茨克維： 目前發布的GPT-4沒有檢索能力，他只是很好的預測字詞工具。雖然GPT-4現在沒有支援檢索，但完全具備這樣的能力，能透過檢索讓答案變得更好。
黃： 有時候我們說「great（好）」或是「sick（生病、厭倦）」，可能會因誤情況不同產生不同語境，AI可以通過音頻等進行模型學習嗎？
蘇茨克維： 可以，影片很有用。
黃： 未來AI會自己訓練自己嗎？
蘇茨克維： 這個可能性仍有待觀察。
黃： AI未來最讓你興奮的地方在哪？
蘇茨克維： 預測是很難的，尤其對太具體的事。我認為這個領域會持續進步，我們將繼續看到AI持續震驚人類。AI未來絕對會達到可以讓人完全信賴，在它不懂時，將會開口要求更多資訊，這是人工智慧未來進步的一大關鍵。
黃： GPT-4什麼東西讓你驚訝？
蘇茨克維： 他展示很多很酷的東西，令人驚奇。首先，GPT-4可靠的程度令人驚艷。之前問問題，ChatGPT可能會用愚蠢的方式誤解，但GPT-4不會。
其次，GPT-4解決數學問題的能力超強大。很多人也注意到，它可以用一個字母開頭寫詩，很清晰遵循指令。在視覺方面，我喜歡他如何解釋迷因圖等笑話。
📍邀請您加入Web3+ Line社群，持續關注最重要的網路變革
👉 https://lin.ee/kItnyTh
責任編輯：林美欣
