本文作者林守德，為台灣大學資訊工程學系教授，專長為機器學習與資料探勘。曾率台大團隊獲得5屆ACM KDD Cup資料探勘競賽世界冠軍、曾獲傑出人才基金會年輕學者創新獎，科技部吳大猷先生紀念獎，也獲得國際公司如Google、Microsoft、IBM、INTEL的學術獎勵。全文刊載於他的Facebook頁面，《數位時代》獲得授權轉載。
我對圍棋一竅不通，過去也對AI-Game沒有特別研究，拜近日來AlphaGo重創人類在圍棋上領先的地位之賜，特別把這篇《Nature》上的論文（〈Mastering the game of Go with deep neural networks and tree search〉）拿來看了一下。
這是一篇非常有趣的論文，摘錄心得如下：
- AlphaGo 決策過程跟過去的棋類程式不大一樣。它裡面每一個stage單獨的方法都是不是新的創見，只是它組合這些方法的framework（框架）很特別。它的學習結果（不管是DNN或是RL）都只是中間產物，最後用來幫助搜尋最好的棋步。
編按：DNN為Deep Neural Nets的簡稱，中文譯為深度神經網絡；RL為Reinforcement Learning的簡稱，中文譯為增強式學習。
它的學習分三個階段，第一個階段「天下棋手為我師」，它主要希望建構一個13層的DNN來學「圍棋專家」的棋步（policy），也就是根據這個盤面預測過去歷史資料中大家會怎麼下。第一階段訓練出來的SL系統就可以下棋，但是結果不是很好，因為其實就只是個模仿專家的系統。
而第二階段「超越過去的自己」是一個增強式學習（Reinforcement Learning）的系統，藉由跟過去的自己對戰來增進（refine）第一階段學到的棋步，而且需要跟過去不同版本的對手對戰避免overfitting。在這個增強式學習的階段，才首度把勝負當成reward來訓練模型（model）。第二階段訓練出來的棋步已經有85％的機會贏過過去已知最強的圍棋程式（段數約二段）。
第三階段我戲稱為「機率算盡太聰明」。其宗旨在預估每個盤面的價值。所謂盤面的價值，就是從這個盤面開始，假設對手能夠窮舉所有可能的下法找到最佳解，AlphaGo的獲勝機率有多高。當然我們無法知道無懈可擊的對手會怎麼下，所以退而求其次，AlphaGo模擬跟自己下的過程決定每個盤面的「勝率」有多少，然後用有限的盤面與勝率當成訓練資料（Training data）再去訓練一個DNN估計所有盤面的價值。在這個階段還有一個招數，也就是這些當成訓練資料不能用第一階段資料庫蒐集的棋局盤面，因為同一局的盤面有高的相關性以及一樣的獎勵，會造成學習中的「記憶」效應，而是要用「與自己下棋」中每一局單獨抽取的獨立盤面來訓練。
前三個階段都是AlphaGo的「訓練」過程，這些都是offline可以做的。訓練好的AlphaGo已經可以贏過一般的對手。
雖然訓練好的第三階段AlphaGo就可以仗劍大殺四方，但是還不足以贏過高段的對手。因為實戰中的盤面有很大的機率是在訓練中沒有看過（圍棋的盤面總數高達250的150次方之多），對於它們價值的預測其實不一定準。真正在實戰中，AlphaGo採取「靈機應變，無招勝有招」的戰術，不堅持使用之前學習到的棋步，反而利用過去學到的棋步結合了蒙地卡羅樹狀搜尋（MCTS）的方法找出最好棋步。也就是在實戰中對現在盤面進行模擬下棋（再度假設對手就是自己），在模擬的過程中把所有經歷的盤面重新計算它們的價值，在有限的思考時間內盡量進行模擬，最後選擇模擬過程中最穩定的棋步（不是價值最高的棋步）。在這個過程中需要快速的運算，越多的模擬就會讓盤面價值的計算越準，AlphaGo利用平行化計算加上GPU達成高速運算的目的。
演算法總結：AlphaGo第一階段的訓練過程就像是把一個人關在房間裡，不告訴他圍棋是什麼，也不告訴他圍棋的規則，甚至連圍棋最後怎麼算勝負都不跟他說，只拿一大堆過去專家下棋的棋譜給他看。然後等它看完棋譜後，第二階段就讓他自己跟自己下棋，從中學習更好的下法，最後第三階段它只要看到某個盤面就知道這個盤面的勝率，雖然從頭到尾它還是不知道圍棋的規則。
真正在下棋的時候，AlphaGo還是沈浸在自己的世界裡。每當對手下完一步，它就開始模擬接下來可能的數步（模擬的時候就是假設對手是自己，所以對手是誰對AlphaGo而言完全不重要，他也完全不去預測對手會怎麼下），在模擬的過程中，它就重新對於未來可能面對棋局來估算勝率，最後選擇最穩定最有可能獲勝的棋步。它的風格就像是金庸筆下的獨孤九劍，不拘於定式，而是當下根據對手的招式才決定最佳的進擊策略。
AlphaGo並沒有針對對手的棋步訓練系統，我不確定在他使用的數據裡面有沒有李世石的棋譜，不過就算是有，所占的比例也應該微乎其微。「自我學習」（與自己對戰）才是AlphaGo的主軸。
看起來AlphaGo所使用的所有招數跟方法是缺一不可，論文裡面還有一些決策（decision）的細節並沒有講清楚，但是相信是嘗試錯誤後決定的。
後記1：AlphaGo的唯一目的是最後的勝利，所以在過程中它並不在乎下某一子的短期利益（會贏多少地盤），它甚至對於這些短期損益完全沒有認知，在訓練的過程中也不在乎「贏幾目」。在與人類對決的時候，我們看到棋評會指出它犯了一個「失誤」，或是它不喜歡某種策略如「打劫」。其實如果瞭解AlphaGo的決策模式，就會知道他其實沒有「策略」以及「失誤」的概念，對它而言，棋類等遊戲就是對於每個盤面精確且快速的估算其通往勝利的機率。
後記2：因為AlphaGo在下棋的過程中會看到越來越多的盤面，所以它只會愈來愈進步。未來如果人類想從與其對奕中取得勝利，必須要能夠走出前所未見的局面，降低它對於盤面估測的準確度才會有機會。這也不是完全不可能，因為圍棋的複雜度太高。其實要更理解AlphaGo，必須要去研究它present每一個盤面所用的features，我因為不懂圍棋，所以沒有辦法評論。但是理論上如果它遺漏了某個重要的特徵，表示它無法利用這個資訊判斷盤面的價值，人類可以利用這個資訊去進攻，盡量去創造某個比較不容易被已有的feature來表達的盤面。
延伸閱讀：淺談Alpha Go所涉及的深度學習技術
