強化學習(Reinforcement Learning)相對於監督式學習(Supervised Learning)屬於機器學習的另一個分支,指的是透過互動環境以嘗試錯誤法學習達成某個具體目標,獲得到特殊分數或獎勵。為了讓更多人可以實體動手做,同時熟悉機器學習的相關開發應用工具,AWS 在年度開發者大會 re:Invent 2018 宣布推出深度學習遙控車 AWS DeepRacer,要透過遙控競速樂趣帶動更多人鑽研深度學習領域的軟硬整合應用。
AWS DeepRacer 是一個 1:18 縮小版本的無線控制四輪傳動車。車上搭載 400 萬像素/解析度高達 1080p 的鏡頭、雙頻高速 Wifi(802.11ac)、每次電池充滿電可以續航超過 2 小時。 DeepRacer 擁有 Intel Atom 處理器,其上跑了 Ubuntu 為 IoT 與機器設備特化的機器人作業系統(ROS, Robot Operating System),並配備 Intel 專為電腦視覺開發的 OpenVino 工具集。
既然來自 AWS,DeepRacer 毫不意外地支援完整混合雲開發環境,讓你可以自在訓練你的強化學習模型。可以透過 AWS 為機器學習模型設計的開發環境 SageMaker 與 3D 模擬環境 RoboMaker 來訓練機器學習模型,透過虛擬環境訓練完的駕車規則模型,可以直接下載到 AWS DeepRacer 這個實體汽車,以真實環境的遙控車競速,驗證機器學習模型的效能。
目前主流的自駕車駕駛精靈主要就是依賴強化學習,DeepRacer 正是讓一般人也可以輕鬆上手學習強化學習模型,並用在自駕開發環境的好工具。AWS 也為 DeepRacer 準備了聯盟賽事,預計在 2019 年透過一連串全球直播的年度對戰,最終在 2019 年的 AWS 年度開發者大會 re:invent 選出 AWS DeepRacer 2019 冠軍盃。定價 399 美元的 DeepRacer 目前正在 Amazon 美國官網進行預購,預購價格僅需 249 元美元,官方預計將在 2019 年 3 月出貨。配合 DeepRacer 需要的 SageMaker、RoboMaker、資料儲存用的、串流用平台 KVS 與監控平台 CloudWatch 另需雲計算費用,每小時約 3.04 美元(約合新台幣 100 元)。