只花2.2毫秒完成推論!NVIDIA催化AI與人互動,大幅縮短BERT的語言訓練時間

2019.08.14 by
簡永昌
michelmond via shutterstock
看準未來市場對於對話式AI的需求,NVIDIA在其平台導入多項關鍵優化技術,解決致力訓練機器達到人類理解水準的瓶頸。不僅在訓練跟推論方面都有刷新速度紀錄,同時也建構出至今最大的語言模型。

Siri或是Alexa是你的好朋友嗎?日常生活都會跟他們說上兩句進行互動嗎?這些市場上為人熟悉的語音助理-對話式AI(人工智慧),明顯不同於純粹的「語音搜尋」,最大的差異在於:對話式AI讓人與機器有進一步互動的過程,而非單一的下達指令。

為了要讓對話式AI的表現更加自然、更接近我們人類的溝通語法,目前仰賴的「自然語言處理」(NLP),目的就是要讓電腦能更有能力去了解人類的語言。

而目前NLP最大的困難在於各種語言上的「博大精深」,該如何去讓機器可以在接收文本之後,能夠有最佳且自然的反饋,正確地去理解文句以及其前後文的意涵,是需要花時間去讓機器學習的。

如Alexa、Siri這些語音助理,其實都是一種對話式AI的表現。
Amazon

近來市場上訓練NLP語言模型的專案,包括BERT、ELMo、XLNet等。其中,Google的BERT更是目前訓練NLP的模型裡面,表現最佳的一個應用;作為開放資源的程式,臉書利用BERT所推出的語言模型:RoBERTa,更是橫掃各大自然語言處理測試排行榜,如GLUE排行榜評分第一。

BERT全名為轉譯器的雙向編碼表述(Bidirectional Encoder Representations from Transformers),是由Google所推出的語言代表模型。

做為一個語言模型(Language Model),最重要的就是在接收詞彙之後,可以去預估接下來詞彙出現的分布機率。但要讓它可以聰明的運作,需要的是極為大量的數據資料學習,以及實際能夠讓人了解的語法結構。再者,如此的語言模型,也能透過遷移學習導入到NLP,同時強化NLP的能力。

從以上的脈絡看來,完成一個語言模型的過程肯定是漫長又複雜的。但NVIDIA就是有辦法利用技術加快這個時程,到底為什麼呢?

人類正站在文明躍進的轉折點,我們所理解的未來科技,正以難以想像的發展逐步實現。
shutterstock

NVIDIA如何切入?讓AI在2年後做到15%的客服互動

研調機構Gartner預測,到了2021年,15%的客服互動將由AI執行,包括醫療、零售、金融業等,這樣的比例較2017年增加4倍。

看準互動式AI未來的發展,NVIDIA透過NVIDIA DGX SuperPOD,執行AI語言模式之一的BERT大型版本(BERT-Large),成功將過去需要長達數日的訓練時間,大幅縮短至53分鐘就能完成。同樣的,透過一台NVIDIA DGX-2系統,也能於2.8天內完成BERT-Large的語言訓練。

NVIDIA透過NVIDIA DGX SuperPOD來執行AI語言模式之一的BERT大型版本(BERT-Large),學習時間降低至53分鐘。
NVIDIA提供

NVIDIA應用深度學習研究副總裁Bryan Catanzaro在官方影片中表示,我們要是能用越短的時間訓練語言模型,那麼這些模型就能更快學習、理解人類遇到的問題,我們就可以更快獲得想取得的答案(結果)。

Bryan Catanzaro在官方影片中表示,能用越短的時間訓練語言模型,他們就能越快給予我們協助。
螢幕截圖

除了縮短訓練時程,推論的反應也相當快速。利用NVIDIA T4 GPU,BERT在SQuAD問答資料集上運作,只需要2.2毫秒就能完成推論,遠低於許多即時應用要求的10毫秒處理門檻;若是用CPU伺服器的話,將會花費約40毫秒的時間才能完成推論。

大型企業陸續導入,微軟藉此提供顧客更佳的搜尋體驗

當前全球也有近數百名開發者在運用NVIDIA AI平台,推動語言理解的研究並開發新服務,包括Microsoft Bing、Clinc、Passage AI等。

Microsoft Bing小組計畫經理Rangan Majumder就表示,目前透過 Azure AI 內建的 NVIDIA GPU,針對熱門的自然語言模型BERT進一步優化推論作業,在排名搜尋品質方面,以雙倍以上的速度超過以往在CPU平台縮短的延遲,網路吞吐量(Throughput)更提高5倍。

從NVIDIA釋出的影片也可發現,藉由「訓練有素」的對話式AI進行與消費者的溝通,機器可以很快速的掌握消費者的提問,並進行具有「溫度」跟「彈性」的回覆,讓對方不覺得是在與機器人溝通,這也是現在對話式AI成功的地方。

經由訓練,機器能快速辨識消費者的提問並給予反饋。
NVIDIA提供

Bryan也提到,當他們發現語言模型變得越來越大的時候,NVIDIA也輸入更多的數據去訓練它們,這些語言模型進而越來越實用。

以此之故,對話式AI將帶領人類到文明的下一個階段,機器更加了解人類的語言,十足的掌握人類的提問,並有效的協助我們解決未來各式的問題,與現今世界截然不同的社會樣貌也越來越清晰可見。

責任編輯:張庭銉

延伸閱讀

每日精選科技圈重要消息