只花2.2毫秒完成推論!NVIDIA催化AI與人互動,大幅縮短BERT的語言訓練時間
只花2.2毫秒完成推論!NVIDIA催化AI與人互動,大幅縮短BERT的語言訓練時間

Siri或是Alexa是你的好朋友嗎?日常生活都會跟他們說上兩句進行互動嗎?這些市場上為人熟悉的語音助理-對話式AI(人工智慧),明顯不同於純粹的「語音搜尋」,最大的差異在於:對話式AI讓人與機器有進一步互動的過程,而非單一的下達指令。

為了要讓對話式AI的表現更加自然、更接近我們人類的溝通語法,目前仰賴的「自然語言處理」(NLP),目的就是要讓電腦能更有能力去了解人類的語言。

而目前NLP最大的困難在於各種語言上的「博大精深」,該如何去讓機器可以在接收文本之後,能夠有最佳且自然的反饋,正確地去理解文句以及其前後文的意涵,是需要花時間去讓機器學習的。

Amazon Alexa
如Alexa、Siri這些語音助理,其實都是一種對話式AI的表現。

近來市場上訓練NLP語言模型的專案,包括BERT、ELMo、XLNet等。其中,Google的BERT更是目前訓練NLP的模型裡面,表現最佳的一個應用;作為開放資源的程式,臉書利用BERT所推出的語言模型:RoBERTa,更是橫掃各大自然語言處理測試排行榜,如GLUE排行榜評分第一。

BERT全名為轉譯器的雙向編碼表述(Bidirectional Encoder Representations from Transformers),是由Google所推出的語言代表模型。

做為一個語言模型(Language Model),最重要的就是在接收詞彙之後,可以去預估接下來詞彙出現的分布機率。但要讓它可以聰明的運作,需要的是極為大量的數據資料學習,以及實際能夠讓人了解的語法結構。再者,如此的語言模型,也能透過遷移學習導入到NLP,同時強化NLP的能力。

從以上的脈絡看來,完成一個語言模型的過程肯定是漫長又複雜的。但NVIDIA就是有辦法利用技術加快這個時程,到底為什麼呢?

未來_賽博_數位_數據
人類正站在文明躍進的轉折點,我們所理解的未來科技,正以難以想像的發展逐步實現。
圖/ shutterstock

NVIDIA如何切入?讓AI在2年後做到15%的客服互動

研調機構Gartner預測,到了2021年,15%的客服互動將由AI執行,包括醫療、零售、金融業等,這樣的比例較2017年增加4倍。

看準互動式AI未來的發展,NVIDIA透過NVIDIA DGX SuperPOD,執行AI語言模式之一的BERT大型版本(BERT-Large),成功將過去需要長達數日的訓練時間,大幅縮短至53分鐘就能完成。同樣的,透過一台NVIDIA DGX-2系統,也能於2.8天內完成BERT-Large的語言訓練。

NVIDIA DGX SuperPOD
NVIDIA透過NVIDIA DGX SuperPOD來執行AI語言模式之一的BERT大型版本(BERT-Large),學習時間降低至53分鐘。
圖/ NVIDIA提供

NVIDIA應用深度學習研究副總裁Bryan Catanzaro在官方影片中表示,我們要是能用越短的時間訓練語言模型,那麼這些模型就能更快學習、理解人類遇到的問題,我們就可以更快獲得想取得的答案(結果)。

NVIDIA 應用深度學習研究副總裁Bryan Catanzaro
Bryan Catanzaro在官方影片中表示,能用越短的時間訓練語言模型,他們就能越快給予我們協助。
圖/ 螢幕截圖

除了縮短訓練時程,推論的反應也相當快速。利用NVIDIA T4 GPU,BERT在SQuAD問答資料集上運作,只需要2.2毫秒就能完成推論,遠低於許多即時應用要求的10毫秒處理門檻;若是用CPU伺服器的話,將會花費約40毫秒的時間才能完成推論。

大型企業陸續導入,微軟藉此提供顧客更佳的搜尋體驗

當前全球也有近數百名開發者在運用NVIDIA AI平台,推動語言理解的研究並開發新服務,包括Microsoft Bing、Clinc、Passage AI等。

Microsoft Bing小組計畫經理Rangan Majumder就表示,目前透過 Azure AI 內建的 NVIDIA GPU,針對熱門的自然語言模型BERT進一步優化推論作業,在排名搜尋品質方面,以雙倍以上的速度超過以往在CPU平台縮短的延遲,網路吞吐量(Throughput)更提高5倍。

從NVIDIA釋出的影片也可發現,藉由「訓練有素」的對話式AI進行與消費者的溝通,機器可以很快速的掌握消費者的提問,並進行具有「溫度」跟「彈性」的回覆,讓對方不覺得是在與機器人溝通,這也是現在對話式AI成功的地方。

NVIDIA BERT語言理解
經由訓練,機器能快速辨識消費者的提問並給予反饋。
圖/ NVIDIA提供

Bryan也提到,當他們發現語言模型變得越來越大的時候,NVIDIA也輸入更多的數據去訓練它們,這些語言模型進而越來越實用。

以此之故,對話式AI將帶領人類到文明的下一個階段,機器更加了解人類的語言,十足的掌握人類的提問,並有效的協助我們解決未來各式的問題,與現今世界截然不同的社會樣貌也越來越清晰可見。

責任編輯:張庭銉

往下滑看下一篇文章
帳戶安全再升級!國泰世華銀行攜手國泰產險以科技與保險打造新世代數位防衛陣線
帳戶安全再升級!國泰世華銀行攜手國泰產險以科技與保險打造新世代數位防衛陣線

根據金融監督管理委員會公布的數據資料,截至2024年底,台灣數位存款帳戶的開立數量突破2,446萬戶,較2023年(1,968.6萬戶)增加24.3%,超越了總人口數,與此同時,帳戶安全也面臨前所未見的挑戰。

國泰世華銀行作為台灣金融領導品牌,不僅提供用戶導向的便捷安全金融服務體驗,透過先進技術杜絕駭客、釣魚攻擊風險,同時,以全方位CUBE App 帳戶安全健檢機制搭配跨界創新推出的「帳戶安全險」,打造從「預防」到「關懷」的數位金融安全。

國泰世華銀行攜手國泰產險,以帳戶安全健檢與帳戶安全險雙引擎竭盡保障金融安全

隨著數位金融普及成為你我日常生活的一部份,詐騙集團或駭客以各種方式發動攻擊,如釣魚簡訊、木馬程式竊取帳密、假網站盜取信用卡資訊,或者是假冒官方機構的社交工程…等,因此,無論是登入金融帳戶、轉帳、消費,還是投資理財,民眾除要有資安防護意識,金融機構提供的科技防護也是重要防線。

國泰世華銀行領先市場推出的CUBE App 帳戶安全健檢服務,從登入安全、交易安全、個資安全與系統安全…等四個面向提醒用戶須注意的地方,包含登入兩步驟驗證、FIDO快速登入、裝置綁定、交易認證碼、人臉辨識驗證交易、交易推播通知、Email/手機號碼檢核、App版本、手機作業系統…等項目,完成CUBE App 帳戶安全健檢設定,即可再強化帳戶安全的防護等級。國泰世華銀行對於數位安全不斷突破創新,此次攜手跨界夥伴–國泰產險推出「帳戶安全險」活動,用戶若完成10項安全健檢設定,並至CUBE App保險專區點選參加帳戶安全險活動,即有可能獲得最高新臺幣16,000元的理賠保障(限額45,000名)。(詳細保障內容依國泰世華銀行官網為準,可至活動專頁查詢。)

登入、交易、個資、系統等四層面十大安全健檢項目
登入、交易、個資、系統等四層面十大安全健檢項目
圖/ 國泰世華銀行

根據用戶動態提供主動防禦與提示,阻擋盜用、詐騙潛在風險

除從帳戶安全出發,國泰世華銀行更因應消費者使用行為,以多項主動防禦與智能提示機制保障交易前、中、後安全,讓安全防護不再是被動防禦,而是隨時偵測、即時反應:例如,透過「登入兩步驟驗證」等方式強化登入安全,運作概念就像是Google帳號的雙重驗證機制,當陌生裝置嘗試登入CUBE App帳戶時,系統會即時發出第二道OTP驗證來確認登入者身分,大幅提升登入安全。其次,用戶還可透過CUBE App啟動、人臉辨識驗證與交易認證碼…等多元交易驗證機制,並且綁定裝置才可使用,大幅保障交易安全。

除了前述安全機制,CUBE App還有提供「卡片安全鎖」服務,可依照交易地區、交易類型、交易時間與單筆交易金額上限進行個別設定,讓用戶根據自身需求,靈活控管用卡範圍。而針對風險與頻率日益攀升的釣魚簡訊詐欺事件,CUBE App也有「簡訊收件匣」提供客戶確認簡訊來源,若收到疑似詐騙簡訊客戶能直接開啟CUBE App登入後查詢簡訊內容,讓用戶可以一眼辨識訊息來源,杜絕偽冒門號發送的詐騙簡訊。

持續與時俱進推升數位安全防護

從全方位的 CUBE App 帳戶安全健檢、業界首創的帳戶安全險,到全面覆蓋交易前中後的進階防護機制,國泰世華銀行始終以用戶需求為出發點,結合跨界創新,不斷推升金融科技的安全標準。未來,將持續進化安全防護策略、精準因應各種場景挑戰,以高規格守護每一位用戶的資產安全,讓用戶可以安心享受智慧金融生活。

本文係由國泰世華銀行邀約,產險商品由國泰產險提供

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
AI全球100+台灣50
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓