只花2.2毫秒完成推論!NVIDIA催化AI與人互動,大幅縮短BERT的語言訓練時間
只花2.2毫秒完成推論!NVIDIA催化AI與人互動,大幅縮短BERT的語言訓練時間

Siri或是Alexa是你的好朋友嗎?日常生活都會跟他們說上兩句進行互動嗎?這些市場上為人熟悉的語音助理-對話式AI(人工智慧),明顯不同於純粹的「語音搜尋」,最大的差異在於:對話式AI讓人與機器有進一步互動的過程,而非單一的下達指令。

為了要讓對話式AI的表現更加自然、更接近我們人類的溝通語法,目前仰賴的「自然語言處理」(NLP),目的就是要讓電腦能更有能力去了解人類的語言。

而目前NLP最大的困難在於各種語言上的「博大精深」,該如何去讓機器可以在接收文本之後,能夠有最佳且自然的反饋,正確地去理解文句以及其前後文的意涵,是需要花時間去讓機器學習的。

Amazon Alexa
如Alexa、Siri這些語音助理,其實都是一種對話式AI的表現。

近來市場上訓練NLP語言模型的專案,包括BERT、ELMo、XLNet等。其中,Google的BERT更是目前訓練NLP的模型裡面,表現最佳的一個應用;作為開放資源的程式,臉書利用BERT所推出的語言模型:RoBERTa,更是橫掃各大自然語言處理測試排行榜,如GLUE排行榜評分第一。

BERT全名為轉譯器的雙向編碼表述(Bidirectional Encoder Representations from Transformers),是由Google所推出的語言代表模型。

做為一個語言模型(Language Model),最重要的就是在接收詞彙之後,可以去預估接下來詞彙出現的分布機率。但要讓它可以聰明的運作,需要的是極為大量的數據資料學習,以及實際能夠讓人了解的語法結構。再者,如此的語言模型,也能透過遷移學習導入到NLP,同時強化NLP的能力。

從以上的脈絡看來,完成一個語言模型的過程肯定是漫長又複雜的。但NVIDIA就是有辦法利用技術加快這個時程,到底為什麼呢?

未來_賽博_數位_數據
人類正站在文明躍進的轉折點,我們所理解的未來科技,正以難以想像的發展逐步實現。
圖/ shutterstock

NVIDIA如何切入?讓AI在2年後做到15%的客服互動

研調機構Gartner預測,到了2021年,15%的客服互動將由AI執行,包括醫療、零售、金融業等,這樣的比例較2017年增加4倍。

看準互動式AI未來的發展,NVIDIA透過NVIDIA DGX SuperPOD,執行AI語言模式之一的BERT大型版本(BERT-Large),成功將過去需要長達數日的訓練時間,大幅縮短至53分鐘就能完成。同樣的,透過一台NVIDIA DGX-2系統,也能於2.8天內完成BERT-Large的語言訓練。

NVIDIA DGX SuperPOD
NVIDIA透過NVIDIA DGX SuperPOD來執行AI語言模式之一的BERT大型版本(BERT-Large),學習時間降低至53分鐘。
圖/ NVIDIA提供

NVIDIA應用深度學習研究副總裁Bryan Catanzaro在官方影片中表示,我們要是能用越短的時間訓練語言模型,那麼這些模型就能更快學習、理解人類遇到的問題,我們就可以更快獲得想取得的答案(結果)。

NVIDIA 應用深度學習研究副總裁Bryan Catanzaro
Bryan Catanzaro在官方影片中表示,能用越短的時間訓練語言模型,他們就能越快給予我們協助。
圖/ 螢幕截圖

除了縮短訓練時程,推論的反應也相當快速。利用NVIDIA T4 GPU,BERT在SQuAD問答資料集上運作,只需要2.2毫秒就能完成推論,遠低於許多即時應用要求的10毫秒處理門檻;若是用CPU伺服器的話,將會花費約40毫秒的時間才能完成推論。

大型企業陸續導入,微軟藉此提供顧客更佳的搜尋體驗

當前全球也有近數百名開發者在運用NVIDIA AI平台,推動語言理解的研究並開發新服務,包括Microsoft Bing、Clinc、Passage AI等。

Microsoft Bing小組計畫經理Rangan Majumder就表示,目前透過 Azure AI 內建的 NVIDIA GPU,針對熱門的自然語言模型BERT進一步優化推論作業,在排名搜尋品質方面,以雙倍以上的速度超過以往在CPU平台縮短的延遲,網路吞吐量(Throughput)更提高5倍。

從NVIDIA釋出的影片也可發現,藉由「訓練有素」的對話式AI進行與消費者的溝通,機器可以很快速的掌握消費者的提問,並進行具有「溫度」跟「彈性」的回覆,讓對方不覺得是在與機器人溝通,這也是現在對話式AI成功的地方。

NVIDIA BERT語言理解
經由訓練,機器能快速辨識消費者的提問並給予反饋。
圖/ NVIDIA提供

Bryan也提到,當他們發現語言模型變得越來越大的時候,NVIDIA也輸入更多的數據去訓練它們,這些語言模型進而越來越實用。

以此之故,對話式AI將帶領人類到文明的下一個階段,機器更加了解人類的語言,十足的掌握人類的提問,並有效的協助我們解決未來各式的問題,與現今世界截然不同的社會樣貌也越來越清晰可見。

責任編輯:張庭銉

往下滑看下一篇文章
Meet大南方2026徵展啟動,免費早鳥席次6/8截止!6大解方區直球接傳產、ESG、醫療照護痛點
Meet大南方2026徵展啟動,免費早鳥席次6/8截止!6大解方區直球接傳產、ESG、醫療照護痛點

Meet大南方2026不是一場讓你「露個臉、拿名片」的展會。
Meet大南方2026是一場讓你「找到真正客戶」的展會。

2025年,我們用一組數字證明了這件事:雙日觀展近1.3萬人次、290+組團隊參展、促成352組商機媒合。這個媒合數字是2024年的2.7倍。同一批展商、同一個場地,媒合效率在一年內跳了一個量級。

這代表什麼?意味著來到Meet大南方的人, 越來越不是來「逛展」,而是來「談生意」。

過去5年的經驗,我們有了一個心得,南台灣的企業主不是來聽矽谷故事的,他們是帶著明確的問題走進展場。

#0 2026Meet大南方徵展
2025 Meet大南方吸引近300家新創參展,雙日觀展近1.3萬人次。
圖/ Meet創業小聚

所以今年,我們不再單純以「趨勢」和「創業」為號召,正式把展會定位為「Meet Your Best Solution」。不談空泛願景、不畫技術大餅,而是把AI應用、智慧製造、ESG碳管理這些詞彙,翻譯成每一位企業主聽得懂的語言、用得上的解方。

對解方提供商意味著什麼?代表來到你攤位前的人並不是路人,極有可能就是來找答案的老闆。

為什麼你應該來?因為這是「南台灣市場的稀缺入口」

2026年8月28日(五)至29日(六),Meet大南方將於高雄展覽館展開第6屆展會,並於即日起正式啟動招商。

對正在開發南部市場的解方商來說,Meet大南方不只是「一次曝光機會」,還代表以下4件事:

第一,精準接觸南部企業決策者
傳產老闆、二代接班人、廠長、中小企業主……這些人平常不會出現在台北的科技活動,也很難透過線上管道觸及。為了把這群人真正拉到展會現場,過去幾個月《創業小聚》每月固定南下舉辦實體小聚,攜手高雄市經濟發展協會、高雄市建築經營協會、高雄市青年企業家協會與中山EMBA等組織,一場一場把在地企業主凝聚成一個社群。這群人不是展會當天才第一次聽到Meet大南方,他們早已是Meet大南方的一份子。

第二,從cold mail到warm lead的捷徑
兩天展期裡,除了攤位對話,我們會透過企業媒合會、投資人媒合會、新創交流之夜等機制,主動把你和潛在客戶、投資人湊到同一張桌子上。2025年這套機制為展商促成352組商機媒合,是前一年的2.7倍。現場示範、現場對話、現場加LINE,一次抵過3個月的線上開發。

#2 2026Meet大南方徵展
南台灣的企業主帶著明確的問題走進展場,找他們最迫切需要的解方。
圖/ Meet創業小聚

第三,解方區分類帶來精準人流
6大解方區依照企業痛點分類,觀展者按需求找到對應展區。來到你攤位的人,不會只有過路客,也有正在找你這類解方的決策者。

第四,南部市場的最低成本試水溫
對想評估是否投入南部市場的團隊,到高雄準備一個攤位的成本,遠低於派業務長駐南下3個月。2天內,你會得到足以判斷市場值不值得投入的第一手資訊。

值得一提的是,2025年Meet大南方的媒體曝光總效益超過新台幣3,000萬元,涵蓋《工商時報》、《經濟日報》、《數位時代》等91家媒體、共323則網路新聞露出。展商的品牌能量會自然搭上這波媒體浪潮。雖然這不該是你來的主要理由,但它確實是附贈的。

六大解方區:每一區都是一組企業痛點

今年我們把展區濃縮為6大「解方區」,每一區都直球對應一組具體的企業痛點:

智慧製造與產線升級 解方區——給自動化設備、AOI/AI視覺檢測、MES、工業物聯網、系統整合的團隊。對應痛點:缺工、良率不穩、設備老舊、排程沒效率。

數位管理與企業效率 解方區——給ERP/CRM/HRM、AI Agent、AI辦公工具、RPA、SaaS、FinTech支付、資安的團隊。這是最跨產業的一區,涵蓋所有企業的效率需求。

醫療健康與高齡照護 解方區——給遠距醫療、AI診斷、長照科技、健康數據、醫療管理系統的團隊。對應高齡化社會下的照護人力缺口與醫療數位化缺口。

#1 2026Meet大南方徵展
今年策劃6大「解方展區」,直接對應企業經營現場最常見的問題情境。
圖/ Meet創業小聚

淨零碳排與綠能永續 解方區——給碳盤查SaaS、ESG顧問工具、綠能設備、能源管理系統、循環經濟的團隊。供應鏈碳足跡要求已經壓到南部製造業頭上,這一區的需求只會愈來愈急。

品牌轉型與跨境行銷 解方區——給電商平台、跨境物流、MarTech、AI行銷工具、品牌顧問的團隊。南部有太多做代工做到品牌老化、想做電商卻不知從何開始的業者。

未來零售與餐飲科技 解方區——給POS、餐飲SaaS、無人商店、會員CRM、供應鏈方案的團隊。搭配「大南方餐飲創業沙龍」同步導流。

方案與招商資訊

2026 Meet Greater South亞灣新創大南方
時間:8/28(五)、8/29(六)
地點:高雄展覽館北館
官網:https://meetgreatersouth.tw/

徵展正式起跑,新創享專屬免費方案!
早鳥優惠至6/8,報名收件至7/3  >> 瞭解詳情

報名採審核制。請至Meet Online更新公司資料及填寫參展報名表單,主辦單位將以Email通知審核結果。若您的解方尚在評估是否合適,歡迎先聯繫我們,一起確認哪一個解方區最貼近你的目標客戶。

企業帶著問題來,我們希望你帶著解方來。
8月28-29日,高雄展覽館見。

#1 2026Meet大南方徵展
今年Meet大南方將於8/28、8/29在高雄展覽館盛大舉辦,現已開放參展報名。
圖/ Meet創業小聚
關鍵字: #創新創業

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
AI全球100+台灣20
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓