只花2.2毫秒完成推論!NVIDIA催化AI與人互動,大幅縮短BERT的語言訓練時間
只花2.2毫秒完成推論!NVIDIA催化AI與人互動,大幅縮短BERT的語言訓練時間

Siri或是Alexa是你的好朋友嗎?日常生活都會跟他們說上兩句進行互動嗎?這些市場上為人熟悉的語音助理-對話式AI(人工智慧),明顯不同於純粹的「語音搜尋」,最大的差異在於:對話式AI讓人與機器有進一步互動的過程,而非單一的下達指令。

為了要讓對話式AI的表現更加自然、更接近我們人類的溝通語法,目前仰賴的「自然語言處理」(NLP),目的就是要讓電腦能更有能力去了解人類的語言。

而目前NLP最大的困難在於各種語言上的「博大精深」,該如何去讓機器可以在接收文本之後,能夠有最佳且自然的反饋,正確地去理解文句以及其前後文的意涵,是需要花時間去讓機器學習的。

Amazon Alexa
如Alexa、Siri這些語音助理,其實都是一種對話式AI的表現。

近來市場上訓練NLP語言模型的專案,包括BERT、ELMo、XLNet等。其中,Google的BERT更是目前訓練NLP的模型裡面,表現最佳的一個應用;作為開放資源的程式,臉書利用BERT所推出的語言模型:RoBERTa,更是橫掃各大自然語言處理測試排行榜,如GLUE排行榜評分第一。

BERT全名為轉譯器的雙向編碼表述(Bidirectional Encoder Representations from Transformers),是由Google所推出的語言代表模型。

做為一個語言模型(Language Model),最重要的就是在接收詞彙之後,可以去預估接下來詞彙出現的分布機率。但要讓它可以聰明的運作,需要的是極為大量的數據資料學習,以及實際能夠讓人了解的語法結構。再者,如此的語言模型,也能透過遷移學習導入到NLP,同時強化NLP的能力。

從以上的脈絡看來,完成一個語言模型的過程肯定是漫長又複雜的。但NVIDIA就是有辦法利用技術加快這個時程,到底為什麼呢?

未來_賽博_數位_數據
人類正站在文明躍進的轉折點,我們所理解的未來科技,正以難以想像的發展逐步實現。
圖/ shutterstock

NVIDIA如何切入?讓AI在2年後做到15%的客服互動

研調機構Gartner預測,到了2021年,15%的客服互動將由AI執行,包括醫療、零售、金融業等,這樣的比例較2017年增加4倍。

看準互動式AI未來的發展,NVIDIA透過NVIDIA DGX SuperPOD,執行AI語言模式之一的BERT大型版本(BERT-Large),成功將過去需要長達數日的訓練時間,大幅縮短至53分鐘就能完成。同樣的,透過一台NVIDIA DGX-2系統,也能於2.8天內完成BERT-Large的語言訓練。

NVIDIA DGX SuperPOD
NVIDIA透過NVIDIA DGX SuperPOD來執行AI語言模式之一的BERT大型版本(BERT-Large),學習時間降低至53分鐘。
圖/ NVIDIA提供

NVIDIA應用深度學習研究副總裁Bryan Catanzaro在官方影片中表示,我們要是能用越短的時間訓練語言模型,那麼這些模型就能更快學習、理解人類遇到的問題,我們就可以更快獲得想取得的答案(結果)。

NVIDIA 應用深度學習研究副總裁Bryan Catanzaro
Bryan Catanzaro在官方影片中表示,能用越短的時間訓練語言模型,他們就能越快給予我們協助。
圖/ 螢幕截圖

除了縮短訓練時程,推論的反應也相當快速。利用NVIDIA T4 GPU,BERT在SQuAD問答資料集上運作,只需要2.2毫秒就能完成推論,遠低於許多即時應用要求的10毫秒處理門檻;若是用CPU伺服器的話,將會花費約40毫秒的時間才能完成推論。

大型企業陸續導入,微軟藉此提供顧客更佳的搜尋體驗

當前全球也有近數百名開發者在運用NVIDIA AI平台,推動語言理解的研究並開發新服務,包括Microsoft Bing、Clinc、Passage AI等。

Microsoft Bing小組計畫經理Rangan Majumder就表示,目前透過 Azure AI 內建的 NVIDIA GPU,針對熱門的自然語言模型BERT進一步優化推論作業,在排名搜尋品質方面,以雙倍以上的速度超過以往在CPU平台縮短的延遲,網路吞吐量(Throughput)更提高5倍。

從NVIDIA釋出的影片也可發現,藉由「訓練有素」的對話式AI進行與消費者的溝通,機器可以很快速的掌握消費者的提問,並進行具有「溫度」跟「彈性」的回覆,讓對方不覺得是在與機器人溝通,這也是現在對話式AI成功的地方。

NVIDIA BERT語言理解
經由訓練,機器能快速辨識消費者的提問並給予反饋。
圖/ NVIDIA提供

Bryan也提到,當他們發現語言模型變得越來越大的時候,NVIDIA也輸入更多的數據去訓練它們,這些語言模型進而越來越實用。

以此之故,對話式AI將帶領人類到文明的下一個階段,機器更加了解人類的語言,十足的掌握人類的提問,並有效的協助我們解決未來各式的問題,與現今世界截然不同的社會樣貌也越來越清晰可見。

責任編輯:張庭銉

往下滑看下一篇文章
AI 智慧代理人時代來臨!三大導入階段, AI 落地企業不卡關
AI 智慧代理人時代來臨!三大導入階段, AI 落地企業不卡關

生成式 AI 帶動企業數位轉型浪潮持續升溫,各界不再滿足單一任務型的 AI 應用,而是期盼 AI 能真正成為具備主動決策與多工能力的「智慧代理人」(Agentic AI),在最少人為干預的情況下,自主推進工作流程、完成複雜任務。

但企業導入AI並非一蹴可幾,而是需要對AI有正確認識,並制訂循序漸進的導入流程,才能真正發揮AI功效。在2025台灣人工智慧年會中,cacaFly 聖洋科技技術副總吳振和提出三大導入關鍵階段,深入剖析企業如何從概念驗證(PoC)階段,逐步推進到實際上線(Production),並分享實務經驗與觀察。

延伸閱讀:生成式AI可以怎麼用?cacaFly現身說法,助企業應用GCP服務智慧轉型

解鎖 Agentic AI,企業邁向多任務智慧代理

「很多公司會問,One AI 要做什麼事?但實際上,若要讓 AI 回答公司內部政策或新法條的相關問題,僅靠基礎模型並不足夠。」吳振和指出,要讓 AI 真正成為能「做事」的智慧代理人,前提是它必須理解企業內部的脈絡與知識,並即時掌握外部變動的資訊。

企業必須先釐清內部規範是否與最新法規相符,這意味著系統必須具備持續爬取與解析最新資料的能力。為此,企業必須先截取與整理內容,再建構成專屬的知識庫(Knowledge Base),確保資料品質達到可用標準後,再透過檢索增強生成(Retrieval-Augmented Generation, RAG)技術,使 AI 能夠即時動態查詢並生成符合企業語境的回答。

延伸閱讀:從資料清洗到 RAG,大型語言模型的必需品,做出專屬企業的 AI 知識庫!

吳振和強調,這是一個動態循環的過程:從資料蒐集、品質控管、知識庫建構到生成應用,每一環節都息息相關,任何一處鬆動都會影響最終產出的準確性與可信度。

cacaFly 聖洋科技技術副總吳振和
圖/ cacaFly

破除「一次到位」迷思,從驗證到落地的三大關鍵階段

許多企業對 AI 寄予厚望,因此常將 PoC 視為年度計畫的重點,希望能「一次到位」做出具體成果。但吳振和提醒,若缺乏清楚的系統工程思維,PoC 容易淪為「概念展示」,難以真正走入組織的日常營運。

他將導入 Agentic 系統工程的歷程,分為三個關鍵階段:

1.第一階段:可行性評估(Feasibility Study)
企業必須在投入資源前,先明確界定「最需要被 AI 解決的關鍵問題」是什麼,並進一步設計可量化的驗證指標。這不僅包括評估技術實作的可行性,更要從商業目標出發,釐清導入 AI 的具體使用情境、預期成效與風險邊界,如此才能確保後續模型選型與資料蒐集方向正確對齊業務需求。

2.第二階段:系統設計與驗證(Design & PoC)
在確定導入方向後,必須規劃清楚資料蒐集與整理流程,確保知識庫的內容具備正確性、完整性與時效性。吳振和特別強調,這個階段不能只追求展示效果,而應以「產品化思維」來構築 PoC,使其具備可擴充性、可維護性及安全性,才能為後續上線打下基礎。

3.第三階段:產品化與營運(Production & Operation)
當 PoC 驗證完成後,進入正式上線階段,挑戰也隨之而來。除了需要整合企業內部系統與流程,還必須建立持續監控與維運機制,確保模型表現隨時間演進不會劣化,並能快速回應法規變動或資料更新的需求。吳振和指出,這往往是最容易被低估、但也是最考驗企業組織能力的關鍵環節。

cacaFly 聖洋科技技術副總吳振和
圖/ cacaFly

建立模型優化根基,打造高品質的黃金資料集

吳振和特別強調,要讓 Agentic 系統工程真正發揮效益,企業必須先建立一套高品質的「黃金資料集」(Golden Dataset),作為模型評估與優化根基。他指出,黃金資料集的價值在於能為模型選擇與前測提供客觀依據,讓團隊能針對不同任務挑選最適合的模型,避免導入初期就誤踩方向。

同時,黃金資料集也能協助團隊辨識模型的常見錯誤與脆弱點,進而快速回應「模型飄移」(Model Drift)的風險。吳振和說明,所謂模型飄移,指的是即使模型本身未經改版,效能也可能隨著環境與資料變動而突然下降,導致原本表現良好的模型出現偏差。透過持續比對模型預測與黃金資料集結果,團隊才能即時察覺效能衰退,並進行迭代更新,確保系統長期穩定運作。

從小規模應用起步,漸進擴展至核心業務

吳振和分享,在實際輔導企業導入 AI 的經驗中,最常見的挑戰來自於「期待落差」。許多企業誤認為概念驗證(PoC)階段即可呈現完整的產品原型,然而實際情況顯示,若企業未能建立完善的資料架構與流程基礎設施,即使短期內展現亮眼成效,也難以確保長期營運的穩定性與可持續性。

也因此他建議企業在規劃 AI 導入時,應採取漸進式策略,從小規模應用場景著手,逐步擴展至核心業務領域。企業應將 PoC 定位為整體產品開發生命週期的重要環節,而非獨立的一次性專案。

AI 的導入不僅是一場技術升級,更是企業組織文化與決策流程的轉型工程。唯有從資料治理、流程優化到人才培訓同步布局,才能確保 AI 能在企業內部真正「落地生根」,創造長期商業價值,成為真正的智慧代理人。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
一次搞懂Vibe Coding
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓