視訊時蓬頭垢面也能靠AI掩蓋!NVIDIA發表Maxine平台新進度,要解決哪些痛點?
視訊時蓬頭垢面也能靠AI掩蓋!NVIDIA發表Maxine平台新進度,要解決哪些痛點?

在疫情期間,許多企業透過視訊會議交流工作已漸成人們常態,思科、微軟等企業也都在發展AI輔助的視訊會議功能。GPU可說是NVIDIA橫掃市場的強大武器,對此黃仁勳也曾表示過:可從兩種角度來解釋,一個是視覺方面,另一個是AI應用領域。

首先回顧一下去年末的GTC大會上,NVIDIA宣布推出雲端AI視訊串流平台Maxine誕生,基於GPU和{{{生成對抗網路}}}的技術,能從多方面改善傳統的視訊體驗。

Maxine平台的誕生,主要用於和Google Cloud、AWS、微軟合作,能夠讓使用者不須擁有強大效能的電腦,就能達到解析度提升、消除背景噪音和糾正偏誤的角度等等。甚至,還能夠結合另一款Jarvis SDK的對話式AI,整合模型進行語音辨識,就能產生對話紀錄、即時字幕翻譯等功能。

a443ef7d-e335-47e6-becd-9164741129af
NVIDIA在去年GTC大會上,推出使用雲端GPU加持的人工智慧視訊會議平台Maxine。
圖/ NVIDIA

Maxine平台新模型誕生,將發展成開發套件

在居家辦公的每一天,視訊會議頻頻上演,也許NVIDIA推出的最新視訊會議技術,可以讓視訊體驗更舒適,在家辦公睡過頭、來不及打扮也不怕!

將視覺和AI應用合二為一,NVIDIA又端出什麼新應用?在本週的國際電腦視覺與模式識別會議上(CVPR)上,NVIDIA研究團隊發表了最新研究論文,宣布推出Maxine平台最新的Vid2Vid Cameo的深度學習模型,同樣採用生成對抗網絡(GAN)的技術,能將一個人的2D照片合成至談話影像中。據悉,這個模型未來也將開發成開發套件,供開發商使用。

1624521639030
從NVIDIA提交的論文來看,可看出從原始影像到不同角度影像的轉換過程。
圖/ NVIDIA

延伸閱讀:生態圈再擴大!NVIDIA宣布啟動AI LaunchPad計畫,要幫企業簡化AI開發工作

NVIDIA研究團隊指出,透過這項功能,只需在視訊會議前提交參考影像,無論是真實照片或是卡通形象;再透過AI模型捕捉,就可將人的即時動作、表情應用到靜止的影像,同時也能即時匹配主體的轉向角度,讓與會者看起來直接面對鏡頭。這樣一來,只要上傳身著正裝的照片,即使頭髮凌亂、身著睡衣,也能得體地出現在視訊會議中。

NVIDIA指出,該模型在大規模人工智慧架構的DGX系統上開發,研究團隊採用了多達180,000個高品質的談話影像數據進行訓練,讓模型學會識別關鍵點(像是眼睛、嘴巴、鼻子等位置)後並擷取,通話者的圖片可以事先發送給其他參與視訊會議的人,或從過往的會議中重複使用。如此一來,視訊會議平台只需發送說話者臉部關鍵點的動作資料,而不用在每一個與會者之間發送龐大的即時視訊串流內容。

研究團隊解釋道,透過壓縮和傳輸頭部位置的關鍵點,而不是完整的影像畫面,可以為頻寬縮小10倍,就可以擁有流暢的視訊體驗。且對接收者來說,GAN模型在接收端使用這些資訊來合成一個模仿參考圖片外觀的視訊內容;也能夠自由調整頭部的談話視角,更能應用在處理靜止影像的編輯工作中。

NVIDIA Vid2Vid Cameo Mission AI Possible_ NVIDIA R
網絡頻寬太小也不怕,AI技術能夠自動判斷參考影像、生成模型並生成清晰的影像。
圖/ NVIDIA

團隊在線上說明會指出,這項深度學習模型的底層技術,還可用於協助動畫師、影像編輯和遊戲開發者的工作。在說明會中,也實際展示了Vid2Vid Cameo的功能,從官方提供的影片來看,不僅能夠讓人「衣冠端正」,還能為與會者重新定向面部角度、產生動畫替身和壓縮數據產生更好影像,這些都為視訊會議帶來了新意。

據悉,Maxine平台目前已可運用影像降噪、畫質提升等功能;而今日推出的Vid2Vid Cameo功能,目前也已可在NVIDIA AI Playground上測試使用,其開發套件也將在不久後推出,讓開發人員可以運用優化後的訓練模型,為視訊、直播串流強化效果。

最新6月號雜誌《高價值企業100強》馬上購:傳送門
單期「電子雜誌」輕鬆讀:傳送門

責任編輯:錢玉紘

關鍵字: #Nvidia #AI
往下滑看下一篇文章
補齊未來電子業版的關鍵拼圖!矽眾科技以高階溫度補償驅動晶片IP,助攻高階AI與車用市場
補齊未來電子業版的關鍵拼圖!矽眾科技以高階溫度補償驅動晶片IP,助攻高階AI與車用市場

你是否曾好奇,為何今日的手機能在艷陽下持續運作,而電動車也能從零下的極地順利駛出,精準感測周遭環境?

看似尋常的應用場景背後,其實隱藏著一顆默默進行的「溫度偏移校正」關鍵晶片。這類負責環境感知、並能進行溫度補償的「驅動晶片」,是電子元件穩定運作不可或缺的一環 。然而,這塊高階驅動IC的研發,長期以來卻是臺灣在全球半導體供應鏈中相對薄弱的環節,使得臺灣眾多在零組件領域傲視全球的廠商,在高階應用市場中受制於人。

矽眾科技鎖定高階溫度補償驅動晶片IP,要替臺灣補足產業鏈缺口

「我們臺灣在零組件領域,其實有很多世界第一,例如在全球市佔率領先的振盪器,但始終難以打進高階產品線,就是因為缺少能驅動這些零組件的高階晶片。」矽眾科技創辦人陳世綸開宗明義地指出產業痛點。他解釋,許多臺灣零組件廠商雖擁有卓越的製造能力,但在高階驅動晶片上卻高度仰賴美日大廠,而國際大廠往往不願開放最先進技術,臺灣廠商因此缺乏在價值鏈高附加價值鏈段的話語權,只能在低利潤的紅海市場中競爭。如何打破技術封鎖、強化自主關鍵技術,成為臺灣電子產業邁向國際高端市場的關鍵課題。

而矽眾科技的成立,正是為了補上這道斷鏈而生。作為少數專注零組件驅動晶片矽智財(Silicon Intellectual Property , IP)開發的企業,當AI運算與電動車市場爆發性成長,矽眾科技以可重複授權、穩定可靠的矽智財解決方案,成為產業鏈中不可或缺的關鍵推手。陳世綸說當高階電子產品對穩定性的要求日益嚴苛,就更考驗元件必須能在高溫、低溫甚至劇烈溫度變化下維持效能。這正是「溫度補償」(Temperature Compensation)技術的關鍵價值所在。

「矽眾科技的IP 就像貼心的助理,提醒元件「冷了多穿衣服、熱了脫下外套」,透過溫度補償即時調整參數,即使處於零下 40 度的嚴寒或高達 140 度的酷熱環境,訊號依然能保持精準一致。」陳世綸生動地形容 。

透過開發板進行晶片溫度感測與數位校準測試,確保 MEMS 感測器在不同溫度下依然能維持精準運作。
透過開發板進行晶片溫度感測與數位校準測試,確保 MEMS 感測器在不同溫度下依然能維持精準運作。
圖/ 數位時代

他進一步解釋,晶片內整合了類比的溫度感測器來偵測環境溫度,並將數據傳送給數位電路進行判斷與分析,數位電路再發出指令,精準校準MEMS(Micro-Electro-Mechanical Systems) 感測器的參數,確保其在不同溫度下都能提供正確值,避免因溫度變化導致的誤差和功能喪失,例如手機熱當或汽車失靈 。這種「類比感知+數位判斷校準」的整合能力,正是矽眾科技在高階驅動晶片領域所構築的技術壁壘。

陳世綸表示,矽眾科技之所以選擇IP這條賽道,正是看準了其在產業中的獨特價值。作為IP公司,其設計模組能適用於從0.18微米的成熟製程到小於10奈米的先進製程,客戶可根據自身產品需求快速整合,大幅縮短開發週期。這種靈活性,不僅讓矽眾能服務更廣泛的客戶群,也賦予了臺灣零組件廠商快速切入高階市場的機會。

晶創IC補助計畫奧援,矽眾科技以IP挺進高階市場布局全球

然而,IP的研發是條燒錢的漫漫長路。陳世綸坦言,由於IP的價值在於其穩定性與可重複使用性,但要達到這個門檻需反覆測試與驗證 。他透露,矽眾科技的IP中,每個驅動電路區塊都必須經過數次的設計定案(tape-out)與實體測試,而每次的成本都高達數萬至數十萬美金不等。「沒有政府的計畫支持我們根本做不到,」陳世綸感念地表示,而他口中的計畫正是由經濟部產業發展署所推動的「驅動國內IC設計業者先進發展補助計畫」(以下簡稱晶創IC補助計畫),讓團隊得以持續突破與精進,追求每個電路區塊的極致穩定性與精準度。

晶創IC補助計畫的資金補助,不僅加速矽眾科技的測試進程,也成功讓這個具備溫補能力的高階驅動晶片IP跨入車用與AI市場 。陳世綸說明,此IP主要針對高階MEMS零組件,特別是應用於5G手機、低軌道衛星、AI伺服器中需要高頻率、高準確度且耐溫的振盪器 。同時,它也符合嚴苛的車用認證,確保車載系統在極端溫度下的穩定性 。此外,此IP亦可支援手機中的胎壓偵測、高度偵測等MEMS感測器,因未來的電子產品將大量使用這類元件,且需具備溫度補償能力以維持精準度 。

如今,矽眾科技已與美加、日本、歐洲及臺灣等國內外大廠展開合作。陳世綸欣喜地表示,許多客戶原本因買不到關鍵驅動晶片而受限於低階市場,現在矽眾科技的IP補上了這一塊,他們也終於能進軍高毛利產品線。目前,已有合作夥伴將矽眾的高階驅動晶片IP導入車用認證流程,未來甚至可望進一步進入低軌道衛星與醫療穿戴市場。

矽眾科技站穩利基市場,與全球MEMS企業共舞

有了晶創IC補助計畫的挹注,矽眾科技更能以關鍵 IP 、溫度補償技術,帶領團隊協助臺灣半導體產業鏈從
有了晶創IC補助計畫的挹注,矽眾科技更能以關鍵 IP 、溫度補償技術,帶領團隊協助臺灣半導體產業鏈從「代工製造」轉向「設計賦能」。
圖/ 數位時代

比起一家公司從頭到尾包辦整顆IC的傳統模式,IP公司更像是站在舞臺後方的設計者,協助每一位客戶量身打造表演服、背景道具與燈光效果,讓他們能快速踏上國際舞臺。「我們不做整套產品,但我們讓臺灣的零組件有機會躋身高階應用,不再只是代工。」陳世綸堅定地說,矽眾科技的策略,是站在面對未來5到10年需求的位置上,看見即將來臨的市場缺口,然後在它出現前就先把技術準備好 。

「我們希望矽眾科技未來是跟著全球 MEMS 企業一起共舞,」陳世綸生動的描繪出公司的願景,矽眾科技透過獨特的IP商業模式、關鍵的溫度補償技術以及晶創IC補助計畫的強力奧援,不僅成功在利基市場中站穩腳步,更為臺灣半導體產業開闢了一條高值化的新路徑。這項成果不僅是矽眾科技自身的里程碑,也證明臺灣的IC設計實力,已在全球高階半導體供應鏈中找到了新的戰略位置,從過去的「代工製造」轉向「設計賦能」,引領臺灣零組件產業邁向更高層次的全球市場競爭力。

|企業小檔案|
- 企業名稱:矽眾科技
- 創辦人:陳世綸
- 核心技術:5G通信、人工智慧、物聯網、車用電子矽智財(IP)設計服務
- 資本額:新臺幣1仟700萬元
- 員工數:6人

|驅動國內IC設計業者先進發展補助計畫簡介|
在行政院「晶片驅動臺灣產業創新方案」政策架構下,經濟部產業發展署透過推動「驅動國內IC設計業者先進發展補助計畫」,以實質政策補助,引導業者往AI、高效能運算、車用或新興應用等高值化領域之「16奈米以下先進製程」或「具國際高度信任之優勢、特殊領域」布局,以避開中國大陸在成熟製程之低價競爭,並提升我國IC設計產業價值與國際競爭力。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
蘋果能再次偉大?
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓