Meta又開源AI模型,算盤打的是「AI元宇宙」!ImageBind如何帶來多感官體驗?
Meta又開源AI模型,算盤打的是「AI元宇宙」!ImageBind如何帶來多感官體驗?

當各大科技公司在AI人工智慧的戰場上各顯身手,試圖占據AI市場的一席之地時,有個看似沉寂許久的科技巨頭,看似把未來押在虛擬世界「元宇宙」而錯失了先機,卻正在迎頭趕上,不斷推出、甚至開源自家的AI研究成果──那就是Meta。

Meta於5月9日宣布了一個新的開源AI研究項目,名為「ImageBind」,且不只可以生成文字、或是圖片,還可以串聯起文本、聽覺、視覺數據、3D深度資訊、溫度、動作數據。這可能將是虛擬世界「元宇宙」計畫的一大步,也代表未來AI的走向,將會是創造身歷其境的多感官體驗。

雖然這還在研究階段,Meta近期也還稱不上高調,但也不斷公開自家的研究項目,與相較之下越來越神秘的OpenAI和Google形成強烈對比。

延伸閱讀:塗鴉怎麼變動畫?Meta開源「AI繪圖專案」,超簡單5步驟立刻動起來

人工智慧「多模型」型態,將是生成式AI的趨勢?

早先廣為人知的生成式AI如Midjourney、Stable Diffusion和DALL-E,都是在訓練階段時就已經把文字和圖片「連接」在一起的系統,在訓練時,這些模型就會以文字敘述來尋找視覺資料中的模式。目前其他生成聲音或是短片的生成式AI也是如此。

但Meta表示ImageBind模型連結的不只文字和圖片,還包括了溫度(紅外線影像)、3D深度距離、還有用慣性測量裝置(inertial measuring unit,IMU,可在手機或智慧手錶中追蹤螢幕轉向等活動)所取得的動作數據。

這個模型將預期的成果是: 模擬人的感知 ,用有限的數據來生成複雜的場景。如果未來能夠搭配虛擬實境設備使用,ImageBind不僅可以生成感官效果,還可以在使用者所在的站台或座椅環境生成動作或效果。例如:輸入「長途旅行」,ImageBind可能就可以讓你置身於搖晃的甲板,讓你聽到海浪聲,並給你陣陣涼爽的海風。

元宇宙  metaverse
Meta宣布新的開源AI研究項目「ImageBind」,不只可以生成文字、圖片,還可以串聯起聽覺、視覺數據、3D深度資訊、溫度、動作數據。這可能將是虛擬世界「元宇宙」計畫的一大步。
圖/ shutterstock

Meta也在官方部落格指出,未來其他感覺數據也會添加到模型當中,例如觸覺、嗅覺和大腦fMRI信號等。文章中也指出,這個研究讓AI生成模型「更接近人類在許多不同形式的資訊當中,同步、整體且直接的學習。」

不過,這都還只是研究項目,目前都沒有實際的應用成果或消費者心得。不過,繼去年9月Meta低調推出短片生成AI模型後,這個研究項目在未來,也可能會是Meta元宇宙大夢的重要里程碑。

Meta早就是AI老手?大方開源AI研究,能搶先訂下標準?

儘管低調,人工智慧在Meta早就已經是旗下Facebook或Instagram貼文與短影音的幕後關鍵。用戶在Instagram上看到的所有內容中,就約有40%是由AI推薦的,而Instagram和Facebook兩個一起算的話,比率則是20%。在業務方面,Meta的主要業務──銷售廣告,也是AI來操盤的。

Meta在AI領域的最大優勢之一,就是旗下的研究部門,許多專家認為,Meta團隊的競爭力並不輸Google和OpenAI等同行。

延伸閱讀:AI、虛擬世界我全都要!祖克柏加碼提新概念「AI代理人」,那是什麼?

雖然Facebook和Instagram大量使用AI,但Meta的應用程式都不允許人們創建新內容,如文本或影像。外媒《Vox》指出,可能跟Meta長期被控「散播仇恨言論、錯誤訊息」的罵名有關,Meta還不想倉促建立一個會產生更多有害或是不正確內容的工具。

其實,Meta已經嘗試過了,他們去年11月所發布、以學術論文進行訓練的實驗性AI工具「Galactica」吐出了不符合事實的種族主義訊息,在三天內就被撤下了。

Meta
Meta在AI領域的最大優勢之一,就是旗下的研究部門,許多專家認為,Meta團隊的競爭力並不輸Google和OpenAI。
圖/ Canva

Meta同時也面臨硬體設備難以執行人工智慧系統的問題。去年9月,Meta內部發布的一份備忘錄表示,該公司「在AI開發方面,工具、工作流程和製程方面存在重大差距」,並且需要「在這方面進行大量投資」。

不過,Meta的人工智慧研究部門仍定期發布公開的AI研究論文(不包括社群媒體演算法的AI)。其他AI公司,如Google和OpenAI因競爭而不那麼願意公開研究成果。

Meta執行長馬克.祖克柏就曾表示, 公開研究成果可以讓Meta率先制定AI產品開發的行業標準,並讓外部開發者更好地融入Meta的生態系統 。今年2月,Meta的研究部門與研究人員就開放LLaMA的大型語言模型給AI社群索取使用權限。

LLaMA的能力目前落後於OpenAI最新的GPT4模型以及Google的Bard,但開放資源仍然代表著AI研究社區不須強大的電腦,就可以修改底層程式碼。但這也有專家認為,過於自由的開放可能會遭到惡意使用。

延伸閱讀:Meta要改名成「MetAI」?祖克柏過度沉醉AI世界,分析師發出警告

資料來源:The VergeengadgetVox

責任編輯:林美欣

往下滑看下一篇文章
從代理到自研晶片!全科綜電以VDES晶片引領海洋通訊新浪潮,打造數位海洋之眼
從代理到自研晶片!全科綜電以VDES晶片引領海洋通訊新浪潮,打造數位海洋之眼

從海上防衛碰撞到國安戰略,全科綜電挑戰特高頻數據交換系統(Very High Frequency Data Exchange System; VDES)晶片設計的自主研發,不只為技術突圍,更為掌握關鍵通訊自主權,為臺灣IC設計在海事通訊領域開創新局。

在濃霧籠罩的海面上漁船緩慢航行,四周漆黑,船長緊盯著螢幕,畫面上清晰顯示周遭船隻的圖標,並即時標示其名稱、國籍、航速與航向,只要按下一個鍵,求救訊息就能即時發出,讓救援單位迅速在茫茫大海中定位他的位置。這就是守護海上安全的關鍵技術:船舶自動辨識系統(Automatic Identification System; AIS)。

「飛機有塔臺管理,船隻在海上航行也需要類似的系統,否則撞船是幾億的損失更是攸關人命的安全。」全科綜電董事長吳堉文語氣堅定的說。從最初防止船隻碰撞,到今日用於國土安全、搜救甚至個人海上定位,AIS已成每艘大大小小船隻的標配。吳堉文指出,AIS是繼雷達之後最具革命性的技術,因為早期僅靠雷達偵測,難以識別船隻身份,更別說避免碰撞。然而,當全球航運變得更加繁忙、資料需求更加龐大,傳統AIS的技術也正面臨新的挑戰,而這也是全科綜電積極突破的關卡。

從代理到自主研發,全科綜電的轉身一躍

時間回到二十多年前,當時全科綜電的母公司主要從事IC代理業務,代理了一家英國公司生產的AIS晶片。在尋找潛在客戶的過程中,吳堉文敏銳地發現,臺灣市場在AIS技術上幾乎還是一片空白。憑藉對海事產業的敏感嗅覺,他意識到這項技術蘊藏著龐大潛力,心中不禁自問:「臺灣四面環海,為什麼沒有本土公司來投入AIS?」這個疑問,成了他踏入該領域的起點,也促使他毅然決定親自投入,從零開始打造AIS事業。

全科綜電花了一年時間深入了解AIS的國際標準與規範。隨後他們成立獨立公司,但經歷漫長的八年虧損,投入的資金幾乎燒光。所開發出的第一代產品雖功能符合國際標準,但相較於競爭對手體積更大、賣相不佳,這迫使他們痛定思痛,投入大量資源重新開發,轉向更具競爭力的「軟體無線電」技術,這項決策最終讓全科綜電的第二代產品在體積和成本上與國際大廠看齊,甚至憑藉臺灣的製造成本優勢,在全球市場上取得穩固地位。「論品質、技術與效能我們什麼都不會輸,」吳堉文驕傲地說,因此連續每年都參加國際展覽,都讓許多國際大廠也紛紛尋求合作。

AIS領域的成功,不僅來自於技術突破,更仰賴對嚴苛海事產品認證的堅持。吳堉文強調,海事產品的認證極其困難,無論是硬體還是軟體都需通過層層檢驗。他們的產品送往德國聯邦海事與水文局(Bundesamt für Seeschifffahrt und Hydrographie, BSH) 國家級實驗室,接受超過2000項最高規格的測試。他坦言,海事認證的門檻甚至比車用電子更高,因為船舶作業環境必須承受潮濕、鹽分、風浪與震動等多重挑戰。這些嚴格且冗長的認證程序,不僅是品質的保證,更築起極高的技術門檻,使全球能通過這類海事認證的企業寥寥可數,也因此讓全科綜電在市場中擁有穩固的護城河。

然而,在數位時代飛速演進的此刻,技術迭代從未停歇。即便 AIS 已相當成熟,受限於僅 9.6k 的頻寬,能即時傳遞船舶位置與航向,卻無法承載更多元的數據交換,更遑論語音或影像傳輸。就如同過去只能發送文字簡訊的手機,若要邁入多媒體時代,就勢必要升級。這也成為全科綜電近年全力投入的關鍵戰場—特高頻數據交換系統(VDES),被譽為下一代海事通訊標準。

自主晶片布局,一步步攻克VDES技術高牆

為AIS Class B620船用自動識別系統設備,具備更高階通訊能力與航行資訊顯示功能,為推動海事數位化與未來 VDES 系統奠定基礎。
圖/ 全科綜電
為進階款 AIS Class A750,具備更高階通訊能力與航行資訊顯示功能,為推動海事數位化與未來 VDES 系統奠定基礎。
圖/ 全科綜電

VDES的核心,在於大幅增加頻寬並整合衛星通訊功能。這意味著未來船隻不僅能傳輸文字訊息,更能傳輸圖片,甚至有機會實現語音通訊。更重要的是,透過低軌道衛星的覆蓋,VDES將打破AIS數十公里範圍的限制,實現全球範圍內的船隻追蹤與通訊。吳堉文形容道,船隻從基隆港出去,就算遠到世界各地都能掌握其所在位置。正因為只要有衛星覆蓋,就能維持通訊與定位,此將徹底改變海事通訊的模式,為遠洋航行帶來前所未有的安全與效率。

面對VDES這片新藍海市場,全科綜電不僅是追隨者,更是積極的引領者。吳堉文透露,他們這次申請經濟部產業發展署所推動的「驅動國內IC設計業者先進發展補助計畫」(簡稱「晶創IC補助計畫」)的目的,就是要用於投入VDES晶片的自主研發。他表示,由於通訊技術涉及國家安全,若核心晶片研發技術掌握在他人手中,將受制於人,而為了掌握關鍵技術的自主權,全科綜電在VDES這一役上也將積極打造屬於臺灣自主研發的VDES晶片。

而晶創IC補助計畫本身,也是在國科會統籌協調,結合經濟部及相關部會共同推動的「晶片驅動臺灣產業創新方案」架構下展開,透過政策資源與實質補助,引導業者前瞻布局 AI、高效能運算及各類新興應用等高值化關鍵技術,藉此強化臺灣IC設計產業的國際競爭力與整體韌性,正好與全科綜電的自主研發策略相互呼應,也讓VDES晶片的在地化研發更具加速落地的條件。

然而,VDES晶片的開發複雜度遠超AIS晶片。吳堉文表示,目前研發團隊的策略是先在現場可程式化邏輯閘陣列(Field-Programmable Gate Array; FPGA)上進行功能驗證,待所有功能符合規範且通過驗證後,才會投入高成本的特殊應用積體電路(Application-Specific Integrated Circuit; ASIC) 進行投片。為了這項艱鉅的任務,全科綜電正積極招募人才,特別是通訊和FPGA技術領域的工程師,因為在臺灣,能理解並掌握VDES晶片技術的專業人士相當稀少,甚至遠從德國邀請相關領域的教授擔任顧問。

吳堉文也透露,在VDES晶片研發中他們期望能實現語音通訊功能,儘管國際標準中並未強制要求。主要是因為語音可以壓縮成數據傳輸,當頻寬增大,語音通訊的品質就能得到保證。甚至,他們還嘗試利用AI技術,將語音即時轉換為文字訊息進行傳輸,這項全科綜電自主研發的進階功能,將有效克服AIS頻寬不足的問題,大幅提升海事通訊的效率與便利性。

20年磨一劍,全科綜電瞄準下一代海事通訊標準

全科綜電董事長吳堉文深耕 AIS 與 VDES 海事通訊技術二十年,推動臺灣自主研發與晶片化,致力打造「數位海洋之眼」。
圖/ 全科綜電

可以說VDES的發展,不僅僅是技術的升級,更推動了應用場景的大幅拓展。吳堉文透露,AIS技術已成功應用於無人機通訊,使其能飛行超過30公里遠並穩定傳輸座標資訊 。未來,隨著VDES頻寬的增大和衛星通訊的加入,無人機的通訊距離將更遠、功能更強大,甚至能支援無人計程車或物資運輸等應用,「它是一項應用潛力極大的新技術,」吳堉文說。

從防止碰撞、國土安全,到人員搜救、智慧物流,再到未來的無人載具應用,AIS和VDES技術如同「數位海洋之眼」,為人類探索、利用和管理海洋提供了前所未有的工具。全科綜電也正站在這場關鍵轉折點上,試圖讓臺灣不再只是全球供應鏈的一環,而是能夠掌握海事自主通訊話語權的關鍵玩家。「我們花了20年建立AIS技術基礎,也花了十幾年在國際市場證明自己,現在我們要走向下一個時代了。」吳堉文充滿堅定地表示,這不僅是全科綜電的未來,更是臺灣在數位海洋時代,展現自主科技實力的重要里程碑。

|企業小檔案|
- 企業名稱:全科綜電股份有限公司
- 創辦人:吳堉文
- 核心技術:船舶自動辨識系統(AIS)電子設備和解決方案供應商

|驅動國內IC設計業者先進發展補助計畫簡介|
由國科會協調經濟部及相關部會共同合作,所提出「晶片驅動臺灣產業創新方案」,目標在於藉由半導體與生成式AI的結合,帶動各行各業的創新應用,並強化臺灣半導體產業的全球競爭力與韌性。在此政策框架下,經濟部產業發展署執行「驅動國內IC設計業者先進發展補助計畫」,以實質政策補助,於113年鼓勵國內業者往 AI、高效能運算、車用或新興應用等高值化領域之「16奈米以下先進製程」或「具國際高度信任之優勢、特殊領域」布局,以避開中國大陸在成熟製程的低價競爭,並提升我國IC設計產業價值與國際競爭力。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
進擊的機器人
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓