Meta又開源AI模型,算盤打的是「AI元宇宙」!ImageBind如何帶來多感官體驗?
Meta又開源AI模型,算盤打的是「AI元宇宙」!ImageBind如何帶來多感官體驗?

當各大科技公司在AI人工智慧的戰場上各顯身手,試圖占據AI市場的一席之地時,有個看似沉寂許久的科技巨頭,看似把未來押在虛擬世界「元宇宙」而錯失了先機,卻正在迎頭趕上,不斷推出、甚至開源自家的AI研究成果──那就是Meta。

Meta於5月9日宣布了一個新的開源AI研究項目,名為「ImageBind」,且不只可以生成文字、或是圖片,還可以串聯起文本、聽覺、視覺數據、3D深度資訊、溫度、動作數據。這可能將是虛擬世界「元宇宙」計畫的一大步,也代表未來AI的走向,將會是創造身歷其境的多感官體驗。

雖然這還在研究階段,Meta近期也還稱不上高調,但也不斷公開自家的研究項目,與相較之下越來越神秘的OpenAI和Google形成強烈對比。

延伸閱讀:塗鴉怎麼變動畫?Meta開源「AI繪圖專案」,超簡單5步驟立刻動起來

人工智慧「多模型」型態,將是生成式AI的趨勢?

早先廣為人知的生成式AI如Midjourney、Stable Diffusion和DALL-E,都是在訓練階段時就已經把文字和圖片「連接」在一起的系統,在訓練時,這些模型就會以文字敘述來尋找視覺資料中的模式。目前其他生成聲音或是短片的生成式AI也是如此。

但Meta表示ImageBind模型連結的不只文字和圖片,還包括了溫度(紅外線影像)、3D深度距離、還有用慣性測量裝置(inertial measuring unit,IMU,可在手機或智慧手錶中追蹤螢幕轉向等活動)所取得的動作數據。

這個模型將預期的成果是: 模擬人的感知 ,用有限的數據來生成複雜的場景。如果未來能夠搭配虛擬實境設備使用,ImageBind不僅可以生成感官效果,還可以在使用者所在的站台或座椅環境生成動作或效果。例如:輸入「長途旅行」,ImageBind可能就可以讓你置身於搖晃的甲板,讓你聽到海浪聲,並給你陣陣涼爽的海風。

元宇宙  metaverse
Meta宣布新的開源AI研究項目「ImageBind」,不只可以生成文字、圖片,還可以串聯起聽覺、視覺數據、3D深度資訊、溫度、動作數據。這可能將是虛擬世界「元宇宙」計畫的一大步。
圖/ shutterstock

Meta也在官方部落格指出,未來其他感覺數據也會添加到模型當中,例如觸覺、嗅覺和大腦fMRI信號等。文章中也指出,這個研究讓AI生成模型「更接近人類在許多不同形式的資訊當中,同步、整體且直接的學習。」

不過,這都還只是研究項目,目前都沒有實際的應用成果或消費者心得。不過,繼去年9月Meta低調推出短片生成AI模型後,這個研究項目在未來,也可能會是Meta元宇宙大夢的重要里程碑。

Meta早就是AI老手?大方開源AI研究,能搶先訂下標準?

儘管低調,人工智慧在Meta早就已經是旗下Facebook或Instagram貼文與短影音的幕後關鍵。用戶在Instagram上看到的所有內容中,就約有40%是由AI推薦的,而Instagram和Facebook兩個一起算的話,比率則是20%。在業務方面,Meta的主要業務──銷售廣告,也是AI來操盤的。

Meta在AI領域的最大優勢之一,就是旗下的研究部門,許多專家認為,Meta團隊的競爭力並不輸Google和OpenAI等同行。

延伸閱讀:AI、虛擬世界我全都要!祖克柏加碼提新概念「AI代理人」,那是什麼?

雖然Facebook和Instagram大量使用AI,但Meta的應用程式都不允許人們創建新內容,如文本或影像。外媒《Vox》指出,可能跟Meta長期被控「散播仇恨言論、錯誤訊息」的罵名有關,Meta還不想倉促建立一個會產生更多有害或是不正確內容的工具。

其實,Meta已經嘗試過了,他們去年11月所發布、以學術論文進行訓練的實驗性AI工具「Galactica」吐出了不符合事實的種族主義訊息,在三天內就被撤下了。

Meta
Meta在AI領域的最大優勢之一,就是旗下的研究部門,許多專家認為,Meta團隊的競爭力並不輸Google和OpenAI。
圖/ Canva

Meta同時也面臨硬體設備難以執行人工智慧系統的問題。去年9月,Meta內部發布的一份備忘錄表示,該公司「在AI開發方面,工具、工作流程和製程方面存在重大差距」,並且需要「在這方面進行大量投資」。

不過,Meta的人工智慧研究部門仍定期發布公開的AI研究論文(不包括社群媒體演算法的AI)。其他AI公司,如Google和OpenAI因競爭而不那麼願意公開研究成果。

Meta執行長馬克.祖克柏就曾表示, 公開研究成果可以讓Meta率先制定AI產品開發的行業標準,並讓外部開發者更好地融入Meta的生態系統 。今年2月,Meta的研究部門與研究人員就開放LLaMA的大型語言模型給AI社群索取使用權限。

LLaMA的能力目前落後於OpenAI最新的GPT4模型以及Google的Bard,但開放資源仍然代表著AI研究社區不須強大的電腦,就可以修改底層程式碼。但這也有專家認為,過於自由的開放可能會遭到惡意使用。

延伸閱讀:Meta要改名成「MetAI」?祖克柏過度沉醉AI世界,分析師發出警告

資料來源:The VergeengadgetVox

責任編輯:林美欣

往下滑看下一篇文章
總統科學獎揭曉!梁賡義院士、葉均蔚院士用創新與堅持,寫下臺灣科學光輝新頁
總統科學獎揭曉!梁賡義院士、葉均蔚院士用創新與堅持,寫下臺灣科學光輝新頁

【總統科學獎】宗旨在於提升臺灣在國際學術界之地位,獎勵數理科學、生命科學、人文及社會科學、工程科學在國際學術研究上具創新性且貢獻卓著之學者,尤以對臺灣社會有重大貢獻之基礎學術研究人才為優先獎勵對象。

2025年11月11日,總統科學獎頒獎典禮於總統府正式舉行。2001年設立、每2年頒發1次的總統科學獎,今年已邁入第13屆,本屆的2位獲獎者,分別是生命科學組的院士梁賡義、工程科學組的院士葉均蔚。2位臺灣的科研泰斗,不僅全心全意投入創新,更樹立了典範,成為所有科研人員的榜樣。

總統賴清德在致詞時,引用諾貝爾和平獎得主曼德拉(Nelson Mandela)的話指出:「在事情完成之前,一切都看似不可能。這說明了2位院士的故事,他們對未知世界保持熱情、好奇,認真從基礎研究做起,並堅持努力到最後一刻,成功終將屬於他們。」

2025年總統科學獎得主,生命科學組 梁賡義 院士(右)、工程科學組 葉均蔚 院士(左)。
2025年總統科學獎得主,生命科學組 梁賡義 院士(右)、工程科學組 葉均蔚 院士(左)。
圖/ 數位時代

梁院士開創廣義估計方程式 ,加速新藥問世,造福千萬病患

從數學跨足生物統計、再投身高等教育與國家衛生的梁院士,從小就喜歡數學的嚴謹,在美國華盛頓大學攻讀博士期間,因為接觸到當時炙手可熱的「存活分析」,進而對生物統計產生興趣,「投入『生物統計』是條不歸路,因為我發現,統計工具的發展,可以對人類健康有間接幫助。」後來,他前往美國約翰霍普金斯大學任教,又與同事Scott Zeger研發出新的統計方法「廣義估計方程式」,突破了傳統分析方法必須假設所有樣本獨立的侷限,讓長期追蹤資料的解讀更嚴謹,也成為全球健康研究不可或缺的工具。

梁院士研究做得出色,卻不只將心力擺在學術上,他更心心念念著臺灣的發展,持續關心高等教育、國家衛生等領域。他在美國任教的28年間,幾乎年年暑假,都返國舉辦研討會,分享國際生物統計和流行病學的新知。2010年,他乾脆辭去教職,回臺擔任國立陽明大學校長,將陽明大學打造成醫學、人文並重的全人大學。

數位時代
賴總統親自頒發「2025年總統科學獎」殊榮予梁院士。
圖/ 數位時代

2017年,他又接下國家衛生研究院院長一職,並在新冠肺炎爆發期間,擔任中央流行疫情指揮中心研發組組長,與阿斯特捷利康(AstraZeneca)簽約,採購1千萬劑疫苗,完成防疫任務,「所以獲得總統科學獎,不僅是個人的榮耀,更是國家對全人教育的推動、公共衛生實踐,以及任務導向的研究重要性的肯定。能在其中有一些貢獻,我深感榮幸。」

高熵合金之父葉院士,堅持不懈打破材料學定律

被譽為「高熵合金之父」的葉院士,打破材料學界以1~2種主元素為基底的傳統,開創出能讓數十種元素混合的「高熵合金」,為元素週期表注入嶄新生命力,在半導體、智慧機械、綠能科技、國防與生醫等領域帶來突破性的應用。過去合金多以單一金屬為主,再加入少量元素微調性質,金屬種類愈多反而愈脆、延展性與硬度下降,使應用受限;然而高熵合金卻反其道而行,以4、5種以上金屬融合,展現出更佳的延展性、耐腐蝕性與硬度,重新定義合金的可能性。

令人驚訝的是,30年前葉院士提出高熵合金構想時,曾被質疑「觀念錯誤、毫無可能」。他不畏質疑,透過紮實的實驗與論證,於2004年一口氣發表5篇高熵材料論文,為高熵合金命名、定義並奠定理論基礎,後續更平均每年發表逾10篇研究,提出高熵效應、嚴重晶格扭曲效應、緩慢擴散效應與雞尾酒效應等核心概念,開創全新的材料科學典範。

數位時代
賴總統親自頒發「2025年總統科學獎」殊榮予葉院士。
圖/ 數位時代

如今,高熵合金不只在學界掀起熱潮,更成功落地產業。「學以致用非常重要!」葉院士強調,學術研究不該停留在象牙塔,而應投入產業、協助解決關鍵瓶頸。他不僅與國立清華大學共同成立「高熵材料研發中心」,也創辦全球首家高熵材料公司,推動技術轉移與產業升級,讓高熵合金真正走向世界舞臺。

所有總統科學獎得獎人的科學成就及重要貢獻,不僅提升臺灣學術聲譽及國際競爭力,對於增進人類生活福祉更有深遠的影響,實為臺灣學術界的最高典範。而本屆梁院士、葉院士2位得獎人終身投入科學探索、人才培育的成果,嘉惠了整個社會,更成就跨世代的深遠影響,為臺灣科學寫下光輝一頁。

【總統科學獎委員會 廣告】

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
進擊的機器人
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓