Meta二代「SAM 2」來了!AI一鍵分割影片中物件,還免費讓外界開源,祖克柏有何野心?
Meta二代「SAM 2」來了!AI一鍵分割影片中物件,還免費讓外界開源,祖克柏有何野心?

去年Meta推出能夠分割圖像的Segment Anything模型大受外界好評,相隔一年後的現在,Meta帶來了第二代Segment Anything模型(後稱SAM 2),加入了辨識影像中各個物體的技術,並且免費開放所有人使用。

Meta提到的「分割」指的是,AI模型辨別圖像中的各個要素,並將其獨立出來,好比說一段運球的影片中,AI能夠知道籃球是籃球,球員是球員,籃球並不是球員身體的一部分,並將各個物體分割出來。這項技術能夠用於科學研究或編輯照片,依照Meta透露的資訊,目前SAM已應用在分析珊瑚礁、救災圖像、檢測癌症等眾多面向上。

用最大資料集煉成,靠「單幀」分割影片物體

而現在最新發表的SAM 2,主要更新是將這些功能拓展到了影像裡。Meta強調,影像中分割遠比圖像困難,因為物體的位置會隨時間快速變化、過程中可能被遮擋或形狀改變,這都加劇了分割的難度。

不過Meta在部落格中提到,一張圖像可以被視為僅具有單幀(frame)的極短影片,他們便是從這個角度切入來開發新模型。在影片中分割的唯一差別在於,模型需要依靠記憶體回憶起該影片之前處理過的資訊,好在當下時間準備分割物體。

且要實現影像中分割自然需要經過大量訓練,在發表SAM 2的同時,Meta也開放了有著超
過5萬部影片的標注資料集SA-V,並包含超過60萬個時空遮罩(Masklet)。時空遮罩會標注物體的時間及位置,是現有最大影像分割資料集的53倍大。

且根據《TechCrunch》報導,Meta還在論文中提到訓練材料包括一個著10萬部影片的內部資料集並推測可能來自Instagram和Facebook上的公開資料。

近日廣受矚目的祖克柏與輝達執行長黃仁勳在SIGGRAPH 2024活動上對談,就提到了新推出的SAM 2。「科學家利用這項技術來研究珊瑚礁、自然棲息地之類的東西,不過能將這項技術應用到影片,並且在沒有樣本提示的情況下告訴它你想要的,這真的非常酷。」祖克柏表示。

黃仁勳 祖克柏 01.jpg
祖克柏與輝達執行長黃仁勳的對談中,也提到了他們新推出的模型。
圖/ 輝達YouTube頻道

《TechCrunch》指出,雖然處理影片需要更龐大的運算能力,使得SAM 2有更高的硬體要求,但在Meta推出這系列模型前,想要如此迅速、靈活的分割影像中的物體根本不可能辦得到。

不過Meta表示,SAM 2仍有一些缺憾,在較為複雜的場景中很難持續鎖定要分割的物體,例如多隻馬一齊狂奔的影片中,SAM 2會在中途失去鎖定,需要人為手動校正;又或者同時分割多個物體時效率會大大降低,未來還有改進的空間。

SAM 2仍免費開源使用,祖克柏目的打造更完備模型

不過如此具有突破的模型,Meta仍然免費開放所有人使用,在Apache 2.0授權條款下發布這款新模型。

Meta強調,他們鼓勵AI社群嘗試使用這次的新模型、使用他們的資料集並希望透過分享這個研究,為圖像分割及相關領域的發展做出貢獻,並期待這次分享能激發社群產生新的見解、帶來有幫助的經驗。

meta SAM 2 02.jpg
透過SAM 2,AI能夠將影片中的不同物體分割、獨立出來。
圖/ Meta

Meta近年在AI領域的發展,一直堅定擁護開源開放的路線。祖克柏也提到,雖然Meta的開放並不是全然是出於做功德的心態,但不代表他們別有居心,「你需要圍繞它的生態系統,如果我們不開源這些功能就不會這麼好用,沒錯吧?我們選擇開源並不是因為我們大公無私,而是認為這麼做可以讓我們打造的東西變得最棒。」

就在發表SAM 2的前一週,祖克柏撰寫了一封公開信,透露他們正努力使開源成為AI領域的產業標準,強調這項技術比其他任何技術都有潛力提昇人類的生產力、創造力及生活品質,為社會及科學的革新帶來貢獻。Meta聲稱去年推出SAM後在AI社群帶來的迴響令他們印象深刻,預計SAM 2將帶來更為令人興奮的可能性。

延伸閱讀:首批iPhone 16恐不含AI功能!蘋果擬推遲Apple Intelligence上線,問題出在哪?
詐騙靠Deepfake語音假扮CEO!法拉利高管險遭設局,他如何靠「1句反問」化解危機?

資料來源:TechCrunchMeta(1)Meta(2)

責任編輯:蘇柔瑋

關鍵字: #meta
往下滑看下一篇文章
精密檢測不只是工業專利!蔡司以AI渲染視界,打造個人化視力保健
精密檢測不只是工業專利!蔡司以AI渲染視界,打造個人化視力保健

在 AI 與高科技製造加速革新的當下,「精準」成為創新的關鍵基礎。對德國百年光學品牌蔡司(ZEISS)而言,精準不只是企業核心,更是一種跨時代的技術信仰;從半導體晶圓製程的光學檢測,到醫療、顯微技術及太空探索,蔡司始終以精密科技撐起產業尖端應用,穩坐全球光學領域的領導地位。

如今,這份對「清晰看見」的堅持,也走入每個人的日常生活。面對數位設備普及所導致的長時間用眼,以及高齡社會帶來的視覺健康挑戰,蔡司運用百年技術基礎與創新服務,再次深刻詮釋「看見」的初衷,致力為每一個人帶來更清晰、更健康的視界。

AI科技結合視力保健,打造個人化的視覺體驗

蔡司近期推出的「NSLY 視界人格測驗」,即是一場以 AI 為基礎的創新嘗試。使用者只需在導覽角色 Ziris 引導下完成一系列問答,系統即能根據互動回應分析其性格特質,配對出對應的「視界顏色」與蔡司代表角色。

透過這種趣味且具備數據基礎的互動設計,蔡司不僅讓大眾對自身視覺需求有了初步認識,也進一步深化「NOBODY SEES LIKE YOU 渲染視界 如你所見」的品牌理念——每雙眼睛都是獨一無二的存在。

同時,藉由科技導入參與式體驗的作法,也可能成為健康科技推廣的新趨勢。對視力保健而言,更是翻轉過往「有症狀才就醫」的被動模式,轉向從興趣出發的主動參與。

蔡司
透過 Ziris 導引互動,體驗專屬「渲染視界」的AI測驗,揭開個人視覺風格的第一步。
圖/ 蔡司

「蔡司優視力體驗」,重新定義配鏡流程

除了AI互動測驗,蔡司更以數位化技術改變以往傳統的配鏡流程。透過「蔡司優視力體驗」,提供全方位的專業光學解決方案,這套流程結合精密檢測與個性化設計,涵蓋以下三大核心步驟:

  1. 視力表現分析:透過專業設備深入了解個人視覺需求與用眼習慣,作為後續設計依據。
  2. 精準量測眼部數據:運用高科技儀器精密測量眼球位置、角度與瞳距等眼部數據,確保鏡片設計與視線軸心精確對位。
  3. 鏡片與鏡框定位:根據臉型結構與視覺行為模擬,精準取得鏡片安裝位置與鏡框配戴參數,優化視野穩定性與長時間配戴的舒適感。

同時,這套配鏡流程能滿足不同年齡層的需求,從兒童近視矯正到熟齡族群的多焦點鏡片,皆可提供量身打造的解決方案,讓每一副蔡司鏡片都是個人專屬的最佳視覺工具。

蔡司
結合精密檢測與個人化設計,蔡司優視力體驗重塑配鏡流程,讓清晰視界有感也有據。
圖/ 蔡司

科技與永續並行,推動視力保健的社會責任

除了技術創新領先業界,蔡司也以積極行動實踐企業社會責任,推動視力保健的普及與永續發展。近年來,蔡司透過多元形式落實這項承諾,展現品牌對視覺健康議題的長期投入。

其中,「光勢力行動車」計畫即透過全台巡迴,結合現場講座與互動體驗,深入各地社區推廣正確用眼知識與標準配鏡流程。降低了視力教育的門檻,也有效擴大了健康資訊的觸及範圍,讓視力保健成為更容易被理解與實踐的日常習慣。

此外,蔡司亦透過「蔡司光廊 ESG 計畫」串聯公益與永續,號召民眾回收閒置鏡片,賦予其第二生命。這些鏡片經重新整理後,將被用於公益義診與教育資源,在落實循環經濟之際,也為弱勢族群提供視力保健資源,讓「看見」這件事不因社經條件而產生落差。

專業支持與合作,打造完整光學服務鏈

在推動視力保健普及化的過程中,蔡司亦持續深化與各領域專業人士的合作,建立從技術、教育到應用場景的完整光學服務鏈。

在學術領域,中山醫學大學視光學系系主任孫涵瑛分享,蔡司長年在光學技術上的專業累積,為視光實務提供穩固的科學基礎,有助於提升檢測效率與準確性,並強化教學與臨床操作的連結。

而在應用端,看見.齊柏林基金會董事齊廷洹則從影像創作者的角度出發,指出無論是記錄風景還是進行公益拍攝,視覺品質始終是不可或缺的基礎條件。透過與蔡司的合作,讓影像更忠實呈現情感,也讓公益理念得以被更多人「看見」。

透過這些橫跨學術與實務的合作關係,蔡司進一步擴展光學技術的應用場域,從健康照護延伸至教育、影像、文化等多元領域,深化其作為專業夥伴的價值角色。

蔡司
蔡司持續深化與各領域專業人士的合作,從健康照護延伸至教育、影像、文化等多元領域。
圖/ 蔡司

以AI與精密技術深刻詮釋「看見」的價值

從工業檢測到視力保健,蔡司以百年技術積累與創新思維,持續探索「看見」的更多可能性。透過「NSLY視界人格測驗」、數位化的「蔡司優視力體驗」以及永續發展計畫,蔡司不僅讓消費者感受到品牌的科技實力,更深化了「清晰看見」的價值內涵。

未來,蔡司將持續以精密技術為基石,推動視覺健康與科技創新的雙向發展,為人類帶來更清晰、更美好的世界。

現在,邀請您從個人視角出發,參加《渲染視界 如你所見》NSLY視界人格測驗,就有機會抽中日本沖繩雙人來回機票!立即測驗: https://zeissvisexperience.pse.is/Businessnext

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
蘋果能再次偉大?
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓