Meta二代「SAM 2」來了!AI一鍵分割影片中物件,還免費讓外界開源,祖克柏有何野心?
Meta二代「SAM 2」來了!AI一鍵分割影片中物件,還免費讓外界開源,祖克柏有何野心?

去年Meta推出能夠分割圖像的Segment Anything模型大受外界好評,相隔一年後的現在,Meta帶來了第二代Segment Anything模型(後稱SAM 2),加入了辨識影像中各個物體的技術,並且免費開放所有人使用。

Meta提到的「分割」指的是,AI模型辨別圖像中的各個要素,並將其獨立出來,好比說一段運球的影片中,AI能夠知道籃球是籃球,球員是球員,籃球並不是球員身體的一部分,並將各個物體分割出來。這項技術能夠用於科學研究或編輯照片,依照Meta透露的資訊,目前SAM已應用在分析珊瑚礁、救災圖像、檢測癌症等眾多面向上。

用最大資料集煉成,靠「單幀」分割影片物體

而現在最新發表的SAM 2,主要更新是將這些功能拓展到了影像裡。Meta強調,影像中分割遠比圖像困難,因為物體的位置會隨時間快速變化、過程中可能被遮擋或形狀改變,這都加劇了分割的難度。

不過Meta在部落格中提到,一張圖像可以被視為僅具有單幀(frame)的極短影片,他們便是從這個角度切入來開發新模型。在影片中分割的唯一差別在於,模型需要依靠記憶體回憶起該影片之前處理過的資訊,好在當下時間準備分割物體。

且要實現影像中分割自然需要經過大量訓練,在發表SAM 2的同時,Meta也開放了有著超
過5萬部影片的標注資料集SA-V,並包含超過60萬個時空遮罩(Masklet)。時空遮罩會標注物體的時間及位置,是現有最大影像分割資料集的53倍大。

且根據《TechCrunch》報導,Meta還在論文中提到訓練材料包括一個著10萬部影片的內部資料集並推測可能來自Instagram和Facebook上的公開資料。

近日廣受矚目的祖克柏與輝達執行長黃仁勳在SIGGRAPH 2024活動上對談,就提到了新推出的SAM 2。「科學家利用這項技術來研究珊瑚礁、自然棲息地之類的東西,不過能將這項技術應用到影片,並且在沒有樣本提示的情況下告訴它你想要的,這真的非常酷。」祖克柏表示。

黃仁勳 祖克柏 01.jpg
祖克柏與輝達執行長黃仁勳的對談中,也提到了他們新推出的模型。
圖/ 輝達YouTube頻道

《TechCrunch》指出,雖然處理影片需要更龐大的運算能力,使得SAM 2有更高的硬體要求,但在Meta推出這系列模型前,想要如此迅速、靈活的分割影像中的物體根本不可能辦得到。

不過Meta表示,SAM 2仍有一些缺憾,在較為複雜的場景中很難持續鎖定要分割的物體,例如多隻馬一齊狂奔的影片中,SAM 2會在中途失去鎖定,需要人為手動校正;又或者同時分割多個物體時效率會大大降低,未來還有改進的空間。

SAM 2仍免費開源使用,祖克柏目的打造更完備模型

不過如此具有突破的模型,Meta仍然免費開放所有人使用,在Apache 2.0授權條款下發布這款新模型。

Meta強調,他們鼓勵AI社群嘗試使用這次的新模型、使用他們的資料集並希望透過分享這個研究,為圖像分割及相關領域的發展做出貢獻,並期待這次分享能激發社群產生新的見解、帶來有幫助的經驗。

meta SAM 2 02.jpg
透過SAM 2,AI能夠將影片中的不同物體分割、獨立出來。
圖/ Meta

Meta近年在AI領域的發展,一直堅定擁護開源開放的路線。祖克柏也提到,雖然Meta的開放並不是全然是出於做功德的心態,但不代表他們別有居心,「你需要圍繞它的生態系統,如果我們不開源這些功能就不會這麼好用,沒錯吧?我們選擇開源並不是因為我們大公無私,而是認為這麼做可以讓我們打造的東西變得最棒。」

就在發表SAM 2的前一週,祖克柏撰寫了一封公開信,透露他們正努力使開源成為AI領域的產業標準,強調這項技術比其他任何技術都有潛力提昇人類的生產力、創造力及生活品質,為社會及科學的革新帶來貢獻。Meta聲稱去年推出SAM後在AI社群帶來的迴響令他們印象深刻,預計SAM 2將帶來更為令人興奮的可能性。

延伸閱讀:首批iPhone 16恐不含AI功能!蘋果擬推遲Apple Intelligence上線,問題出在哪?
詐騙靠Deepfake語音假扮CEO!法拉利高管險遭設局,他如何靠「1句反問」化解危機?

資料來源:TechCrunchMeta(1)Meta(2)

責任編輯:蘇柔瑋

關鍵字: #meta
往下滑看下一篇文章
連結資金、技術與場域!資誠打造新創最強後盾,與企業共創 AI 新價值
連結資金、技術與場域!資誠打造新創最強後盾,與企業共創 AI 新價值

隨著生成式 AI、雲端與邊緣運算技術加速成熟,全球產業正面臨前所未有的技術革新與商業模式重塑。AI 已正式從實驗室的研究階段邁向實際應用,成為企業優化營運效能、驅動創新轉型的核心力量。對於新創團隊而言,這更是跨越產業門檻、進軍國際市場的關鍵跳板。

為了協助更多企業、新創團隊掌握最新趨勢,資誠不僅邀請政府與科技大廠分享觀察,更透過舉辦多場主題式媒合會提供專業諮詢,把創新構想化為具體行動。

雙引擎驅動,打造創業家友善與 AI 智慧城市

論壇一開始,臺北市長蔣萬安即點出市府推動新創的兩大核心:打造「創業家友善城市」與「AI 驅動的智慧城市」。

為加速國際鏈結,市府推出 Startup Passport(新創護照全球通)計畫,藉由城市互惠機制,協助國內外新創團隊在資金、人才、空間上無縫嫁接。

面對 AI 浪潮,臺北市體質持續強化。除迎來輝達總部、微軟等國際大廠,更成為全臺首個訂定「人工智慧作業指引」的地方政府,鼓勵活用 AI 並劃出明確規範。實際應用上,市民常用的 1999 熱線已導入 AI 語音轉文字技術,話務人員因此能快速回覆,大幅縮短服務時間並提升品質。市府目前也正積極建構大語言模型,持續精進市民服務。

資誠聯合會計師事務所
台北市長蔣萬安
圖/ 數位時代

資金與資源匯聚,資誠搭建生技與物聯網新創橋樑

資誠長期深耕新創生態圈,每年發布的「台灣新創生態圈大調查」顯示,場域驗證與夥伴關係建立是新創團隊最迫切的需求。資誠聯合會計師事務所所長徐聖忠致詞時強調,台北匯聚了金融人才、資金與算力資產,而資誠的角色正是連結這些資源的關鍵樞紐。

資誠聯合會計師事務所
資誠聯合會計師事務所所長徐聖忠
圖/ 數位時代

AWS 深耕台灣,以新創思維賦能企業雲端轉型

其中之一,便是 AWS。AWS 臺灣暨香港企業銷售暨策略方案副總經理謝佳男分享,AWS 在 2006 年成為亞馬遜集團一員,由最新財報看來,佔亞馬遜集團營收雖不到 20%,卻貢獻逾八成營運獲利。這來自於堅持「Day 1 Culture」(第一天文化)永保初心,以及從客戶角度出發的「逆向工作法」。

即便已是大集團的一員,AWS 仍視自身為新創,因此對新創理解更深,全球 83% 獨角獸公司服務皆建立於 AWS 之上。謝佳男指出,AWS 未來 15 年內將在臺投資數十億美元,建構 3 個可用區域的基礎設施,除提供超低延遲服務,也滿足企業對資料落地的法規需求。

針對 AI,亞馬遜推出 Amazon Bedrock 平台,連接各種頂尖基礎模型,讓企業能像使用積木般彈性構建應用。台灣有不少新創也使用AWS服務,如獲選為國家新創品牌 NEXT BIG 之一的凱鈿行動科技就是。謝佳男觀察,該公司做 PDF Reader 和電子簽核、SaaS 服務,品質非常好,是來自台南的團隊,卻透過雲端,把產品成功賣進全世界。

資誠聯合會計師事務所
AWS台灣暨香港企業銷售暨策略方案副總經理謝佳男
圖/ 數位時代

高通推邊緣 AI 落地,多管齊下助攻開發者

另一個和台灣新創團隊密切互動的大廠,則是高通。Qualcomm 美國高通公司業務開發總監暨亞太生態系發展計畫負責人戴郁文表示,該公司成立至今約 40 年,除精進通訊技術外,也一路帶領科技產業進入「萬物聯網」時代,並持續強化電腦、智慧穿戴等 IoT 產品的運算與連結能力。

她進一步解釋,未來是「混合式 AI」年代,運算需落地至「邊緣 AI」(Edge AI)執行,這能處理複雜情境、帶來更好效能、更低延遲與更嚴密的隱私保護。目前許多大語言模型應用正從雲端轉移至終端裝置。

為助開發者站穩腳步,高通推出 Qualcomm AI Hub,提供優化模型供驗證,輕鬆部署 AI 模型到高通晶片裝置上。不只在技術上成為新創團隊的後盾,高通也舉辦「高通台灣創新競賽」,每年選出 10 家頂尖新創團隊,並協助育成,另外也有一系列智慧財產權課程,協助新創了解專利與智財權佈局。

資誠聯合會計師事務所
Qualcomm美國高通公司業務開發總監暨亞太生態系發展計畫負責人戴郁文
圖/ 數位時代

從通用腦到專屬腦,資誠透過 Tars.ai 平台助企業打造AI轉型實戰力

但當企業導入 AI 技術後,如何從「好玩」走向「好用」,並善盡治理責任?資誠創新諮詢公司執行董事陳世祥提出獨到見解。他將企業 AI 應用分為三層次:一是行政輔助的「通用腦」;二是針對特定專業的「專業腦」;三則是企業最渴望、能結合內部數據的「專屬腦」。

「專屬腦並不容易建立,」陳世祥分析,「它必須與企業的 ERP、研發、製造及 CRM 系統深度連結。」為此,資誠透過「Tars.ai 平台」,協助企業整合 RAG 技術、知識庫與 AI 模型,打造具備語意理解與自主查詢能力的企業第二大腦。

透過 Tars.ai,研發人員可直接詢問 AI 關於投產參數調整對良率的預測;管理層則能即時分析營收數據與客戶動態,不再依賴落後指標。陳世祥更強調,資誠在協助導入技術的同時,也協助企業成立「AI 專責小組」,確保 AI 應用符合道德與安全規範,落實「負責任的 AI」。

資誠聯合會計師事務所
資誠創新諮詢公司執行董事陳世祥
圖/ 數位時代

與大廠共舞,新創深耕 Know-how 與速度才能突圍

最後由陳世祥與四家新創進行對談,探討新創如何擁抱 AI 產業化浪潮。但在發展過程中,新創往往與科技巨頭既合作又競爭,該怎麼學會共舞?

用益網路科技行銷長黃大成認為,大廠有最強算力,但不太可能知道新創在某個特定產業、特定店家狀況為何,不同產品、場域,往往有不同專業知識。而從 ChatGPT 演進過程,大家發現它開始有「情緒」。他認為,AI 未來在情緒價值、在地化經驗的發展,可以幫助新創勝過大廠。

睿加科技資深成長經理陳子裕也認為,大廠雖然可做通用型產品,但新創卻能針對特定使用者情境深化,是大廠比較難以顧及的層面。

伊斯酷軟體科技共同創辦人暨技術長鄭永斌分析,新創的優勢在於速度快,能立刻判斷新科技可做什麼,或不能做什麼。

康統醫學科技執行長廖威宣則表示,醫療產業封閉、保守,每家醫院場域不同,大廠未必願意下苦工調整醫護人員流程,進行資料標記與整理,再逐一和醫院既有系統供應商綁定、談判,是新創的優勢所在。

資誠聯合會計師事務所
由左至右:資誠創新諮詢公司執行董事陳世祥、康統醫學科技執行長廖威宣、伊斯酷軟體科技共同創辦人暨技術長鄭永斌、睿加科技資深成長經理陳子裕、用益網路科技行銷長黃大成
圖/ 數位時代

陳世祥總結,資誠看見新創在垂直領域的深耕潛力。只要把 Know-how 做深,發揮比大企業更快的反應速度,並善用資誠提供的資源與平台進行對接,就是新創在 AI 浪潮中突圍生存的關鍵。

精準媒合、評選輔導,資誠將資源對接化為實際行動

除了論壇上的觀點激盪,資誠更透過專館活動落實資源對接,在活動期間舉辦多場主題媒合會,為新創搭建通往市場的橋樑。

在「生技醫療領域投資媒合會」中,資誠特別攜手北醫生醫加速器對接臨床與市場資源。北醫生醫加速器副執行長易詩恩表示,作為台灣首家國際級創新醫療大學加速器,北醫聚焦「數位醫療」、「人工智慧」與「精準健康」,整合一校六院資源,建立「新創綠色通道」,加速產品臨床落地。

資誠聯合會計師事務所
資誠藉由主題媒合會,攜手北醫生醫加速器等夥伴,提供生醫、物聯網新創一對一財稅法務諮詢與資源對接,加速產品落地。
圖/ 數位時代

資誠審計服務執業會計師吳偉豪指出,有鑒於全球生技產業隨技術演進蓬勃發展,資誠成立生技醫療與健康科技服務團隊,針對新興產業提供從設立、募資、申請補助到上市櫃、跨境合作及併購的全方位財稅法務服務,現場吸引多家投資人與五家智慧醫療新創進行深度互動。

此外,在「物聯網領域投資媒合會」中,資誠創新諮詢董事劉冠志深入分析物聯網產業趨勢,並邀請三家資誠創業成長加速器新創團隊分享創新技術。而在為期三天的展會中,資誠也動員所內審計、稅務法律專家,提供新創一對一的財稅股權專業諮詢,協助解決營運痛點。

不僅提供媒合與諮詢,資誠更積極挖掘並獎勵具潛力的新創。在本次 Meet Taipei 的「2025 Meet Neo Star Demo Show」中,資誠創新創業服務主持會計師顏裕芳將特別獎頒予「介觀生醫」。

資誠聯合會計師事務所
透過 Meet Neo Star Demo Show 評選培植具潛力的優秀新創,資誠特別為介觀生醫提供六個月客製化加速器輔導與全方位專業諮詢,以企業顧問角色促進生態圈共創共榮。
圖/ 數位時代

顏裕芳表示,獲獎團隊可加入資誠創業成長加速器,享有六個月客製化輔導、商機與投資人媒合,以及涵蓋商業顧問、風險治理、法律財稅及國際化策略的諮詢服務。他強調,新創擴張時與外部夥伴建立緊密關係至關重要,資誠將持續扮演企業顧問角色,促進生態圈共創共榮。

透過論壇的趨勢引領、媒合會的精準對接,以及 Demo Show 的獎勵輔導,資誠在此次活動中完整呈現在新創生態圈的全方位佈局,持續以資金、技術與場域的整合力量,助攻台灣新創邁向國際舞台。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
進擊的機器人
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓