Sora實測|用文字生成的「魔幻MV」出爐,準確度拚過Runway、Pika?
Sora實測|用文字生成的「魔幻MV」出爐,準確度拚過Runway、Pika?

OpenAI今年2月發布影片生成工具Sora,宣稱可透過文字生成影音內容,由於應用範疇廣泛,引起全球相關產業人士關注。據外媒《Financial Times》報導,在人類一定的提示之下,Sora已經可以應用在廣告、音樂MV的實作過程,以加快創意領域工作者的溝通過程。

從事廣告業的品牌顧問班揚(Charlotte Bunyan)指出,她在為知名超市製作廣告影片時透過Sora實作,並同時比對同為文字生成影音內容的AI模型Runway和Pika的功能,這兩家公司都聲稱只需幾個詞彙提示,就能生成AI影片內容。

班揚指出,無論是Sora、Runway或Pika,都能透過「將想法可視化」來加快交流創意想法的效率,但Sora對提示內容的呈現更加準確。但她也強調,現階段無論使用何種AI模型,生成內容都需要人類進一步處理。

報導中也指出,獨立藝術家Washed Out的新歌《The Hardest Part》MV,是透過Sora製作的最長作品。據悉,MV中的影片,是由Sora依據詳細的文字提示所生成的55個片段拼接而成。但這些片段的連貫性仍有瑕疵。例如同一名角色在不同的影片秒數中長相不一。

對此,特里洛在推文中指出,這些差異反而增強了影片的奇幻性。他認為Sora能夠強化生成內容的創意元素,「但不應成為主導工具。」

《數位時代》曾報導過Sora亮點,以下是原報導:

從和人無礙對談、寫程式到通過Google的工程師面試,OpenAI的生成式AI已經展露過眾多能力,現在他們又掌握了一項新技能:拍影片。新亮相的AI模型「Sora」讓用戶能夠用短短一句話,生成長達1分鐘的擬真影片。

「為您介紹Sora,我們的文字轉視訊模型。Sora可以在保證畫面品質及遵守用戶提示詞的前提下,生成長達1分鐘的影片,」OpenAI在官網中表示。

生成影片極具真實感,OpenAI揭露最新影像生成技術

生成影片的AI其實並不新鮮,從Google、Meta等科技巨頭到成立不滿一年的新創Pika Labs等公司,都發表過生成影片的AI技術。而Sora最大的特點在於極其逼真,外媒《Wired》聲稱,這是沒有在其他影片生成AI模型中看見過的真實感,並且生成的影片長於其他模型。

根據OpenAI在官網上的介紹,Sora能夠生成包含多名角色、特定動作類型以及大量細節的複雜場景,而且AI不僅了解用戶在提示詞所說的各種物體,還知道這些物體是如何存在於現實世界,進而營造出讓人驚豔的逼真感受。

另外,Sora也對語言有著深入理解,可以準確的呈現提示詞所說內容,生成吸引目光的飽滿角色,且可以在一段影片中建立多種不同的鏡頭,並精準保留角色及視覺的風格。

OpenAI也在官網上揭露了大量演示影片,例如一名女子走在東京街頭的短片,其提示詞為:

「一名穿著時尚的女子走在充滿溫暖霓虹燈及招牌的東京街頭。她身著黑色皮夾克、紅色長裙及黑色靴子,拎著一個黑色包包,戴著太陽眼鏡,擦著紅色口紅,走起路來自信又隨性。潮濕的街道反射出七彩燈光,行人熙來攘往。」

(A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.)

這段1分鐘的短片裡,雖然從招牌文字、道路布局到路人過於平滑的移動等等存在不少破綻,但乍看之下仍然極為逼真,若是焦點放在時尚女子身上的話,或許一時半會沒辦法注意到這是全然由AI生成的影片。

且不光是具有現實感的現代影片,在提示詞:「淘金熱時的加州歷史鏡頭。」(Historical footage of California during the gold rush)裡,Sora就為影片打上了充滿年代感的濾鏡,不過包含建築布局等仍有一些仔細看便能發現的不合理之處。

OpenAI指出,目前的模型存在弱點,難以精準模擬複雜場景裡的物理原理,並且不太能理解因果關係,假如要求Sora生成一個人吃餅乾的影片,可能畫面中咬了一口餅乾後,餅乾仍然完好無缺。同時Sora還有些左右不分、難以精確呈現隨時間變化的事件等問題。

至於生成這樣一部充滿真實感的影片需要花上多長時間?OpenAI沒有公佈具體用時,僅向媒體透露所費時間大約是「出門吃一餐墨西哥捲餅」,

Sora還有些功能沒有對外展示,例如從一幅圖像生成短片,或者替既有影片填補上缺少的幀數,甚至延伸內容。OpenAI研究人員比爾.皮布斯(Bill Peebles)表示,「這是一種提高講故事能力非常酷的方式。你可以畫出想法,然後使其成為現實。」

目前Sora還無法撼動電影產業,因為每次生成的內容多少有所差異,不可能將120部1分鐘影片串成電影,但對於TikTok等短影音平台來說,將是顛覆性的新工具,即使是普通民眾也能利用AI技術生成高品質的短片。

一般民眾使用Sora還要再等等!OpenAI正與各界合作防範安全問題

不過如此逼真的影像生成能力,若被有心人士用來生成假消息,該怎麼辦?這也是為何OpenAI還沒有公開發布Sora的原因之一,目前該模型僅提供攻擊模擬團隊(red team)和少數藝術家、設計師及電影製作人使用。

OpenAI強調,目前他們正在開發能夠檢測假消息的工具,並計畫嵌入C2PA的後設資料(metadata),例如先前在Dall-E 3中,生成的圖像檔案資料上就會顯示該圖片是使用Dall E打造。除此之外,OpenAI聲稱也將一併包含Dall-E 3既有的使用規範,拒絕生成名人,以及暴力、性或仇恨內容。

OpenAI聲稱,他們正在與各國政府、教育人士及藝術家合作,以了解各界的擔憂及如何正向使用。「就如我們無法預測所有正向的使用方式,我們也無法預先知道所有惡意使用方式。」他們在官網上表示,「這也是為什麼我們認為從在現實世界的使用中學習,打造及發布更安全AI系統的關鍵。」

資料來源:OpenAIWiredThe Verge

關鍵字: #openai
本網站內容未經允許,不得轉載。
往下滑看下一篇文章
全球最佳!中國附醫積極打造安全智慧醫院,亮眼表現獲 HIMSS肯定
全球最佳!中國附醫積極打造安全智慧醫院,亮眼表現獲 HIMSS肯定

為提供以病患為核心的醫療照護服務,中國醫藥大學附設醫院(以下簡稱中國附醫)早在數年前就展開智慧醫院布局,並獲得國內外獎項肯定、創下許多台灣第一。舉例來說,中國附醫不僅連續完成美國醫療資訊與管理系統學會(HIMSS)的 INFRAM Stage7認證、EMRAM Stage7認證、AMAM Stage6認證並獲得亞洲首座HIMSS Davies Award of Excellence大獎,更進一步獲得HIMSS「數位健康指標(Digital Health Indication,DHI)」全球最高成績殊榮。

中國附醫是如何辦到的?

中國醫藥大學附設醫院資訊副院長陳俊良面帶微笑的說:「在蔡長海董事長以及周德陽院長高瞻遠矚領導下,我們早在2021年就擘劃清楚的智慧醫療藍圖,還有專職單位負責各項工作,此外,還可以彈性因應業務需求敏捷展開跨部門合作。」舉例來說,在數據管理與應用這個領域,資訊室負責臨床醫療數據資料的蒐集,大數據中心則肩負巨量數據挖掘與應用,至於人工智慧中心則是將人工智慧技術應用到智慧醫療各個領域的關鍵推手。「在實踐智慧醫院這個旅程中,資訊室肩負數據治理重責,必須從(醫護)需求面、(數據)來源面、(安全/隱私)技術面等構面進行規劃與啟動相關實務。」

自由系統
圖/ 自由系統

從身分驗證管理到內部通訊,自由系統助中國附醫深化安全防護力

為發揮醫療數據的最大價值,中國附醫尤其重視資訊安全防禦,陳俊良表示:「第一前提是合規、因應資安法優化系統、數據、裝置設備與人員的安全性。」具體作法有二:首先是因應資安法以縱深防禦的方式持續強化對私有雲環境與設備的安全管理;其次是加強整體資安可視性與自由系統合作,由其協助導入微軟各項的解決方案,並提供資安監測與即時異常通報等服務,讓中國附醫可以更具效率與效能的方式過濾與發現異常事件。

中國醫藥大學附設醫院資訊室系統維護組組長李祥民進一步解釋:「資安威脅無所不在,過去幾年,勒索軟體威脅更是防不勝防,為了解決這個問題,光是保護數據資料還不夠,必須從身份、裝置、帳戶等多元角度切入,因此,微軟在2021年開始提供資安解決方案時,我們就開始評估有能力解決問題的廠商,決定合作廠商的原因有三:首先是原廠推薦,由原廠的角度評估廠商有解決問題的能力,其次是自由系統展現出的專業技術與符合客戶需求的服務;最後,同時也是最重要的是,他們可以提供即時監測並提供通報服務,極大程度緩解中國附醫在資安人力與能力的欠缺,讓我們可以更好的落實安全防護。」

因此,中國附醫順利在2022年導入微軟資安解決方案,而這,不僅提升了中國附醫的資安防護能力,例如分別在2022年跟2023年預先偵測異常事件並成功防堵來自外部的安全攻擊,也讓資訊同仁可以專注在核心業務上,極大化資訊與數據價值。良好的合作體驗也讓雙方合作關係進一步擴展到應用程式端的安全防護,例如,將地面郵件系統搬遷到微軟的雲端服務,藉此降低Email Server的維運成本與損壞風險,同時,優化帳戶登入管理等。

陳俊良表示:「過去幾年,資安威脅不減反增,但是,透過縱深防禦的強化並且經由合作廠商加強即時監控與協助行政通報等服務,我們可以逐步優化資訊安全防護能量,並成功讓異常事件的發生頻率下降,而這,也是中國附醫可以順利獲得HIMSS的INFRAM Stage7跟EMRAM Stage7等認證的關鍵原因之一,為此,後續將持續與合作夥伴共同努力、與時俱進的深化安全防護能力。」

自由系統
圖/ 自由系統

透過雲端身分驗證落實Single Sign On以提升縱深防禦能力

除了導入資安與雲端郵件之外,李祥民表示,中國附醫更於日前將雲端身分驗證跟院內簽核系統的登入機制彙整在一起,以優化登入安全。「接下來,我們會與自由系統合作,重新盤點、評估有哪些院級服務適合以Microsoft Azure AD進行單一登入與多因素驗證,藉此提升安全防護機制。」

自由系統業務經理許廷輔表示,資訊安全不可能一步到位,相反的,需要長期、動態的進行調整與優化,因此,需要組織上下齊心、一同落實安全防禦。「從2021年至今,我們發現,中國附醫不僅重視資訊安全,更身體力行、彈性敏捷的因應潛在威脅做出調整、改變,這是很難能可貴的地方,為進一步擴大成效,自由系統將針對中國附醫在(數據)資料安全與雲端服務等策略提供更多適合中國附醫的產品及服務。」

「智慧醫療、智慧醫院涉及的面向既廣且深,不可能單憑己力完成,需要專業的外部夥伴提供最佳支援與服務,我們很開心可以有自由系統這樣的夥伴,期待未來有更多合作火花,讓中國附醫可以一步一腳印的建構與完善安全智慧醫院布局。」關於中國附醫與自由系統的未來合作,陳俊良如是總結。

自由系統
圖/ 自由系統
本網站內容未經允許,不得轉載。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
台日半導體新局 全解讀
© 2024 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓