AI生成再升級!MultiDiffusion可以指定圖像位置,怎麼讓愛因斯坦與泰勒絲同框?
AI生成再升級!MultiDiffusion可以指定圖像位置,怎麼讓愛因斯坦與泰勒絲同框?

以前AI繪圖有個問題,就是畫出來的內容不可控。你希望某個東西出現在特定的位置上,但是往往事情跟你想的不一樣。

這邊哈士奇,那邊牧羊犬,背景在下雪天。啪!一幅畫就這麼完成了。

MultiDiffusion
圖/ T客邦

這個最新 MultiDiffusion 模型框架,不管選的區域位置有多離譜,它都能給你畫出指定的東西來。
比如,你能看到大象和乳牛同框?

MultiDiffusion
圖/ T客邦

而且線上可試,親測大概 15 秒就能出,你甚至可以看到泰勒絲與愛因斯坦跨時空同框。

MultiDiffusion
圖/ T客邦

要知道以前 AI 繪圖最大的一個 bug 就是不可控,但現在人類擁有了更多的控制權。
總之就是,能夠想畫什麼就畫什麼,想往哪畫就往哪畫!

有網友趕緊上手試了試:Not Bad!

MultiDiffusion
圖/ T客邦

想往哪畫就往哪畫

從效果來看,主要有三個方面的應用。
* 文字到高解析度全景生成
* 精確區域生成
* 任意長寬比粗略區域生成。

首先,只需要一句話,就可以生成 512* 4609 解析度的全景圖。

一張有滑雪者的雪山頂峰的照片。

MultiDiffusion6
圖/ T客邦

攝影師也不用爬樓了,直接獲得城市夜景圖。

MultiDiffusion
圖/ T客邦

當然更為重要的功能,那就是給特定區域單獨提示,然後 AI 繪畫就來指哪畫哪。

比如在黑色部分是一個明亮的盥洗室,紅色區域是一面鏡子、藍色部分是花瓶、黃色部分是白色的水槽。

MultiDiffusion
圖/ T客邦

就這麼隨手一個拼圖畫,結果就生成了真實場景。

MultiDiffusion
圖/ T客邦

不過也有一些 bug,像一些超現實的,他就有點太天馬行空了。

比如三體人在宇宙中大戰人類。

MultiDiffusion
圖/ T客邦

當然也可以無需那麼精確,只需標個大致位置,還支援任意長寬比的圖像。

MultiDiffusion11
藍色部分是埃菲爾鐵塔、紅色是粉色的雲、綠色是熱氣球 。
圖/ T客邦

關鍵是各種構圖都十分地合理、場景效果以及實際物體相對大小也都十分精準。

圖像生成可控

背後的這個模型叫做 MultiDiffusion,這是一個統一的框架,能實現多功能和可控的圖像生成。

以往即便 Diffusion 模型給圖像生成帶來變革性影響,但使用者對生成圖像的可控性、以對新任務的快速適應仍是不小的挑戰。

研究人員主要是通過重新訓練、微調,或者另外開發工具等方式來解決。就像前不久爆火外掛 ControlNet 正是解決了圖像生成的可控性,而 MultiDiffusion 無需進一步訓練或微調,就可一次實現對生成內容的多種靈活控制,包括期望的長寬比、空間指示等。

MultiDiffusion
圖/ T客邦

簡單來說,MultiDiffusion 的關鍵在於,在預先訓練好的擴散模型上定義一個全新的生成過程。從噪聲圖像開始,在每個生成步驟中,解決一個最佳化任務。

然後再將多個擴散生成過程與一組共享的參數或約束結合起來,目標是將每個部分都儘可能去接近去噪版本。

MultiDiffusion
圖/ T客邦

即便有時候每個步驟都可能會將圖像拉向不同的方向,但最終都能得到一個無縫圖像。

延伸閱讀:Midjourney V5實測、教學來了!AI畫作終於長出「正常的手」,更真實卻更恐怖?

來自魏茨曼科學研究所

這篇論文主要來自位於以色列雷霍沃特的魏茨曼科學研究所。

MultiDiffusion
圖/ T客邦

兩位共同一作 Omer Bar-Tal、Lior Yariv 分別是魏茲曼科學研究院電腦科學和應用數學系的研究生和博士生,後兩位分別是他們的導師。

MultiDiffusion
左:Omer Bar-Tal;右:Lior Yariv.png
圖/ T客邦

好了,感興趣的朋友可戳下方試一試哦!
https://huggingface.co/spaces/weizmannscience/MultiDiffusion

首頁連結論文連結

本文授權轉載自:T客邦

責任編輯:傅珮晴、錢玉紘

關鍵字: #ai人工智慧
本網站內容未經允許,不得轉載。
往下滑看下一篇文章
HPE Networking Instant On來助力,初咖啡打造像家一樣的咖啡體驗空間!
HPE Networking Instant On來助力,初咖啡打造像家一樣的咖啡體驗空間!

走進位於台中沙鹿四平街的「初咖啡」,芬芳滿室的咖啡香、溫暖療癒的陽光、綠意盎然的植栽,以及便捷舒適的空間體驗,不僅讓人流連忘返、更是訪客不斷回訪的關鍵。初咖啡主理人楊倩如表示:「我心中的理想咖啡廳不僅要有引人的裝潢外觀、舒適的空間規劃、便捷的WiFi服務,每一季,我們都會更換咖啡豆以滿足客戶嘗鮮的需求,此外,我們設有兩座咖啡豆烘培機器,以淺培、中培的方式處理咖啡豆,讓訪客可以品嘗最原始的咖啡風味。」

鉅晶
圖/ 數位時代

關鍵拼圖,初咖啡以HPE Networking Instant On完善咖啡空間體驗

初咖啡對理想的堅持,不僅自然而然的形成差異化服務優勢、吸引一群死忠消費者,挺過疫情衝擊後,初咖啡將咖啡廳二樓打造成小型體驗空間,開始提供各種咖啡課程、或者是做為舉辦小型活動的場地,為了順利擴展業務,初咖啡除進行相應的空間裝潢,更計畫更新店內的WiFi服務。
協助楊倩如一起打理初咖啡、主導WiFi設備升級工作的邱俊銘表示:「無論是咖啡、空間還是服務,我們的理念一直是:只要可以就做到最好。」以WiFi服務為例,一開始,初咖啡使用的是家用型WiFi AP,隨著裝潢的調整與訪客的增加,不僅店內空間出現WiFi連線訊號死角問題、一樓室外空間也無法連結WiFi,再加上WiFi AP的外觀與店內裝潢風格不搭,只能擺放在訪客看不到的吧檯櫃內空間,設備線材雜亂也影響連線品質,為改善這些問題,以及確保二樓空間也能夠順利連網,開始評估系列解決方案,最終決定採用HPE Networking Instant On系列產品:導入Instant On 1930系列交換器、在一樓室內安裝1台Instant On AP22、一樓戶外安裝1台Instant On AP17,以及在二樓安裝1台Instant On AP22。

鉅晶
圖/ 數位時代

邱俊銘進一步解釋會決定採用HPE Networking Instant On的原因有三:首先是既有的訊號死角與連線覆蓋率不足等問題迎刃而解,而且,HPE Networking Instant On只要透過網路線就可以供電,大幅降低室內與室外拉線問題,此外,美觀的外型也與初咖啡欲打造的空間氛圍一致,有相互加分的成效;其次是合作夥伴 – 鉅晶國際 – 提供專業且貼心的諮詢與技術支援服務,例如在一開始的評估階段就針對初咖啡的室內裝潢提出最佳規畫建議,以及在一周左右的時間完成施工與架設工作,安裝上線後,鉅晶國際的團隊也總是在最短時間內提供相應的支援;最後,同時也是最重要的是,系統設備高度整合且易於管理,完全符合初咖啡的管理需求。

鉅晶
圖/ 數位時代

「透過HPE Networking Instant On App,無論在哪都可以輕鬆掌握各個網路設備的即時運行狀況,甚至是從中找出異常事件、防範於未然。」邱俊銘面帶微笑地說,導入HPE Networking Instant On後,初咖啡又往理想–讓訪客可以像在家一樣的悠閒品嘗咖啡、渡過美好時光–邁進一步,是咖啡廳營運的最佳幫手。

鉅晶
圖/ 數位時代

為未來做最佳準備,初咖啡以別具一格的咖啡體驗持續擴展業務版圖

導入HPE Networking Instant On除有助於初咖啡解決當務之急:連網與管理問題,更為未來的商業擴展做好最佳準備,例如可以因應業務需求輕鬆設定、擴展WiFi 服務,以內建的安全性閘道和防火牆將業務與訪客流量分開,以及透過(遠端)監管的方式即早發現異常連線行為以降低惡意攻擊、將危害降低到最低,提供訪客安全無虞的WiFi連線體驗等。
「我們想提供給客戶最好的體驗,透過HPE Networking Instant On除可提供訪客提供高品質的連網服務,還可以進一步落實安全防護,這是以前想都沒有想過的事情。」邱俊銘面帶微笑地解釋,初咖啡除提供咖啡、餐飲服務,販售自家烘培的咖啡商品,以及開設與咖啡相關的課程與活動,亦不排除開設二店甚至是三店,在這樣的前提下,功能強大且可輕鬆管理的WiFi服務顯得尤其重要,不僅能完善空間服務體驗,也讓團隊可以無後顧之憂的衝刺咖啡等核心業務。
「我們十分滿意HPE Networking Instant On帶來的絕佳使用體驗,除會視需求擴展使用,也會不藏私地介紹給同業。」關於HPE Networking Instant On的未來規劃,邱俊銘如是說道。

本網站內容未經允許,不得轉載。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
台日半導體新局 全解讀
© 2024 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓