AI生成再升級!MultiDiffusion可以指定圖像位置,怎麼讓愛因斯坦與泰勒絲同框?
AI生成再升級!MultiDiffusion可以指定圖像位置,怎麼讓愛因斯坦與泰勒絲同框?

以前AI繪圖有個問題,就是畫出來的內容不可控。你希望某個東西出現在特定的位置上,但是往往事情跟你想的不一樣。

這邊哈士奇,那邊牧羊犬,背景在下雪天。啪!一幅畫就這麼完成了。

MultiDiffusion
圖/ T客邦

這個最新 MultiDiffusion 模型框架,不管選的區域位置有多離譜,它都能給你畫出指定的東西來。
比如,你能看到大象和乳牛同框?

MultiDiffusion
圖/ T客邦

而且線上可試,親測大概 15 秒就能出,你甚至可以看到泰勒絲與愛因斯坦跨時空同框。

MultiDiffusion
圖/ T客邦

要知道以前 AI 繪圖最大的一個 bug 就是不可控,但現在人類擁有了更多的控制權。
總之就是,能夠想畫什麼就畫什麼,想往哪畫就往哪畫!

有網友趕緊上手試了試:Not Bad!

MultiDiffusion
圖/ T客邦

想往哪畫就往哪畫

從效果來看,主要有三個方面的應用。

  • 文字到高解析度全景生成
  • 精確區域生成
  • 任意長寬比粗略區域生成。

首先,只需要一句話,就可以生成 512* 4609 解析度的全景圖。

一張有滑雪者的雪山頂峰的照片。

MultiDiffusion6
圖/ T客邦

攝影師也不用爬樓了,直接獲得城市夜景圖。

MultiDiffusion
圖/ T客邦

當然更為重要的功能,那就是給特定區域單獨提示,然後 AI 繪畫就來指哪畫哪。

比如在黑色部分是一個明亮的盥洗室,紅色區域是一面鏡子、藍色部分是花瓶、黃色部分是白色的水槽。

MultiDiffusion
圖/ T客邦

就這麼隨手一個拼圖畫,結果就生成了真實場景。

MultiDiffusion
圖/ T客邦

不過也有一些 bug,像一些超現實的,他就有點太天馬行空了。

比如三體人在宇宙中大戰人類。

MultiDiffusion
圖/ T客邦

當然也可以無需那麼精確,只需標個大致位置,還支援任意長寬比的圖像。

MultiDiffusion11
藍色部分是埃菲爾鐵塔、紅色是粉色的雲、綠色是熱氣球 。
圖/ T客邦

關鍵是各種構圖都十分地合理、場景效果以及實際物體相對大小也都十分精準。

圖像生成可控

背後的這個模型叫做 MultiDiffusion,這是一個統一的框架,能實現多功能和可控的圖像生成。

以往即便 Diffusion 模型給圖像生成帶來變革性影響,但使用者對生成圖像的可控性、以對新任務的快速適應仍是不小的挑戰。

研究人員主要是通過重新訓練、微調,或者另外開發工具等方式來解決。就像前不久爆火外掛 ControlNet 正是解決了圖像生成的可控性,而 MultiDiffusion 無需進一步訓練或微調,就可一次實現對生成內容的多種靈活控制,包括期望的長寬比、空間指示等。

MultiDiffusion
圖/ T客邦

簡單來說,MultiDiffusion 的關鍵在於,在預先訓練好的擴散模型上定義一個全新的生成過程。從噪聲圖像開始,在每個生成步驟中,解決一個最佳化任務。

然後再將多個擴散生成過程與一組共享的參數或約束結合起來,目標是將每個部分都儘可能去接近去噪版本。

MultiDiffusion
圖/ T客邦

即便有時候每個步驟都可能會將圖像拉向不同的方向,但最終都能得到一個無縫圖像。

延伸閱讀:Midjourney V5實測、教學來了!AI畫作終於長出「正常的手」,更真實卻更恐怖?

來自魏茨曼科學研究所

這篇論文主要來自位於以色列雷霍沃特的魏茨曼科學研究所。

MultiDiffusion
圖/ T客邦

兩位共同一作 Omer Bar-Tal、Lior Yariv 分別是魏茲曼科學研究院電腦科學和應用數學系的研究生和博士生,後兩位分別是他們的導師。

MultiDiffusion
左:Omer Bar-Tal;右:Lior Yariv.png
圖/ T客邦

好了,感興趣的朋友可戳下方試一試哦!
https://huggingface.co/spaces/weizmannscience/MultiDiffusion

首頁連結、論文連結

本文授權轉載自:T客邦

責任編輯:傅珮晴、錢玉紘

關鍵字: #ai人工智慧
往下滑看下一篇文章
當技術不再是門檻,內容產業如何贏在未來?  2026 亞洲新媒體高峰會「REIMAGINE」前瞻思考十年後的文創生態與賽道
當技術不再是門檻,內容產業如何贏在未來? 2026 亞洲新媒體高峰會「REIMAGINE」前瞻思考十年後的文創生態與賽道

近來每場產業論壇都在談AI,大多數談的是「怎麼用AI」。這次,我們想換個角度:「為什麼用AI?用來做什麼?十年後內容生態會是什麼樣貌?我們如何佈局?」今年NMEA(新媒體暨影視音發展協會)以「REIMAGINE 想像新視界」為主題,將於11月25日至26日舉行2026第八屆亞洲新媒體高峰會,號召影視內容產業跳脫短期焦慮,以長遠眼光看待未來,邀請影視音、科技、資本與文化決策者進行前瞻對話。研討的重點不在技術的創新,而是希望邀請大家發揮想像、開拓文化創意的未來新視野。

REIMAGINE,啟動想像新視界

「REIMAGINE」意即重新想像,不僅指向內容形式的翻新,也意味著既有流程、組織與商業模式的重組;「想像新視界」,則取「世界」、「視野」與「視聽」等複合意涵,呼應新媒體暨影視音發展的無限可能。

「內容產業最近太焦慮了。」NMEA理事長李芃君指出,對內容從業者與企業決策者而言,當下的焦慮已不再僅是「如何使用不斷迭代的新工具」,而是更關鍵的生存命題:當創作技術門檻被弭平,內容的真正價值該如何被重構?台灣的產業優勢是什麼?協會每年透過年度關鍵字呼應產業發展節奏,走過七屆高峰會,從早期的鼓勵擁抱變革,到去年的韌性突圍;第八屆峰會,NMEA理事長李芃君指出,「我們不想再強調現下追逐AI的焦慮,希望將視野拉長至未來十年,邀請產業領袖談談他們心中對未來的想像與願景。十年後這個產業會呈現什麼樣貌?確立中長期目標,能讓我們更有方向性地穩步前行。」NMEA 秘書長袁支翔則表示:「這將是歷屆以來,思維最自由、最具探索性的一次高峰會!」

五大主軸匯流,勾勒產業共同目標

「AI帶來結構性的改變,它滲透進整個產銷的價值鏈。」李芃君說明,從前期腳本開發、現場拍攝到後期製作,AI的應用日益深入。同時,消費者的娛樂與觀影行為在改變,在步調緊湊、碎片化時間日益增多的生活趨勢下,敘事策略必須順應變化。

在這兩波大趨勢的交互影響下,無論是內容創作、傳播、資本或技術都在尋求新的機會。藉由技術點燃感動,是文化科技的價值與契機,李芃君以太空望遠鏡為喻:哈伯與韋伯望遠鏡同樣觀測外太空,因科技世代不同,展現出截然不同的星空樣貌。「科技是文化的放大鏡,也是轉譯工具,協助我們更好地傳遞對一個故事或創意的描述。台灣是科技島,也是多元創意的孕育地,文化科技絕對是關鍵的核心競爭力。」

本屆高峰會的議程延續NMEA的優良傳統,由全體理監事與產業專家共創研擬,將邀集超過五十位講者、展開五大主軸:「跨域資本新局、內容跨界匯流、AI創作浪潮、多螢幕時代的競合,以及在地娛樂生態系演化」的精采對話。協會也預告多項亮點議程:以AI創作浪潮為例,今年全聯中元節廣告《歸途》,以AI生成視覺搭配真人實拍,引發市場對科技表現與人文情感平衡的討論,高峰會也將邀請主創團隊,分享第一手的創意策略與成果。

內容跨界匯流方面,三立集團內容營運長王淑娟將剖析現象級節目《請世界吃桌》的創作過程,分享如何整合多元資源將在地文化推向國際;在地娛樂生態系則聚焦台灣主要都會區,探討如何與國際影視、音樂、藝文合作,延伸在地文化特色,自然帶動長期的城市品牌價值。此外,高峰會也邀請貴賓分享體育賽事凝聚全民文化認同與 Team Taiwan 的感動經驗,以及木棉花、尖端出版與巴哈姆特組成的「動漫金三角」,對談動漫產業鏈的跨界協作路徑。

NMEA 引領產業對話

回顧過去一年,台灣文化內容展現豐沛活力,如:紀錄片《冠軍之路》記錄中華隊在世界棒球12強賽奪冠的歷程,深化了全民的情感共鳴;截至今年8月20日,國片票房累計達12億元,創下疫情後的高峰。要持續延續這股動能,制度端的協力不可或缺。NMEA長期扮演產業與政府之間的溝通橋樑,持續關注各項政策的推動成效。

放眼國際,日本已將動漫、遊戲、影視與音樂等內容產業列為國家重點產業;台灣則在2023年《文化創意產業發展法》修法時,已將以台灣內容為主的影視音產業提升至國家戰略地位。近期,面對政府發布的「AI新十大建設推動方案」,李芃君表示協會將持續建言,期盼將文化內容產業的需求一併納入國家AI藍圖。

李芃君強調,經濟成長若缺少文化底蘊支撐,難以永續強化國際地位與影響力;在產業生命力最旺盛的時刻,更必須同步鍛造屬於台灣獨特的文化價值與靈魂。「文創產業是由一群有使命感的眾人組成,我們希望能讓台灣的文化力持續提升!」隨著協會即將在2027年邁向成立十週年,她也期許,更多想像中的美好將持續從產業對話中發生。

歡迎加入 NMEA 新媒體暨影視音發展協會:https://www.nmea.asia/join.html

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
一次搞懂工業AI
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓