AI生成再升級!MultiDiffusion可以指定圖像位置,怎麼讓愛因斯坦與泰勒絲同框?
AI生成再升級!MultiDiffusion可以指定圖像位置,怎麼讓愛因斯坦與泰勒絲同框?

以前AI繪圖有個問題,就是畫出來的內容不可控。你希望某個東西出現在特定的位置上,但是往往事情跟你想的不一樣。

這邊哈士奇,那邊牧羊犬,背景在下雪天。啪!一幅畫就這麼完成了。

MultiDiffusion
圖/ T客邦

這個最新 MultiDiffusion 模型框架,不管選的區域位置有多離譜,它都能給你畫出指定的東西來。
比如,你能看到大象和乳牛同框?

MultiDiffusion
圖/ T客邦

而且線上可試,親測大概 15 秒就能出,你甚至可以看到泰勒絲與愛因斯坦跨時空同框。

MultiDiffusion
圖/ T客邦

要知道以前 AI 繪圖最大的一個 bug 就是不可控,但現在人類擁有了更多的控制權。
總之就是,能夠想畫什麼就畫什麼,想往哪畫就往哪畫!

有網友趕緊上手試了試:Not Bad!

MultiDiffusion
圖/ T客邦

想往哪畫就往哪畫

從效果來看,主要有三個方面的應用。
* 文字到高解析度全景生成
* 精確區域生成
* 任意長寬比粗略區域生成。

首先,只需要一句話,就可以生成 512* 4609 解析度的全景圖。

一張有滑雪者的雪山頂峰的照片。

MultiDiffusion6
圖/ T客邦

攝影師也不用爬樓了,直接獲得城市夜景圖。

MultiDiffusion
圖/ T客邦

當然更為重要的功能,那就是給特定區域單獨提示,然後 AI 繪畫就來指哪畫哪。

比如在黑色部分是一個明亮的盥洗室,紅色區域是一面鏡子、藍色部分是花瓶、黃色部分是白色的水槽。

MultiDiffusion
圖/ T客邦

就這麼隨手一個拼圖畫,結果就生成了真實場景。

MultiDiffusion
圖/ T客邦

不過也有一些 bug,像一些超現實的,他就有點太天馬行空了。

比如三體人在宇宙中大戰人類。

MultiDiffusion
圖/ T客邦

當然也可以無需那麼精確,只需標個大致位置,還支援任意長寬比的圖像。

MultiDiffusion11
藍色部分是埃菲爾鐵塔、紅色是粉色的雲、綠色是熱氣球 。
圖/ T客邦

關鍵是各種構圖都十分地合理、場景效果以及實際物體相對大小也都十分精準。

圖像生成可控

背後的這個模型叫做 MultiDiffusion,這是一個統一的框架,能實現多功能和可控的圖像生成。

以往即便 Diffusion 模型給圖像生成帶來變革性影響,但使用者對生成圖像的可控性、以對新任務的快速適應仍是不小的挑戰。

研究人員主要是通過重新訓練、微調,或者另外開發工具等方式來解決。就像前不久爆火外掛 ControlNet 正是解決了圖像生成的可控性,而 MultiDiffusion 無需進一步訓練或微調,就可一次實現對生成內容的多種靈活控制,包括期望的長寬比、空間指示等。

MultiDiffusion
圖/ T客邦

簡單來說,MultiDiffusion 的關鍵在於,在預先訓練好的擴散模型上定義一個全新的生成過程。從噪聲圖像開始,在每個生成步驟中,解決一個最佳化任務。

然後再將多個擴散生成過程與一組共享的參數或約束結合起來,目標是將每個部分都儘可能去接近去噪版本。

MultiDiffusion
圖/ T客邦

即便有時候每個步驟都可能會將圖像拉向不同的方向,但最終都能得到一個無縫圖像。

延伸閱讀:Midjourney V5實測、教學來了!AI畫作終於長出「正常的手」,更真實卻更恐怖?

來自魏茨曼科學研究所

這篇論文主要來自位於以色列雷霍沃特的魏茨曼科學研究所。

MultiDiffusion
圖/ T客邦

兩位共同一作 Omer Bar-Tal、Lior Yariv 分別是魏茲曼科學研究院電腦科學和應用數學系的研究生和博士生,後兩位分別是他們的導師。

MultiDiffusion
左:Omer Bar-Tal;右:Lior Yariv.png
圖/ T客邦

好了,感興趣的朋友可戳下方試一試哦!
https://huggingface.co/spaces/weizmannscience/MultiDiffusion

首頁連結論文連結

本文授權轉載自:T客邦

責任編輯:傅珮晴、錢玉紘

關鍵字: #ai人工智慧
往下滑看下一篇文章
連結資金、技術與場域!資誠打造新創最強後盾,與企業共創 AI 新價值
連結資金、技術與場域!資誠打造新創最強後盾,與企業共創 AI 新價值

隨著生成式 AI、雲端與邊緣運算技術加速成熟,全球產業正面臨前所未有的技術革新與商業模式重塑。AI 已正式從實驗室的研究階段邁向實際應用,成為企業優化營運效能、驅動創新轉型的核心力量。對於新創團隊而言,這更是跨越產業門檻、進軍國際市場的關鍵跳板。

為了協助更多企業、新創團隊掌握最新趨勢,資誠不僅邀請政府與科技大廠分享觀察,更透過舉辦多場主題式媒合會提供專業諮詢,把創新構想化為具體行動。

雙引擎驅動,打造創業家友善與 AI 智慧城市

論壇一開始,臺北市長蔣萬安即點出市府推動新創的兩大核心:打造「創業家友善城市」與「AI 驅動的智慧城市」。

為加速國際鏈結,市府推出 Startup Passport(新創護照全球通)計畫,藉由城市互惠機制,協助國內外新創團隊在資金、人才、空間上無縫嫁接。

面對 AI 浪潮,臺北市體質持續強化。除迎來輝達總部、微軟等國際大廠,更成為全臺首個訂定「人工智慧作業指引」的地方政府,鼓勵活用 AI 並劃出明確規範。實際應用上,市民常用的 1999 熱線已導入 AI 語音轉文字技術,話務人員因此能快速回覆,大幅縮短服務時間並提升品質。市府目前也正積極建構大語言模型,持續精進市民服務。

資誠聯合會計師事務所
台北市長蔣萬安
圖/ 數位時代

資金與資源匯聚,資誠搭建生技與物聯網新創橋樑

資誠長期深耕新創生態圈,每年發布的「台灣新創生態圈大調查」顯示,場域驗證與夥伴關係建立是新創團隊最迫切的需求。資誠聯合會計師事務所所長徐聖忠致詞時強調,台北匯聚了金融人才、資金與算力資產,而資誠的角色正是連結這些資源的關鍵樞紐。

資誠聯合會計師事務所
資誠聯合會計師事務所所長徐聖忠
圖/ 數位時代

AWS 深耕台灣,以新創思維賦能企業雲端轉型

其中之一,便是 AWS。AWS 臺灣暨香港企業銷售暨策略方案副總經理謝佳男分享,AWS 在 2006 年成為亞馬遜集團一員,由最新財報看來,佔亞馬遜集團營收雖不到 20%,卻貢獻逾八成營運獲利。這來自於堅持「Day 1 Culture」(第一天文化)永保初心,以及從客戶角度出發的「逆向工作法」。

即便已是大集團的一員,AWS 仍視自身為新創,因此對新創理解更深,全球 83% 獨角獸公司服務皆建立於 AWS 之上。謝佳男指出,AWS 未來 15 年內將在臺投資數十億美元,建構 3 個可用區域的基礎設施,除提供超低延遲服務,也滿足企業對資料落地的法規需求。

針對 AI,亞馬遜推出 Amazon Bedrock 平台,連接各種頂尖基礎模型,讓企業能像使用積木般彈性構建應用。台灣有不少新創也使用AWS服務,如獲選為國家新創品牌 NEXT BIG 之一的凱鈿行動科技就是。謝佳男觀察,該公司做 PDF Reader 和電子簽核、SaaS 服務,品質非常好,是來自台南的團隊,卻透過雲端,把產品成功賣進全世界。

資誠聯合會計師事務所
AWS台灣暨香港企業銷售暨策略方案副總經理謝佳男
圖/ 數位時代

高通推邊緣 AI 落地,多管齊下助攻開發者

另一個和台灣新創團隊密切互動的大廠,則是高通。Qualcomm 美國高通公司業務開發總監暨亞太生態系發展計畫負責人戴郁文表示,該公司成立至今約 40 年,除精進通訊技術外,也一路帶領科技產業進入「萬物聯網」時代,並持續強化電腦、智慧穿戴等 IoT 產品的運算與連結能力。

她進一步解釋,未來是「混合式 AI」年代,運算需落地至「邊緣 AI」(Edge AI)執行,這能處理複雜情境、帶來更好效能、更低延遲與更嚴密的隱私保護。目前許多大語言模型應用正從雲端轉移至終端裝置。

為助開發者站穩腳步,高通推出 Qualcomm AI Hub,提供優化模型供驗證,輕鬆部署 AI 模型到高通晶片裝置上。不只在技術上成為新創團隊的後盾,高通也舉辦「高通台灣創新競賽」,每年選出 10 家頂尖新創團隊,並協助育成,另外也有一系列智慧財產權課程,協助新創了解專利與智財權佈局。

資誠聯合會計師事務所
Qualcomm美國高通公司業務開發總監暨亞太生態系發展計畫負責人戴郁文
圖/ 數位時代

從通用腦到專屬腦,資誠透過 Tars.ai 平台助企業打造AI轉型實戰力

但當企業導入 AI 技術後,如何從「好玩」走向「好用」,並善盡治理責任?資誠創新諮詢公司執行董事陳世祥提出獨到見解。他將企業 AI 應用分為三層次:一是行政輔助的「通用腦」;二是針對特定專業的「專業腦」;三則是企業最渴望、能結合內部數據的「專屬腦」。

「專屬腦並不容易建立,」陳世祥分析,「它必須與企業的 ERP、研發、製造及 CRM 系統深度連結。」為此,資誠透過「Tars.ai 平台」,協助企業整合 RAG 技術、知識庫與 AI 模型,打造具備語意理解與自主查詢能力的企業第二大腦。

透過 Tars.ai,研發人員可直接詢問 AI 關於投產參數調整對良率的預測;管理層則能即時分析營收數據與客戶動態,不再依賴落後指標。陳世祥更強調,資誠在協助導入技術的同時,也協助企業成立「AI 專責小組」,確保 AI 應用符合道德與安全規範,落實「負責任的 AI」。

資誠聯合會計師事務所
資誠創新諮詢公司執行董事陳世祥
圖/ 數位時代

與大廠共舞,新創深耕 Know-how 與速度才能突圍

最後由陳世祥與四家新創進行對談,探討新創如何擁抱 AI 產業化浪潮。但在發展過程中,新創往往與科技巨頭既合作又競爭,該怎麼學會共舞?

用益網路科技行銷長黃大成認為,大廠有最強算力,但不太可能知道新創在某個特定產業、特定店家狀況為何,不同產品、場域,往往有不同專業知識。而從 ChatGPT 演進過程,大家發現它開始有「情緒」。他認為,AI 未來在情緒價值、在地化經驗的發展,可以幫助新創勝過大廠。

睿加科技資深成長經理陳子裕也認為,大廠雖然可做通用型產品,但新創卻能針對特定使用者情境深化,是大廠比較難以顧及的層面。

伊斯酷軟體科技共同創辦人暨技術長鄭永斌分析,新創的優勢在於速度快,能立刻判斷新科技可做什麼,或不能做什麼。

康統醫學科技執行長廖威宣則表示,醫療產業封閉、保守,每家醫院場域不同,大廠未必願意下苦工調整醫護人員流程,進行資料標記與整理,再逐一和醫院既有系統供應商綁定、談判,是新創的優勢所在。

資誠聯合會計師事務所
由左至右:資誠創新諮詢公司執行董事陳世祥、康統醫學科技執行長廖威宣、伊斯酷軟體科技共同創辦人暨技術長鄭永斌、睿加科技資深成長經理陳子裕、用益網路科技行銷長黃大成
圖/ 數位時代

陳世祥總結,資誠看見新創在垂直領域的深耕潛力。只要把 Know-how 做深,發揮比大企業更快的反應速度,並善用資誠提供的資源與平台進行對接,就是新創在 AI 浪潮中突圍生存的關鍵。

精準媒合、評選輔導,資誠將資源對接化為實際行動

除了論壇上的觀點激盪,資誠更透過專館活動落實資源對接,在活動期間舉辦多場主題媒合會,為新創搭建通往市場的橋樑。

在「生技醫療領域投資媒合會」中,資誠特別攜手北醫生醫加速器對接臨床與市場資源。北醫生醫加速器副執行長易詩恩表示,作為台灣首家國際級創新醫療大學加速器,北醫聚焦「數位醫療」、「人工智慧」與「精準健康」,整合一校六院資源,建立「新創綠色通道」,加速產品臨床落地。

資誠聯合會計師事務所
資誠藉由主題媒合會,攜手北醫生醫加速器等夥伴,提供生醫、物聯網新創一對一財稅法務諮詢與資源對接,加速產品落地。
圖/ 數位時代

資誠審計服務執業會計師吳偉豪指出,有鑒於全球生技產業隨技術演進蓬勃發展,資誠成立生技醫療與健康科技服務團隊,針對新興產業提供從設立、募資、申請補助到上市櫃、跨境合作及併購的全方位財稅法務服務,現場吸引多家投資人與五家智慧醫療新創進行深度互動。

此外,在「物聯網領域投資媒合會」中,資誠創新諮詢董事劉冠志深入分析物聯網產業趨勢,並邀請三家資誠創業成長加速器新創團隊分享創新技術。而在為期三天的展會中,資誠也動員所內審計、稅務法律專家,提供新創一對一的財稅股權專業諮詢,協助解決營運痛點。

不僅提供媒合與諮詢,資誠更積極挖掘並獎勵具潛力的新創。在本次 Meet Taipei 的「2025 Meet Neo Star Demo Show」中,資誠創新創業服務主持會計師顏裕芳將特別獎頒予「介觀生醫」。

資誠聯合會計師事務所
透過 Meet Neo Star Demo Show 評選培植具潛力的優秀新創,資誠特別為介觀生醫提供六個月客製化加速器輔導與全方位專業諮詢,以企業顧問角色促進生態圈共創共榮。
圖/ 數位時代

顏裕芳表示,獲獎團隊可加入資誠創業成長加速器,享有六個月客製化輔導、商機與投資人媒合,以及涵蓋商業顧問、風險治理、法律財稅及國際化策略的諮詢服務。他強調,新創擴張時與外部夥伴建立緊密關係至關重要,資誠將持續扮演企業顧問角色,促進生態圈共創共榮。

透過論壇的趨勢引領、媒合會的精準對接,以及 Demo Show 的獎勵輔導,資誠在此次活動中完整呈現在新創生態圈的全方位佈局,持續以資金、技術與場域的整合力量,助攻台灣新創邁向國際舞台。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
進擊的機器人
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓