在過去，每一個網站小編都會用PhotoShop來將圖片去背，然後把一張圖片貼在另外一張圖片的圖層上，才能進行簡單的合成圖。而且如果是人物的話，頭髮的處理更是複雜，簡單的將人物移花接木到其它背景上，往往就要處理大半天。
不過，現在「AI拼圖」技術太強，你根本不需要這麼麻煩。
例如，這是一份看似平平無奇的日式便當。
但你敢信，其實每一格食物都是 P 上去的，而且原圖還是這樣的？
直接摳圖貼上去，效果一眼看出來是假的
背後操作者並不是什麼 PS 大師，而是一隻 AI，名字很直白：拼圖擴散（Collage Diffusion）。
隨便找幾張小圖拿給它，AI 就能自己看懂圖片內容，再把各元素非常自然地拼成一張大圖 。
其效果驚豔了不少網友。
甚至還有 PS 愛好者直呼道：這簡直是個天賜之物…… 希望很快能在 Automatic1111（ Stable Diffusion 使用者常用的網路 UI，也有內建在 PS 中的外掛版）中看到它。
為什麼效果這麼自然？
實際上，此 AI 生成的「日式便當」還有好幾個生成版本 —— 都很自然。
至於為啥還有多種版本？就是因為使用者還能自訂，在總體不變得太離譜的前提下，他們可以微調各種細節。
除了「日式便當」，它還有不少出色的作品。
比如，這是拿給 AI 的素材，P 圖痕跡明顯：
這是 AI 拼好的圖，反正我是沒看出什麼 P 圖痕跡：
話說這兩年，文字生成圖像的擴散模型真的是大紅了，DALL・E 2 和 Imagen 都是基於此開發出來的應用。這種擴散模型的優點，是生成圖片多樣化、品質較高。
不過，文字終究對於目標圖像，最多只能起到模糊的規範作用，所以使用者通常要花大量時間調整提示（prompt），還得搭配上額外的控制元件，才可以取得不錯的效果。
就拿前文展示的日式便當來說：
如果使用者只輸入「一個裝有米飯、毛豆、生薑和壽司的便當盒」，那就既沒描述哪種食物放到哪一格，也沒有說明每種食物的外觀。但如果非要講清楚的話，使用者恐怕得寫一篇小作文了……
鑑於此，史丹佛團隊決定從別的角度出發。
他們決定參考傳統思路，通過拼圖來生成最終圖像，並由此開發出了一種新的擴散模型。
有意思的是，說白了，這種模型也算是用經典技術「拼」出來的。
首先是分層： 使用基於圖層的圖像編輯 UI，將源圖像分解成一個個 RGBA 圖層（R、G、B 分別代表紅、綠、藍，A 代表透明度），然後將這些圖層排列在畫布上，並把每個圖層和文字提示配對。
透過分層，可以修改圖像中的各種元素。
到目前為止，分層已經是電腦圖形領域中一項成熟的技術，不過此前分層資訊一般是作為單張圖片輸出結果使用的。
而在這種新型「拼圖擴散模型」中，分層資訊成了後續操作的輸入。
除了分層，還搭配了現有的基於擴散的圖像協調技術，提升圖像視覺品質 。
總而言之，該演算法不僅限制了對象的某些屬性（如視覺特徵）的變化，同時允許屬性（方向、光照、透視、遮擋）發生改變。從而平衡了還原度和自然度之間的關係，生成“神似”且毫無違和感的圖片。
操作過程也很 easy，在互動編輯模式下，使用者在幾分鐘內就能創作一幅拼貼畫。
他們不僅可以自訂場景中的空間排列順序（就是把從別處扣出來的圖放到適當的位置）；還能調整生成圖像的各個元件。用同樣的源圖，可以得出不同的效果。
最右列是這個 AI 的輸出結果
而在非互動式模式下（即使用者不拼圖，直接把一堆小圖丟給 AI），AI 也能根據拿到的小圖，自動拼出一張效果自然的大圖。
研究團隊
最後，來說說背後的研究團隊，他們是史丹佛大學電腦科學系的一群師生。
論文一作者Vishnu Sarukkai 現為史丹佛電腦科學系研究生，還是碩博連讀的那種。他的主要研究方向為：電腦圖形學、電腦視覺和機器學習。
此外，論文的共同作者 Linden Li，也是史丹佛電腦科學系研究生。
在校求學期間，他曾到 NVIDIA 實習 4 個月，與 NVIDIA 深度學習研究小組合作，參與訓練了增加 100M + 參數的視覺轉換器模型。
本文授權轉載自：T客邦
責任編輯：傅珮晴、林美欣
