經過像素化處理(或是一般所說的打馬賽克)的圖片,由於影像細節資訊已丟失,基本上難以再從大顆粒像素中還原。不過很多人可能有這樣的經驗:只要稍微站遠一點或摘下近視眼鏡,圖片似乎就會因為「腦補」而變得更清楚。
Google Brain最近發表一項新研究,就是類似的「消馬賽克」技術,能夠將輸入的8×8低像素的名人照片或房間照,轉成較為清晰、近似原始照片的32×32像素圖。

這項技術並非一般的圖像銳化,而是使用類神經網路透過學習、猜測,產生新的圖片,因此仔細看會發現生成的臉孔與原始照片並不同。
Google Brain團隊利用兩套類神經網路(稱為conditioning network與prior network)分別對圖片進行處理。一個會嘗試將低解析度圖片的像素與其他高解析度圖片(降為8×8像素)互相比對,以得到臉部或房間照片的粗略骨架。第二個負責分析輸入的圖片,依據其他具有相似像素位置的現成照片,試圖在像素化的圖片中添加細節。最後再將兩個輸出組合,產生圖片。
團隊也進一步將運算模型合成的圖片與相機拍攝的照片並列,請受試者判斷何者是以相機拍的照片。結果顯示模型處理的名人照約有一成唬過受試者的眼睛(若達50%表示完全無法分辨),房間照更有大約兩成。

Google Brain這項研究的相關細節,已發表於ArXiv論文資料庫中。