1月20日,國外多家媒體報導,暮光之城女主角Kristen Stewart發表了一篇關於圖像風格遷移的人工智慧論文,引起業內廣泛討論。不少人感歎,人工智慧領域將迎來一位高顏值研究者。不過,最近Quora上的討論卻不那麼激動,眾多業內人士紛紛指出,Kristen Stewart的研究根本算不上是一篇人工智慧論文,充其量只能算一篇部落格文章,並且毫無價值,完全沒有新意。
幾天前,人工智慧研究界忽然掀起一陣喧嘩——ArXiv上出現了一篇電影《暮光之城》的女主角Kristen Stewart署名的學術論文,內容有關使用神經網路進行圖像風格遷移的技術,並以電影《Come Swin》為案例進行研究。
國外許多媒體紛紛跟進報導,其中包括Quartz就使用了《Kristen Stewart (對,就是眾所周知的 Kristen Stewart )剛剛發表了一篇人工智慧論文》的大標題。
近日,Quora上,一些機器學習業內人士對這一話題展開了討論,他們基本的觀點是:Kristen Stewart署名的文章根本算不上是一篇「人工智慧論文」,最多只是一篇部落格文章,從內容上來說,與Prisma此前的研究論文有很大的相似性,基本是重複工作。
隨著人工智慧越來越熱門,似乎任何事情都可以跟人工智慧沾邊,Kristen Stewart的真實意圖是什麼現在不得而知,但是媒體上動輒「AI+」的大標題,確實有誤導之嫌。
我們先來看一下論文的主要內容:
Neural Style Transfer是最近開發出來的一種令人矚目的技術,利用神經網路將一幅圖像重新描繪為原圖像的藝術風格。這篇論文探討了在電影製作中使用這種技術的過程,利用Neural Style Transfer將影片《Come Swin》中的關鍵場景轉換為印象主義風格繪畫,《Come Swim》這部影片也正是受了印象主義風格的啟發。我們記錄下了如何在逐次反覆運算的創作過程框架中使用這種技術使畫面呈現理想的結果,並提出了一種將廣闊的參數空間映射到一組關鍵創意控制元素(control)的方法。我們希望這種映射方法能為以後的研究提供參考。
可以用論文中的一張圖來看懂作者的研究意圖:
輸入左邊的圖片+系統記憶體儲的照片風格(中),得到最右邊風格變換後的照片。這就是神經網路圖片風格遷移。
論文:
論文網址,全部共三頁。
1. 把Kristen Stewart去掉,機器學習界不會有人看這篇論文超過兩次
俄羅斯斯科爾科沃理工學院資訊工程與資料專業碩士, Facebook AI研究室2016年實習生Roman Trusov說:
「他們幾乎從來沒有想過這個問題。這不是一份研究論文,並且也不算關於人工智慧的。報導的題目唯一正確的部分是『Kristen Stewart』。這,就是我的看法。」
他們做了什麼:他們下載了一個經過預訓練的、可用的架構,將自己的圖像在這一框架上運行,不需要訓練任何東西。難點在於找到一個足夠輕量(lightweight)的解決方案(vgg16 vs vgg19),並且設置降噪的常規。
如果你把文章中的「Kristen Stewart」名字去掉,機器學習界不會有人看這篇論文超過兩次,這麼說你應該能理解其中的科學含量有多少了。
除此之外,這一文章也是一個減少Erdős–Bacon數量的嘗試。顯然,這是實實在在的。另外,也許這會鼓勵更多的女性選擇電腦科學。
2. 一篇使用了人工智慧的應用型論文
機器學習研究者,Quora工程主管Xavier Amatriain說:
這裡可能有兩個不同的問題需要回答:1)我們怎麼評價這篇論文?2)我們怎麼評價這篇論文引起的報導?
我首先回答第二個問題,因為我認為這是(潛在)問題的根本所在。現在,大多數事情都圍繞著AI,所以肯定會有一些過熱效應。我也理解,對於一篇嘗試把AI和一位好萊塢女星聯繫在一起的論文,公眾的整體反應會是什麼樣的。老實說來,我發現Quartz(一家新聞媒體)的方式既有好處也有害處。我必須承認,我在Twitter和Facebook上分享了這篇論文。
首先需要說明的是,Quartz使用的詞是released (發佈)而不是publish(發表)。這很好。他們也在文章後解釋了,在ArXiv上發表一篇paper並不意味著已經通過同行評議或者被任何的研究社群接收。人們應該記住,ArXiv會審核提交的論文,但是他們並不會對網站上論文的品質負責。換句話說,提交一份草稿或者一個課程作業也是可以的。目前,在這篇論文被其他任何社群接收之前,強調這一背景是很有必要的。
第二,正如其他人所指出的那樣,和新聞報導標題報導的不一樣,這並不是一篇關於AI的研究論文。這是一篇使用了人工智慧的應用型論文。二者是完全不同的。當然,這也不意味著文章本身是一篇很爛的研究論文,但是它需要基於不同的標準進行評估,因為顯然論文並沒有給AI/ML(機器學習)社群帶來任何新東西。基於以上幾點,AI研究者們的評論都沒有真正地抓住重點。
在這件事上,我覺得自己是有資格進行評論的。雖然我自己做的研究是關於機器學習的,但是我的大部分作品實際上都是應用型的論文,涉及的領域包括推薦系統和多媒體系統。事實上,我也曾與藝術家一起合作論文,其中的一些論文已經發表在國際會議和期刊上。
所以,記住了這一點後,我來回答另一個問題:我對論文本身的評價如何?
不幸的是,論文沒有給我留下什麼印象。作為一篇藝術應用AI論文,它的價值非常有限。論文本身有很多問題,導致其很難被大多數的會議接收:
- 這一應用總結的經驗實際上很難推廣,甚至連希望實現的目標都不能滿足。
- 其採用的思路和方法比較有限。
- 引用不夠。特別是,作為一篇應用型的論文,僅僅引用最近的AI/ML(機器學習)論文是不夠的。作者應該引用其他藝術家用AI進行創作的研究。
也就是說,我認為論文可能足夠提交到一個poster或者workshop上。考慮到其形式和長度,我認為這也許是作者的本意。
最後,我回答一下,Kristen Stewart該不該成為論文的作者的問題。我的觀點非常清晰:Kristen肯定應該成為作者之一。再次強調,這是一篇應用性論文(或者說,是一篇藝術創造論文)。藝術家或者創作者本身的角色應該和AI研究者的作用一樣重要,或者更加重要。事實上,我想透露的秘密是,與一些博士論文中的署名導師或教授比起來,Kristen在這篇論文中所做的貢獻肯定要多得多。
3. 只是對Prisma技術原理的擴展
新加坡-MIT研究與技術聯盟實習研究員,Shashwat Verma說:
聽說過Prisma嗎?這個APP能根據源照片的風格重新繪製你上傳的照片風格。關於這一APP的最初論文:連結作者 Gatys等人。
如果你還不知道Prisma,可以看下面的例子:
這是使用卷積神經網路來完成的。我上面提到的論文使用了深度學習來進行藝術創造而不僅僅是識別貓。這是一篇很好的論文。你可以重新驗證其結果。
Kristen Stewart的論文(可能?)擴展了Gatys等人的工作。
首先需要指出,Kristen Stewart等人的論文並不是一篇真正的AI論文。可能,他們自己也並沒有打算稱其為一篇AI論文。讓我們分析下這一點和這篇AI論文中唯一的數學等式。
試驗風格轉移比率後,我們得出結論,要進行有意義的創造性探索,它需要是指數形式的。主觀地,這種指數形式給了我們一個對不真實性的有用測量,表示為u,這是一個粗略地反映風格轉移的圖像看起來會有什麼印象的方法:
style transfer ratio = 10^u
Kristen Stewart的論文的貢獻(可能是最重要的一點)甚至都不能稱之為貢獻。Gatys最初的論文已經對這一公式進行了論述,甚至還附上了一張非常好的照片,來展示U的改變帶來的效應。
他們提到了另外的一些貢獻,但是這對於一篇論文來說是遠遠不夠的,我認為。他們談到了一系列參數(不是超參數),已經如何調整。但是這不足以讓其成為一篇AI論文。他們本可以發一篇部落格就夠了的。我本人並沒有發現這篇論文有任何好的地方。沒有讓我學到任何新的東西。
但是,這篇論文對於那些希望使用深度學習進行風格遷移的電影製作者來說可能會有用。他們可能會需要調整參數,讓輸出的圖片足夠好(主觀的)到可以產出。
如果你真的想知道Kristen Stewart的論文究竟是什麼,或者Prisma APP的工作原理,還是去讀Gatys的論文吧。
最後,我不認為Kristen做了任何技術方面的工作用於深度學習的預訓練。她可能就像其他教授一樣,只是署名而不做任何工作。 Kristen是一名演員而不是深度學習工程師。所以,對論文的批評應該指向研究工程師Bhautik J Joshi。
本文授權轉載自:36 氪