Google混合實境新技術,讓VR頭盔下的表情重見天日

2017.02.22 by
張庭瑜
Google
Google開發出一項新技術,可讓原本被VR頭盔擋住的臉部表情,在混合實境影像中重現,讓VR體驗影片變得更逼真。

虛擬實境(VR)帶來沉浸式體驗,但如果你看過其他人使用VR裝置,就會知道少了VR場景,他們在真實世界中的行為有多詭異。過去,我們已經可以在綠幕場景,拍攝出結合VR場景和真實世界行為的混合實境(MR)影片,但要讓觀眾更能貼近體驗者感覺的關鍵之一——臉部表情,卻被VR裝置遮住一大塊。

有鑑於此,Google開發出一項新技術,可讓原本被頭盔擋住的臉部表情(包含眼球視線、眨眼等)在混合實境影像中重現,讓VR體驗影片變得更逼真。(文末有影片)

一分鐘內建好臉部3D模型、眼球視線資料庫

這項研究來自Google Research部門、Daydream Labs和YouTube Spaces團隊。過去,VR頭盔擋住用戶表情和眼睛注視的方向,降低MR影片的逼真感。

Google結合臉部擷取程式、眼球追蹤和電腦視覺技術,設計出這項稱做「摘掉頭盔」的技術,可以將人臉合成在影片中,重現原本被VR頭盔擋住的表情。

Google

根據部落格說明,這項技術利用彩色和深度照相機,在一分鐘內即可建立用戶的3D臉部模型,並建立眼球視線資料庫,讓不同的臉部圖像可對應到相對的眼睛視線和眨眼。

接著,他們將VR頭盔改造成可追蹤眼球,在結合「摘掉頭盔」技術、透過VR頭盔蒐集來的眼球追蹤數據、以及可和頭盔同步的外部攝影機,便能將最初設定的臉部模型合成和真實世界的行為合成,讓影片更為逼真。

避免「恐怖谷」,不完全拿掉頭盔、而是模擬潛水面鏡效果

不過,這項模擬人類表情的技術,由於過於擬人,就算和真人僅有微妙差異,也會讓人覺得很不自然,這即是恐怖谷理論。因此,為了避免恐怖谷現象,Google選擇模擬淺水面鏡的效果,不完全移除VR頭盔、而是用半透明的效果呈現頭盔,減少觀眾對表情不自然的地方的注意。

Google在部落格指出,希望這項技術可提升VR在各種應用中的溝通和社交互動能力,如VR視訊會議、多人玩家VR遊戲,以及和好友和家人共同在VR世界中探險等。未來,他們將在特定YouTube Space開放這項技術,讓各地創作者使用、提升他們的VR體驗影片。

資料來源:GoogleTechCrunchUploadVR

每日精選科技圈重要消息