虛擬實境（VR）帶來沉浸式體驗，但如果你看過其他人使用VR裝置，就會知道少了VR場景，他們在真實世界中的行為有多詭異。過去，我們已經可以在綠幕場景，拍攝出結合VR場景和真實世界行為的混合實境（MR）影片，但要讓觀眾更能貼近體驗者感覺的關鍵之一——臉部表情，卻被VR裝置遮住一大塊。
有鑑於此，Google開發出一項新技術，可讓原本被頭盔擋住的臉部表情（包含眼球視線、眨眼等）在混合實境影像中重現，讓VR體驗影片變得更逼真。（文末有影片）
一分鐘內建好臉部3D模型、眼球視線資料庫
這項研究來自Google Research部門、Daydream Labs和YouTube Spaces團隊。過去，VR頭盔擋住用戶表情和眼睛注視的方向，降低MR影片的逼真感。
Google結合臉部擷取程式、眼球追蹤和電腦視覺技術，設計出這項稱做「摘掉頭盔」的技術，可以將人臉合成在影片中，重現原本被VR頭盔擋住的表情。
根據部落格說明，這項技術利用彩色和深度照相機，在一分鐘內即可建立用戶的3D臉部模型，並建立眼球視線資料庫，讓不同的臉部圖像可對應到相對的眼睛視線和眨眼。
接著，他們將VR頭盔改造成可追蹤眼球，在結合「摘掉頭盔」技術、透過VR頭盔蒐集來的眼球追蹤數據、以及可和頭盔同步的外部攝影機，便能將最初設定的臉部模型合成和真實世界的行為合成，讓影片更為逼真。
避免「恐怖谷」，不完全拿掉頭盔、而是模擬潛水面鏡效果
不過，這項模擬人類表情的技術，由於過於擬人，就算和真人僅有微妙差異，也會讓人覺得很不自然，這即是恐怖谷理論。因此，為了避免恐怖谷現象，Google選擇模擬淺水面鏡的效果，不完全移除VR頭盔、而是用半透明的效果呈現頭盔，減少觀眾對表情不自然的地方的注意。
Google在部落格指出，希望這項技術可提升VR在各種應用中的溝通和社交互動能力，如VR視訊會議、多人玩家VR遊戲，以及和好友和家人共同在VR世界中探險等。未來，他們將在特定YouTube Space開放這項技術，讓各地創作者使用、提升他們的VR體驗影片。
資料來源：Google、TechCrunch、UploadVR
