當你戴著Oculus Quest 2頭顯,進入Meta的VR社交平台Horizon Worlds時,你需要創建一個虛擬形象代表自己。
可是它看起來怎麼也不像你,它沒有下半身,像霍格華茲的幽靈一般漫遊空中,最近飄蕩進了超級盃的廣告裡。
隔壁的微軟也是這樣,在其元宇宙入口MeshforTeams之中,你的虛擬形象同樣失去雙腿。
然後你將一個問題脫口而出:為什麼沒有腿?
把腿加上,有那麼難?
Andrew Bosworth是Meta的Reality Labs副總裁,在領導公司的XR部門時,他養成了通過Instagram進行即興問答的習慣。在2月10日的問答中,他承認加腿是件難事。
如果想在VR中以逼真的方式呈現雙腿,它首先需要知道腿在現實裡的一舉一動,然後推斷腿在VR中應該做什麼。
癥結就在這裡,雖然Quest 2能夠進行頭部和手部跟蹤,並估計手臂和胸部的位置,但它不知道你的腿在哪裡。
Quest 2配備4顆廣角灰階鏡頭,頂部的兩顆朝向上面和側面,底部的兩顆略微向下。如果我們向前看,這些鏡頭通常可以看到手臂,如果我們坐著或向下看,鏡頭能夠看到身體的更多部分。
但它們的追蹤範圍始終有限。有時,腹部等「障礙物」可能會擋住鏡頭的視線;有時,當我們傾斜或轉動頭部,那些向下的鏡頭也無法看到腿。
Meta還想將頭顯的外形尺寸做得更小,鏡頭可能更難看到腿了。
在腿部放上額外的感測器呢?理論上可行,但目前幾乎沒有針對腿部的商用感測器和控制器。
HTC銷售幾種主要面向企業用戶的Vive VR頭顯,還推出了綁在四肢或物體(如網球拍)上的追蹤器。不過,追蹤器只能與連接到電腦的頭顯兼容,並需要一個基站。
說到基站,「無腿」的核心原因也就呼之欲出,即Quest 2的定位方式。VR頭顯的定位技術可分為兩類,一種是outside-in,一種是inside-out。
Outside-in需要事先放置定位點裝置,定位點裝置會發射出雷射、紅外線、可見光等,覆蓋定位點裝置之間的空間,並建立三維位置資訊,通過三角定位的方法確定佩戴者的位置和移動方向。
Quest 2則屬於inside-out,它無需架設額外的定位裝置,在VR頭顯上安裝鏡頭,讓裝置自己檢測外部環境的變化,再用SLAM演算法計算出鏡頭的空間位置和移動方向。
簡單來說,inside-out定位無需基站,拓展了使用空間,更適合日常娛樂和移動場景;outside-in可提供更精準、範圍更大的追蹤效果,全身動捕一般依靠outside-in的追蹤設置實現。
既然目前做不到全身追蹤,Meta就將腰部以下「砍掉」了。
定位方式也關聯了使用習慣,以及公司的戰略方向——科技發展越方便越好,消費者不一定關心公司用了什麼技術。起價299美元的Quest 2雖然精準度和延遲相對落後,但對普通用戶來說足夠友好。
在VR中經營社交,一直是許多VR製造商的目標。
Meta當然希望進一步將VR推向大眾消費市場。更逼真的身體表現,固然可能引起更多人對VR的興趣,也可能使用戶體驗更加繁瑣、成本更高,至少短期內是如此。
所謂「兩害取其輕」,更低的使用門檻對普及VR意義重大。
值得一提的是,Unity增強和虛擬實境副總裁Timoni West提出了一種解決方法——先採集大量關於走路方式的數據,再在AI的幫助下,根據頭顯檢測到的頭部運動預測腿部運動。
AI可能無法精準預測到具體用戶的每一個動作,這會導致AI再現的動作不自然;「採集大量走路方式數據」這個前提也並不容易,當在未來某個時候,每個人家裡都有一台全向跑步機捕捉腿部運動時,製作人體運動的數位模型可能就不再困難了。
簡言之,如果不在身體或周圍設置一系列感測器,就要求消費級一體式VR裝置實現完美的腿部追蹤,基本是不可能的,就像HTC美國公司總經理O'Brien所說:「大家追求的是一直全身心的沉浸式體驗,能夠用一個一體式頭顯再現身體的每一個動作。但是,我們目前還做不到。」
你要跳舞嗎?
2019年9月,Meta宣佈在Oculus Quest上使用深度神經網路進行準確的手部跟蹤。
戴著Quest 2,我們可以揮動手部在菜單界面進行一些簡單操作,也可以握著手柄在遊戲里大殺四方。
在Horizon Worlds,漂浮的「無腿怪」們可以閒逛、結識朋友、向殭屍開槍或創建自己的世界。
精確的手部追蹤為什麼重要?因為它將解鎖一系列新體驗——用手勢在VR中暫停電影,在社交遊戲中更自然地表達自己,與現實中一樣揮手打招呼、猜拳、握手、抓取、擊掌……
相比之下,如果你不需要跳舞等遊戲用途的話,腿部跟蹤似乎沒有那麼必要。就算不用腿部跟蹤,軟體也可以模擬行走、下蹲等動作,讓你看起來四肢健全。
為了讓步行在VR中更逼真,有研究人員推出腳部VR力回饋方案。舉例來說,行走時的體感包括視覺場景變化、腳底踩在地面上的反饋,以及四肢移動的體感。因此,在理論上,通過刺激和模擬這些體感和視覺效果,也能模擬逼真的行走體驗。
如果僅僅是看不慣,裝個「假腿」足夠了。Andrew Bosworth就是這麼想的:我們可以為虛擬形象偽造腿,讓人們看到彼此的完整形象,沒有人會知道其中的區別。
當然,Andrew Bosworth也承認,假腿沒法代替真腿的體驗。假腿只是能在閒逛、聊天等簡單的VR社交體驗裡,讓你漂浮的虛擬形像看起來更加自然。
但沒有一雙靈活的腿,總覺得少了什麼。在更沉浸和真實的VR體驗裡,我們總是需要腿的,這方面的代表便是VR社交平台VR Chat。
VR Chat的一大特點是虛擬角色不受限制,二次元們熟知的MMD模型可以直接轉換成VR Chat的角色,卡比獸、海綿寶寶、初音未來扎堆出現。不僅如此,越來越多的VR舞者通過綁在身上的運動追蹤器,在這裡進行實時鬥舞比賽。
為了在VR中完成全身舞蹈動作,韓國VR Chat舞者Makoto用的追蹤器特別齊全:帶有無線附加組件的HTC Vive頭顯、手腕上的Index控制器以及腰部和腳部的Vive Tracker。
VR愛好者們願意為全身追蹤付出許多金錢和精力,意味著擁有「真腿」的門檻依然很高。
但更長遠地看,社群就是圍繞這些活動形成的,世界上第一個VR舞蹈社區@IDA_officialVR在VR Chat舉辦了一系列舞蹈比賽,VR真正遠端連接了可能永遠都不會見面的人們。
我們仍然期待,隨著技術變得更好、更便宜,VR能夠提供更多意料之外的體驗。
或許從「為什麼沒有腿」這個問題就可以看出,相比祖克柏的元宇宙構想,現在的VR技術還有些距離,Horizon Worlds也並不是一個完全充實的元宇宙。
話又說回來,或許不是所有人都喜歡有腿,不是每個人都想要做一個映射他們日常生活的虛擬形象。
至少,在未來人人皆可觸及的VR世界,要讓「漂浮的無腿怪」成為一個選擇,而不是一種遺憾。
本文授權轉載自:愛范兒 ifanr
責任編輯:傅珮晴、錢玉紘