VR如何創造一個虛擬世界?談談現有的VR 體感回饋技術

2016.10.21 by
吳季剛
吳季剛 查看更多文章

懂一點醫學工程跟軟硬體開發,希望能實現小時候在電影影集中的各種科技生活,目前專注於新型人機介面的開發。

蔡仁譯攝
VR技術目前在視覺的部分,其實已達相當水準, 但是在其他體感方面,必須加入更多感官模擬的功能,使色聲香味觸所有的感覺皆能匹配。聽覺也不是問題,高階耳機與音效處理技術現在滿街都是,但在其他感官部分,目前較為輕薄可能可以發展為家用的裝置,一般是以電刺激的方式模擬體感。

有一種科幻作品是 Cyber Punk,裡面在未來會有一種神妙的科技,可以靠人類身體上連上的一條導線,就讓人能看到一個完全由技術所模擬出來的現實,而人甚至無法分辨其是否為真。那種情境可以參考 1999 年的電影《駭客任務》(The Matrix)、或是 1998 年的漫畫《攻殼機動隊》。

youtube螢幕截圖

屆時,人可以靠一條導線就創造出一整個世界,而創造虛擬世界的魅力在於「夫適體之清風,娛情之皎月,悅耳之禽鳥,可口之薇蕨,一切可愛可戀者皆是可欲。」VR 技術便被期待可以藉由技術創造出這種全方位的感官享受。

虛擬實境技術發展至今,以視覺呈現的效果最顯著。例如:戴上 VR 頭盔,就能置身海底看到鯨魚在你面前。但視覺效果獨強的結果,造成使用者長時間穿戴 VR 裝置,會感到頭暈等身體不適的問題。

真正的虛擬實境不只是視覺,還需要包含其他的體感。開發者應該想辦法加入綜合性的體感回饋或是修正 UI,提升使用者的使用體驗。

以下我先解釋 VR 技術的困境,並以人類生理運作機制說明發生原因,以及有哪些解決的作法。

VR 技術困境:五官的感覺不協調

人所認知的現實,是由各種感覺器官所收集到的情報所組成。正常人的世界,是各種感官的感知所形成。就像般若心經所云,人的世界,就是由眼、耳、鼻、舌、身,所感覺到的色、聲、香、味、觸所組成,而若能由技術創造出一個虛假的色身香味觸的情境,便是創造出了虛擬的一個世界。

虛擬實境,是用技術創造出虛擬的現實。但現在的技術,無法百分之百地替模擬出色、聲、香、味、觸,所以我們在 VR 世界裡感覺到的現實是不完整的。

此外,不少人使用 VR 裝置後感到頭暈不適,已經有技術文章闡明, 頭暈現象與影像品質無關,是由於感官間接收的資訊彼此衝突所造成的。

確保感知協調的生理機制:人的平衡感三覺

人的平衡感來自於三種感覺:視覺、前庭覺、本體感覺。視覺非常容易理解,即為眼睛看到周遭景物的移動狀態,從而感知平衡狀況;前庭覺則為由內耳器官感知的體感;本體感覺則為身體在維持平衡時,肌肉必須收縮以維持的感覺。比如說人在閉眼站立或行走時,其便是倚賴前庭覺與本體感覺進行平衡。

VR 各大廠均能複製出虛擬的視覺,然而當視覺呈現的體感是在移動時,前庭覺與本體感覺,均與視覺不同步。在此情況下,人體的感知產生混淆,而由該文所述的原因,自然就會產生暈眩與嘔吐感了。

VR 技術的困境,在於視覺與體感的不匹配。此種跨感官間的感知不匹配的問題,非是改進影像技術可以解決的。即便神妙如 Magic Leap所宣稱完成的視網膜投影技術,其宣稱可以隨眼睛的對焦創造出影像的銳度變化以降低不適感,依然同樣的無法由影像技術創造出虛擬的前庭覺與本體感覺。

怎麼解決?

前述的前庭覺、本體感覺與視覺的不匹配造成的不適現象,已經出現一些相應的解決方法。

創造虛擬的前庭覺

前面提到的前庭覺,其感知器官是位於內耳,被稱為三半規管的器官。三半規管是內耳中三個不同角度的管狀器官,其中充滿液體,且管壁內生有纖毛。當人體(尤其是頭部)感受到旋轉向的加速度時,內部的液體會流動,從而讓管壁中的纖毛倒向流動方向,纖毛上的神經因此感受到頭部所承受的加速度。此感官可以理解為人體內建的慣性感測器。有興趣的人,可以參考影片

其實技術上是有機會蒙騙三半規管的。若給予內耳部一個弱電流刺激,其可以讓三半規管管壁中的纖毛,由於感電因素在液體沒有流動的情況下,倒向某個預設之方向。

由此,則可以創造出虛擬的前庭覺,學術上稱為直流電前庭刺激技術( GVS,Galvanic vestibular stimulation )。利用此種原理可以騙過三半規管,製造出一個虛擬的前庭平衡覺。若能仔細調控,使視覺與前庭覺所感受到的體感一致,便可以降低感官衝突造成的不舒適感。

這種裝置由於其原理是對人體頭部進行放電,對於一般使用者而言,對頭部(尤其是職司平衡感的感覺器官)進行電刺激還是有一段不易跨越的心理距離。

雖說其一般在實驗中能引起受試者反映的電壓小於 6V,而電流一般在 1.5 - 2mA 以下,亦即比手機充電時或是行動電源輸出的電量大少許。在其對人體長期使用下的狀況評估尚未完成前,此類以 GVS 為基礎的產品,恐怕不亦為市場所接受。要商品化尚有距離。

雖然三星公司無比勇猛的推出了實驗性質的GVS耳機,使用「沾有鹽水的海綿」作為電級放電。我認為這是為了舒適感而折衷的結果。未來若真要商品化,除須克服對頭部放電的心理障礙外也可能有必須使用耗材的問題。

用控制器製造本體感覺

要模擬肌肉出力的本體感覺,唯一一種可能的做法就是像大型街頭遊戲機,或遊樂園裝置那般使用機械平台,利用機械或重力機速度來模擬加速體感了。

此類解決方案的代表作,是先前很多人在東京台場 VR 展玩的不亦樂乎的各種大型機台,但由於需要機構控制,故又增加了成本與系統上的複雜度。

以下是模擬飛鳥的VR裝置,還包括風壓的回饋:

同樣的問題也出現在與虛擬物件的互動控制方面。以先前 HTC Vive 的一個 DEMO為例,在該 DEMO 中出現在地上撿拾一根樹枝並丟出去的作業、彎弓射箭的作業、執行廚房工作的作業,這些作業均涉及感測人手的動作,並於 VR 環境做出相應的反應。

各家廠商對 VR 環境推出的互動解決方案均是採用無線遙控器。使用已在遊戲業界應用多年的無線手把,確實在技術上較為簡單可行,但其問題在於,其對應的手部作業,並不能完全對應抓取、開弓放箭、做菜洗碗等種種手勢。簡言之,手勢控制器在與 VR 虛擬物件的互動上,說不定是比較恰當的選擇。

手勢控制裝置有幾種不同原理,用在 VR 情境上有幾種可能的解決方案,比如基於 Leap Motion 或其他 IR攝影機的各種影像技術,或是基於手部活動感測的裝置。

其中使用影像技術的系列,由於其 IR 攝影機(又稱為紅外線攝影機,其實就是我們平常走在路上、各大賣場、百貨公司裡頭會有的錄影機。)的天生限制,在日光或熱光源下可能不易正常運作。

因此,手部活動感測的裝置,包括以外骨骼式的機械裝置感測、感測肌肉活動的 MYO、或是 SONY佈下專利的整合式手套裝置,都有可能是下一代 VR 的輸入裝置。其較無線搖桿來說,能真實反映人體的手部動作,同樣可以由反映實際體感增進 VR 裝置的使用經驗。

SONY的整合式手套裝置專利,有可能是下一代 VR 的輸入裝置,比現有的無線搖桿更能真實反映人體的手部動作。
蔡仁譯攝

增加回饋,提升使用經驗

在能反映手勢之後的下一個課題就是「回饋」。此部分也是以影像技術為基礎的裝置較難克服的部分,畢竟凌空做出觸覺回饋還是比較難的。而在直接感測手部活動的手勢控制裝置的部分,就可以以各種方式嘗試模擬觸覺回饋或是給予簡單的震動回饋。

在此技術領域目前看來最接近實現觸覺回饋的解決方案是日本新創團隊推出的 UnlimitedHand,其除了由接近前述 MYO 裝置的肌電感測技術以偵測使用者手勢動作以外,同時亦能由佈設於手臂上的電極,以電刺激神經的方式模擬出觸覺回饋。使用類似原理的裝置尚有西班牙的 GloveOne

不過目前 UnlimitedHand 裝置售價 319 美金,而且還看似需要耗材,可能市場未必能接受。

另一個 UnlimitedHand 可能面臨的技術問題是此裝置採用肌肉電訊號(Electromyography, EMG) 作為量測肌肉活動的方式,但是其製造觸覺回饋的刺激訊號也是電訊號,可能會產生兩種訊號混雜的現象,若要以電刺激訊號模擬觸覺,應該在感測肌肉活動的部分使用肌動圖 (mechanomyography, MMG) 技術較妥。

VR 綜合虛擬體感的未來發展趨勢

綜述前面所舉的問題與解決範例,我們可以發現VR技術目前在視覺的部分,其實已達相當水準, 但是在其他體感方面,必須加入更多感官模擬的功能,使色聲香味觸所有的感覺皆能匹配。

聽覺也不是問題,高階耳機與音效處理技術現在滿街都是,但在其他感官部分,目前較為輕薄可能可以發展為家用的裝置,一般是以電刺激的方式模擬體感。而以電刺激方式模擬體感的做法,目前可以實現一定程度的觸覺與前庭平衡覺的模擬。

而在目前尚未導入感官模擬技術之前,比較可行的方式是針對 VR 的特性(視覺與其他感官必須匹配)來進行UI設計。

以目前 HTC Vive 的招牌殺殭屍遊戲為例,可以注意到,其 VR 內容不像賽車或是雲霄飛車之類的內容是被畫面帶動,使用者在玩殺殭屍遊戲時可以自行移動;而由於殭屍會從四面八方出現,所以使用者其實不會有太大的移動範圍。

電獺少女YouTube頻道

此種 UI 的設計確保了使用者真正的移動與虛擬世界的移動可以一致,從而前述的前庭覺與本體感覺也可以與視覺所接收到的感覺一致,故較不會暈。而在影像處理技術上,有些做法為縮小視野範圍,或令周邊視野模糊的方式,以降低 VR的不適感。

HTC Vive 很多其他的 Demo 也是以類似的方式設計其 UI,比如模擬海底世界的《TheBlu》。這種由UI設計來讓感官一致的方式,目前 HTC Vive 做得較為徹底,幾個招牌應用都是以此精神做設計,但其還是有需要較大的空間,且連接線可能會在使用者移動的過程產生纏繞等問題必須克服。

另一方面,前述的體感手勢控制技術目前看來較接近成熟階段,VR 供應商或開發者也可以先導入手勢控制裝置進行應用的開發,目前台灣有 PVD+工研院團隊有進行 VR 相關的遊戲手勢控制技術開發。

綜上所述,未來 VR 大廠在不開發體感感官模擬技術的前提下,可能會以改善 UI 與內容設計的方向進行改進;然而UI的改善有其極限,因此,開發低成本且可被消費者接受的體感模擬技術,還是會成為未來VR技術上的一大挑戰。

每日精選科技圈重要消息