光雕投影（或稱 3D 投影映射）是這幾年來大型表演活動中常被運用的新興技術，透過光雕可以改變建築物或者任何物體的外觀，把現實世界中平淡無奇的物體變得如夢如幻，大開觀眾的想像空間。不過，當前的光雕投影有些限制：被投射物必須是不會變形的剛體。而在上周，日本東京大學的石川渡邊研究室突破了這項侷限，發表了新成果──「以高速投影到動態變形非剛性表面的投影方法」。
在進入正題之前，先大略介紹一下光雕投影。簡單說，就是準備很多很多台的投影機，圍繞在一棟建築物的四周，然後用電腦控制這一大堆投影機，在晚上投影到建築物上，將建築物當做畫布，做出種種絢麗的表演。演出過程要考量到建築物是立體的，必須考量投影到的表面不是平的，得用電腦把投影的畫面事先針對每一台投影機要投射到的地方，算出對應的變形，才能投影出去。可以是在上面畫東西，也可能是天馬行空地把建築物變成完全不同的東西等。關於實際的作品，筆者推薦非常經典的《2012 東京光之祭典》或者日本萬代玩具公司出的一場表演的迷你版 HAKO VISION（用手機就可以欣賞）。
而這樣的技術，僅限於事先做好的靜態影片內容與靜態投影環境，東京大學的石川渡邊研究室不滿足於此，企圖克服這樣的限制，進行了動態光雕投影的研究。動態光雕投影的困難，是要捕捉真實世界「布幕」的動態即時變形，隨即低延遲地調整好要投影的虛擬影像，使投射出去以後，讓我們的視覺感官覺得吻合、沒有破綻。這最基本需要一台畫面更新率高、低延遲的投影機，於是該實驗室就自行開發了高速投影機「DynaFlash」，它在 8bit 色階（一個點可以有 256 色）時更新率高達 1000FPS，最低延遲（latency）才 3 毫秒（ms）。
有了這個基礎以後，更進一步要處理最有挑戰性的部分：如何正確投射影像到非剛性不斷形變甚至有遮蓋情形的「布幕」上呢？如果用即時影像辨識技術的話，是來不及的。石川渡邊研究室提出了這樣的新方法──「可變形點陣標記」（ Deformable Dot Cluster Marker，DDCM），這個做法類似 AR 擴增實境的概念，是用紅外線才看得到的墨水（人眼看不到），在衣服上面事先印好特定的點陣標記圖後，即使目標物發生大變形或者遮擋，DynaFlash 投影機的感應器也能穩定地在 1,000fps 下即時「看到」目標物上的點陣標記，以投射出正確的變形後畫面。
使用這些基本技術，包括 DynaFlash 和 DDCM，就可以在變形非剛性表面上進行新式的動態投影映射了。在石川渡邊研究室的展示影片中，可以發現翻轉、扭曲、移動、伸縮都難不倒，由於投影和感測都是以 1,000fps 的速度在運作，就好像投影的圖案本來就是印在衣服上般地自然。更特別的是，可變形點陣標記可以是複數的，也就是說這讓投影機可以靈活地「辨識」出不同的目標物，而同時加以投影出不同的圖案。
在應用上，可以想像演唱會表演時，偶像歌手穿著一件單色白淨的衣服，不用實際的換裝，就可以變換出一件又一件的不同衣裝；不用拜師學數十年學習高難度的川劇變臉技術，臉上只要戴著一張純白的面具，就可以一張又一張的不斷翻臉。非娛樂的應用方面，不用開刀，投影出內臟器官到人體上，輔助醫學院教學應該也是可預見的應用。真期待這項技術的後續發展呢！
本文授權轉載自：科技新報