嫌自學太難?台灣人創業用AR玩鋼琴教學,奪微軟全球開發者大賽冠軍

Music Everywhere
台灣人蕭富彥和兩名夥伴共同打造Music Everewhere軟體,透過AR方式,提供虛擬樂團即興伴奏、讓使用者從遊戲中學鋼琴,順利獲得微軟HoloLens 2017年全球開發者大賽冠軍。

除了找家教、看影片之外,現在還有一種全新方式,用擴增實境學(AR)學鋼琴。

透過AR直接在鋼琴琴鍵上產生「垂直虛擬記號」,就像音樂類遊戲一樣,會有即時提示出現,讓使用者可以掌握彈奏時機;進階學習者也可以選擇虛擬樂團幫你即興伴奏,創作不同體驗。

這套軟體叫做Music Everywhere,目前在微軟HoloLens商店上架,使用時除了需搭配AR眼鏡,還要擁有一台具備藍牙功能的鋼琴,才能夠傳輸MIDI訊號(樂器數位介面)。

用AR學鋼琴的創意教學系統,擊敗一千多名來自世界各地團隊,獲得2017年微軟的HoloLens開發者大賽全球第一名,並得到十萬美元獎金。另外,也曾到舊金山的遊戲開發者大會(GDC)、哥本哈根的國際創新音樂表現介面大會(NIME)及洛杉磯的計算機圖形大會(Siggraph)展出,陸續受到矚目。

AR鋼琴的嶄新教學設計,更有台灣創意在裡頭。

解決自學痛點,他們想出用AR玩鋼琴教學

27歲的蕭富彥,過去在美國匹茲堡就讀卡內基梅隆大學的娛樂科技(entertainment technology)碩士班,他和兩名共同創辦人在為期15週的專案裡,打造出AR鋼琴教學系統的雛形,並於2017年4月正式成立新創公司Music Everywhere。

Music Everywhere三名共同創辦人:賽斯‧葛立克曼(圖左)、蕭富彥(圖中)、李炳萬(圖右)。
Music Everywhere

三人的共同特點是:熱愛音樂。

蕭富彥喜愛吉他,擔任創意長角色、執行長賽斯‧葛立克曼(Seth Glickman)是畢業於紐約茱莉亞音樂學院的作曲家、技術長李炳萬(Byunghwan Lee)來自韓國,是一名喜歡合成器的遊戲工程師。

由於對音樂的熱情,他們觀察到現在的鋼琴自學方式,仍有許多不方便之處。例如用手機、平版觀看教學影片時,學習者必須不斷移動視線和轉動身體,輪流盯著鋼琴與電子螢幕,無形中增加了許多吸收資訊的困難,同時也不夠直覺,因此興起創業念頭。

「技術挑戰在於,AR顯示器的視野範圍很小,大約不到35度,該如何妥善利用HoloLens的追蹤功能,又不讓虛擬資訊因為角度問題(field of view)被『切掉』,需要反覆的設計。」蕭富彥說。

但 Music Everywhere 仍努力克服技術困難,順利創造出鏡射琴鍵的功能,目前也正打算開發比照真人彈奏的模擬手勢,讓學習者能夠有更精緻的學習感受。

AR裝置門檻高,挑戰市場接受度

只不過,比起技術難題,團隊真正的挑戰在於市場的接受度,以及AR裝置的普及時程。

「我們的目標客群是那些希望享受音樂的人。」蕭富彥坦言,AR應用在建築、醫療、機械等領域比較熱絡,因為擴增實境能讓平面圖資立體化,「而音樂領域不只在美國很少人碰,其他國家的嘗試也不多。」

Music Everywhere的AR鋼琴系統,能讓虛擬樂團和教學指令垂直呈現在鋼琴上方,解決視線轉換的學習問題。
Music Everywhere

Music Everywhere團隊認為,這是很大的挑戰,卻也是機會。

蕭富彥表示,HoloLens擁有良好的空間追蹤技術,但因為裝置價格偏高,在美國每台售價約5千美元(約14萬新台幣),因此在市面上AR頭戴裝置未普及的情況下,不太可能直接推廣至消費者家中。

目前,Music Everywhere 正在美國各大學、藝文中心等地方推廣,希望先讓外界了解AR科技對學習音樂的幫助,接下來也將持續推出吉他、鼓類學習產品,提升教學系統能見度。

他們從2017年7月開始,進駐匹茲堡加速器Alpha Lab,獲得投資與創業輔助訓練,同時也獲得不少AR硬體廠商接洽,正持續拓展出路。

「 音樂市場雖然小眾,但是不代表科技沒有機會改變它。」蕭富彥看好在2020年左右,就會是AR應用快速融入市場的絕佳時機。

追蹤我們