2016年度挑戰完成!馬克·佐克伯公開100小時打造的AI管家「賈維斯」
2016年度挑戰完成!馬克·佐克伯公開100小時打造的AI管家「賈維斯」
2016.12.20 | Facebook

Facebook創辦人馬克·佐克伯(Mark Zuckerberg)今日發表一篇網誌,公布2016年自我挑戰的成果。

我2016年的個人挑戰是,建造一套簡單的人工智慧管家--像《鋼鐵人》裡的「賈維斯」(Jarvis)。

100多小時打造「賈維斯」

佐克伯稱今年花了大約一百多個小時,利用閒暇時間,開發了「賈維斯」系統,現在已經建立好簡單的AI,可透過手機、電腦與「賈維斯」溝通,操控家中的電器、音樂及保全。「賈維斯」能用文字訊息或口語溝通聲控開關燈、依個人喜好播放音樂、自動辨識門口的訪客並發表通知、觀察女兒在家的動態,並在起床時自動播放中文課程等。

「賈維斯」智慧管家使用的人工智慧技術,包括自然語言處理、語音識別、物體及臉部辨識以及強化學習,以Python、PHP、Objective C語言編寫。

佐克伯於網誌中表示,原本預期透過這項挑戰,學習AI技術與工具,但過程中同時也更了解家庭自動化的概況,及親身接觸Facebook工程師使用的各種內部技術工具。文中他也分別就家庭系統連接、自然語言處理、視覺辨識、訊息機器人等方面,提出一些實作心得、目前限制與未來趨勢。

家庭物聯網目前的困難

佐克柏文章中提到,實作時由於不同設備系統都使用不同語言與協定,要先寫程式處理,才能著手建構AI。此外,目前多數電器也還沒有連網。要使「賈維斯」這樣的智慧管家能多方應用,需要更多設備連接,業界也需要開發通用的API與標準,使設備間能相互通訊。

自然語言的複雜性

佐克柏讓「賈維斯」理解自然口語有兩步驟,首先要讓AI能以文字訊息進行溝通;接著利用語音轉文字技術,就能直接用語音溝通。

不過,人類語言其實相當複雜。除了利用關鍵字理解指令,佐克柏很快發現,AI還需進一步學習同義詞才能理解(如「家人房」(family room)和「客廳」(living room)兩個詞,在佐克柏家是指同樣的空間)。

對任何AI來說,環境脈絡線索也很重要。同樣一句「開燈」或「打開我的辦公室的空調」,由佐克柏或由太太Priscilla Chan說出口,可能是指完全不同的空間。

自然語言在播放音樂方面也很複雜,因為系統要處理大量關鍵字,指令範圍也更大。佐克柏舉了個有趣的例子:同樣是「play X」(「播放X」)的指令,「play someone like you」、「play someone like Adele」、「play Adele」,看似微小的差異,意思卻完全不同,分別是播放Adele的「someone like you」這首歌、請系統建議與Adele類似的音樂、以及建立一個Adele的歌曲列表來播放。透過正反饋系統,AI能夠學習區別差異。

此外,佐克柏也提到,雖然語音識別系統近來已改進,但仍然不足以理解多人對話的語音。語音識別依賴聽與預測,所以結構化的語音仍比非結構化的對話更容易理解。

視覺與臉部辨識的應用

佐克柏在自家門口安裝數架攝影機,並建立簡單的伺服器,進行人臉偵測與辨識處理。識別身分後,會檢查列表,確認是不是預期的訪客,決定是否放行,並通知佐克柏。

電腦視覺也可以拿來判斷女兒何時醒來,就可以開始播放音樂或華語課程;也可以判斷人正在屋內何處,AI就能正確回應像「開燈」這樣缺乏環境線索的指令。AI系統擁有的線索資訊越多,整體就越聰明。從佐克柏的心得看來,視覺辨識對於提供語言表面的指令之外的環境線索相當有幫助。

文字訊息使用得比預期多

為了能從任何地方透過手機與「賈維斯」進行溝通,佐克柏利用自家的Messenger架構(messenger.com/platform),開發賈維斯對話機器人,發送文字或語音,就會立即轉發到伺服器處理、執行命令。

出乎佐克柏意料的是,相較於語音,使用文字訊息溝通的情況比預期多得多,主因是簡訊比較不會干擾旁人,「賈維斯」傳來的訊息也可以等想看時再看。

佐克柏提到,喜歡文字通訊大於語音通訊的偏好,符合在Messenger與WhatsApp觀察到的狀況,全世界的文字訊息比語音通訊量增長更快。未來AI產品不能僅專注於語音,還需要私人訊息介面。利用像Messenger的平台,也比從頭開發新的應用軟體更好。佐克柏的經驗認為,我們未來都會與像「賈維斯」這樣的機器人溝通。

「我們的內部工具跟基礎建設做得很棒!」

佐克伯看來相當自豪於Facebook軟體基礎工程和內部工具,並強調今年透過自己親身開發AI的經驗發現,Facebook程式碼資料庫組織極有條理、容易搜尋,無論是臉部識別、語音識別、對話機器人框架或iOS開發,以及各種開源資源工具,都使「賈維斯」的開發節省非常多時間,也逐一羅列Facebook所提供的各種資源。

佐克伯考慮過開放「賈維斯」的程式碼,只是目前系統緊密綁定到自己的家庭、電器和網路配置,若將來建立更抽象一層的家庭自動化功能,也許就會釋出。

重點在於「教會AI自己學習新東西」

雖然這項挑戰將進入尾聲,佐克伯表示將會繼續改進「賈維斯」。佐克伯也提到,他的長遠目標是摸索如何教導人工智慧自行學習新技能,而不是必須教它執行特定任務。若多花一年時間在這個挑戰上,他會更聚焦在學習「學習」是如何運作的。他提到:

某種程度上,人工智慧比我們想的更近、也更遠。AI越來越接近能做到比多數人預期的更強大的事:駕駛汽車、治療疾病、發現行星、理解媒體。這些都將對世界產生巨大影響,但我們仍在找尋真正的智慧是什麼。

自然語言、臉部識別、語音識別等,其實都是相同的模式辨識技術的變體,也就是向電腦展示許多例子,以使其能準確識別,不過這些都還是專門用來解決特定問題,而不是通用的人工智慧系統。我們仍不清楚「學習」是如何運作的,以及如何建立一個可以自行學習新技能的系統。

今天佐克伯也接受媒體FastCompany獨家採訪,並公布一小段「賈維斯」智慧管家的影片。

佐克伯也宣布將在幾週內,分享他下一年度的個人挑戰。

所以,「賈維斯」的聲音聽起來怎麼樣?

可能有人還記得,前一陣子佐克伯在Facebook上問大家:賈維斯的聲音該用誰的好呢?還因此「釣出」飾演東尼·史塔克(賈維斯的主人)小羅勃·道尼(Robert Downey Jr.)來留言!因此佐克伯今天還賣了一個關子,表示明天他將會釋出賈維斯的影片,到時候大家就會知道賈維斯的聲音會是誰的了。

2016/12/21更新:佐克伯釋出賈維斯的影片,我們也知道是哪兩個人幫賈維斯配音了 XD

資料來源:馬克·佐克伯的FacebookFastCompany

往下滑看下一篇文章
新北首間 AI 科技高中!錦和高中導入羅技電子 Rally Board 65 打造「移動任意門」,讓世界走進教室!
新北首間 AI 科技高中!錦和高中導入羅技電子 Rally Board 65 打造「移動任意門」,讓世界走進教室!

深夜11點,多數高中生可能已經準備熄燈就寢,但新北市錦和高中的 AI 基地教室卻燈火通明。原來,錦和的老師、學生,正利用 Logitech 的會議室解決方案 Rally Board 65,和遠在美國科羅拉多州、有 17 小時時差的 Kent Denver School進行視訊。兩校學生在螢幕上熱切分享文化習俗與校園趣事,教室氣氛熱絡。

在錦和,這樣跨越時區和國界的「深夜國際教室」,並非偶一為之的特殊活動,而是透過台美教師討論規劃,有系統制度的國際交流日常。

事實上,作為新北市政府教育局認可的全新北市首間「AI科技高中」,近年來,錦和在數位轉型、科技教育上多有著墨。從生生用平板、建置全校數位互動軟體,到引進被師生譽為「移動任意門」的 Logitech Rally Board 65,錦和正以活潑、彈性的數位學習策略,重新定義未來教室的模樣。

注入數位學習DNA,翻轉傳統教學模式

但錦和的數位轉型並非一蹴可幾。早在疫情期間,錦和高中校長張純寧就意識到,數位教學不是選擇題,「因應數位浪潮、社會趨勢,我們一定得這麼做!」當時,她大刀闊斧將行政人員分組,手把手協助全校老師跨越科技門檻、熟悉線上教學,成功將「數位 DNA 」注入錦和。

如今,走進錦和的課堂,會看到生物老師利用平板搭配 AR 擴增實境技術,將圖像化為立體,讓學生直觀地觀察昆蟲解剖構造和心臟血液的流動;數學老師則透過 VR 虛擬實境,設計「密室逃脫」遊戲,讓學生在解謎中,學著邏輯推演;公民老師更帶著學生投入田野調查,將時事探討結合數位資訊,提升學習興趣。

「錦和的老師,幾乎都已經完成 AI 的增能研習。」張純寧透露,學校在將數位工具融入教學之餘,更和淡江大學合作開發專屬的「AI 倫理素養手冊」,並列為校定必修課程,目的是確保學生在擁抱 AI 的同時,也能建立正確的價值觀。

引進 Logitech Rally Board 65,打造無縫國際交流體驗

而隨著數位學習的版圖不斷擴張,近來,錦和面對的新挑戰,是為學生創造「無縫的國際交流體驗」。

為了讓學生有機會開口說外語、和世界接軌,錦和申請校園雙語計畫子計畫三,採購Logitech Rally Board 65,方便與美國、法國等國的姐妹校線上交流。但過去,要進行高規格的遠距教學,學校必須斥資打造一間固定的遠距教室,裡頭還得裝設投影機、追蹤攝影機和收音設備,不僅空間受限,設備盤點、維護也是行政人員的夢魘。

錦和高中圖書館主任吳孟仁解釋,如果讓學生一人用一台筆電視訊,只要有一位學生的設備出狀況,或是網路連線有問題,老師就必須先中斷課程,接著再像個工程師般,協助學生一一排除障礙;若採用多人在同一鏡頭前發言的模式,傳統的視訊鏡頭又無法照顧到每一個人,導致交流缺乏臨場感。

#1 羅技_第一篇(錦和高中)_115126
吳孟仁表示,學生為參與跨國交流,常於夜間上線,展現高度投入與國際視野。隨著數位工具融入學習,學生更主動表達、協作與創造,培養面向未來的關鍵能力。
圖/ 數位時代

「我們要的,是一款將使用門檻降到最低、讓老師容易上手的數位工具。」張純寧指出,本學年藉由校園雙語化計畫與參與教育部高中優質化數位前導學校計畫的契機下,錦和偶然接觸到 Logitech Rally Board 65,結果意外發現,Rally Board 65 能徹底解決跨國交流的痛點。

#2 羅技_第一篇(錦和高中)_115126
Logitech Rally Board 65 結合 65 吋觸控螢幕與 AI 視訊技術,搭配移動式腳架,有效解決跨國交流溝通挑戰。透過 AI 與數位工具導入,學生培養跨域協作與問題解決能力,學習成果不再侷限於考試。
圖/ 數位時代

Rally Board 65 作為專為新世代協作而生的全功能,配有 65 吋的 4K 超高畫質觸控螢幕,還有兩支無須配對、充電的隨插即用數位筆,讓師生能輕鬆在白板上書寫、共編討論。鏡頭、麥克風和揚聲器一體成型的配置,打破了過往需要拼拼湊湊各項硬體的限制;內建的「RightSight 2」智慧取景技術,不僅能自動追蹤並清晰框選正在發言的師生,學生不再需要擠在一個小小的筆電鏡頭前,也不用傳麥克風,只要像平常聊天般自然發言即可;另外,「RightSound 2」智慧調音技術則能透過 AI 回音抑制技術,過濾背景噪音,確保討論過程不受環境音干擾,讓跨國溝通有如面對面交流般清晰。

#3 羅技_第一篇(錦和高中)_115126
錦和高中透過視訊設備,與長期有往來的美國肯特丹佛學校進行即時交流,科技賦能教育場景,讓跨國學習成為日常。
圖/ 數位時代

張純寧特別提到,Rally Board 65 擺脫傳統需固定於牆面的限制,只要裝上專屬推車腳架,就能任意移動,「Rally Board 65 最大的優點,是『可攜』!讓我們隨時隨地都能在學校的任何一個地方,創造『教學角』。」她笑稱,要是學校裡多幾台這樣的設備,等於多蓋了幾間多功能教室。不僅具備高度機動性,Rally Board 65 在安裝與視角上也同樣靈活,支援桌面、壁掛等多元配置,螢幕亦可雙向翻轉,根據需求調整上下視角,輕鬆融入各種教學情境。

同時,Rally Board 65 還有「免學習」的特性,「插電就能用,老師完全不用特別學習。」吳孟仁分享,現在的台美跨國連線,即便安排在夜間11點,學校也不必指派資訊人員留守,老師自己就能輕鬆開機、主持課程,大幅提升設備的使用率與教學彈性。

軟、硬體設備的升級,最終仍要回歸學生的成長。張純寧表示,當學生具備強大的數位協作能力,並習慣在虛實整合的環境中表達自我時,「你會明顯發現,沒有學生再躲在角落了!每個人都必須、也樂於站出來展現自己。」比方說,在自然科探究與實作的全年級發表會裡,學生是以「線上共編」模式,繳出成果;原先對寫程式一竅不通的社會組學生,經過 AI 課程上的學習,現在竟然能運用 AI 工具,協助弱勢團體、公益組織開發出線上的「記帳系統」。

#4 羅技_第一篇(錦和高中)_115126
張純寧表示,穩定且符合使用習慣的數位工具,是支撐長時間教學與行政工作的關鍵。透過羅技鍵盤滑鼠符合人體工學的設計,在高工時及高強度的辦公室工作下,保持舒適與效率。
圖/ 數位時代

從最初克服線上教學的陣痛,到成為新北市首間 AI 科技高中,以及引進 Rally Board 65,錦和用實際行動證明,只要具創新教育思維、善用多元數位工具,就能打破空間、時間限制,為孩子們打造一座與世界無縫接軌的未來校園。

從理念到實踐,打造未來教學場域。歡迎教職員夥伴預約參觀 Logitech 展示中心,了解更多 AI 教育解決方案:https://360theredmarker.com/vt/logitech-taipei/

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
AI全球100+台灣20
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓