2016年度挑戰完成!馬克·佐克伯公開100小時打造的AI管家「賈維斯」
2016年度挑戰完成!馬克·佐克伯公開100小時打造的AI管家「賈維斯」
2016.12.20 | Facebook

Facebook創辦人馬克·佐克伯(Mark Zuckerberg)今日發表一篇網誌,公布2016年自我挑戰的成果。

我2016年的個人挑戰是,建造一套簡單的人工智慧管家--像《鋼鐵人》裡的「賈維斯」(Jarvis)。

100多小時打造「賈維斯」

佐克伯稱今年花了大約一百多個小時,利用閒暇時間,開發了「賈維斯」系統,現在已經建立好簡單的AI,可透過手機、電腦與「賈維斯」溝通,操控家中的電器、音樂及保全。「賈維斯」能用文字訊息或口語溝通聲控開關燈、依個人喜好播放音樂、自動辨識門口的訪客並發表通知、觀察女兒在家的動態,並在起床時自動播放中文課程等。

「賈維斯」智慧管家使用的人工智慧技術,包括自然語言處理、語音識別、物體及臉部辨識以及強化學習,以Python、PHP、Objective C語言編寫。

佐克伯於網誌中表示,原本預期透過這項挑戰,學習AI技術與工具,但過程中同時也更了解家庭自動化的概況,及親身接觸Facebook工程師使用的各種內部技術工具。文中他也分別就家庭系統連接、自然語言處理、視覺辨識、訊息機器人等方面,提出一些實作心得、目前限制與未來趨勢。

家庭物聯網目前的困難

佐克柏文章中提到,實作時由於不同設備系統都使用不同語言與協定,要先寫程式處理,才能著手建構AI。此外,目前多數電器也還沒有連網。要使「賈維斯」這樣的智慧管家能多方應用,需要更多設備連接,業界也需要開發通用的API與標準,使設備間能相互通訊。

自然語言的複雜性

佐克柏讓「賈維斯」理解自然口語有兩步驟,首先要讓AI能以文字訊息進行溝通;接著利用語音轉文字技術,就能直接用語音溝通。

不過,人類語言其實相當複雜。除了利用關鍵字理解指令,佐克柏很快發現,AI還需進一步學習同義詞才能理解(如「家人房」(family room)和「客廳」(living room)兩個詞,在佐克柏家是指同樣的空間)。

對任何AI來說,環境脈絡線索也很重要。同樣一句「開燈」或「打開我的辦公室的空調」,由佐克柏或由太太Priscilla Chan說出口,可能是指完全不同的空間。

自然語言在播放音樂方面也很複雜,因為系統要處理大量關鍵字,指令範圍也更大。佐克柏舉了個有趣的例子:同樣是「play X」(「播放X」)的指令,「play someone like you」、「play someone like Adele」、「play Adele」,看似微小的差異,意思卻完全不同,分別是播放Adele的「someone like you」這首歌、請系統建議與Adele類似的音樂、以及建立一個Adele的歌曲列表來播放。透過正反饋系統,AI能夠學習區別差異。

此外,佐克柏也提到,雖然語音識別系統近來已改進,但仍然不足以理解多人對話的語音。語音識別依賴聽與預測,所以結構化的語音仍比非結構化的對話更容易理解。

視覺與臉部辨識的應用

佐克柏在自家門口安裝數架攝影機,並建立簡單的伺服器,進行人臉偵測與辨識處理。識別身分後,會檢查列表,確認是不是預期的訪客,決定是否放行,並通知佐克柏。

電腦視覺也可以拿來判斷女兒何時醒來,就可以開始播放音樂或華語課程;也可以判斷人正在屋內何處,AI就能正確回應像「開燈」這樣缺乏環境線索的指令。AI系統擁有的線索資訊越多,整體就越聰明。從佐克柏的心得看來,視覺辨識對於提供語言表面的指令之外的環境線索相當有幫助。

文字訊息使用得比預期多

為了能從任何地方透過手機與「賈維斯」進行溝通,佐克柏利用自家的Messenger架構(messenger.com/platform),開發賈維斯對話機器人,發送文字或語音,就會立即轉發到伺服器處理、執行命令。

出乎佐克柏意料的是,相較於語音,使用文字訊息溝通的情況比預期多得多,主因是簡訊比較不會干擾旁人,「賈維斯」傳來的訊息也可以等想看時再看。

佐克柏提到,喜歡文字通訊大於語音通訊的偏好,符合在Messenger與WhatsApp觀察到的狀況,全世界的文字訊息比語音通訊量增長更快。未來AI產品不能僅專注於語音,還需要私人訊息介面。利用像Messenger的平台,也比從頭開發新的應用軟體更好。佐克柏的經驗認為,我們未來都會與像「賈維斯」這樣的機器人溝通。

「我們的內部工具跟基礎建設做得很棒!」

佐克伯看來相當自豪於Facebook軟體基礎工程和內部工具,並強調今年透過自己親身開發AI的經驗發現,Facebook程式碼資料庫組織極有條理、容易搜尋,無論是臉部識別、語音識別、對話機器人框架或iOS開發,以及各種開源資源工具,都使「賈維斯」的開發節省非常多時間,也逐一羅列Facebook所提供的各種資源。

佐克伯考慮過開放「賈維斯」的程式碼,只是目前系統緊密綁定到自己的家庭、電器和網路配置,若將來建立更抽象一層的家庭自動化功能,也許就會釋出。

重點在於「教會AI自己學習新東西」

雖然這項挑戰將進入尾聲,佐克伯表示將會繼續改進「賈維斯」。佐克伯也提到,他的長遠目標是摸索如何教導人工智慧自行學習新技能,而不是必須教它執行特定任務。若多花一年時間在這個挑戰上,他會更聚焦在學習「學習」是如何運作的。他提到:

某種程度上,人工智慧比我們想的更近、也更遠。AI越來越接近能做到比多數人預期的更強大的事:駕駛汽車、治療疾病、發現行星、理解媒體。這些都將對世界產生巨大影響,但我們仍在找尋真正的智慧是什麼。

自然語言、臉部識別、語音識別等,其實都是相同的模式辨識技術的變體,也就是向電腦展示許多例子,以使其能準確識別,不過這些都還是專門用來解決特定問題,而不是通用的人工智慧系統。我們仍不清楚「學習」是如何運作的,以及如何建立一個可以自行學習新技能的系統。

今天佐克伯也接受媒體FastCompany獨家採訪,並公布一小段「賈維斯」智慧管家的影片。

佐克伯也宣布將在幾週內,分享他下一年度的個人挑戰。

所以,「賈維斯」的聲音聽起來怎麼樣?

可能有人還記得,前一陣子佐克伯在Facebook上問大家:賈維斯的聲音該用誰的好呢?還因此「釣出」飾演東尼·史塔克(賈維斯的主人)小羅勃·道尼(Robert Downey Jr.)來留言!因此佐克伯今天還賣了一個關子,表示明天他將會釋出賈維斯的影片,到時候大家就會知道賈維斯的聲音會是誰的了。

2016/12/21更新:佐克伯釋出賈維斯的影片,我們也知道是哪兩個人幫賈維斯配音了 XD

資料來源:馬克·佐克伯的FacebookFastCompany

往下滑看下一篇文章
從人、流程到工具:TVBS解構新聞業AI轉型方程式
從人、流程到工具:TVBS解構新聞業AI轉型方程式

在生成式 AI 驅動下,新聞產業正加速進入新一輪轉型。這股技術浪潮不僅改變了內容產製模式,也重塑了讀者獲取資訊的入口。面對這場產業變革,台灣科技媒體領導品牌TVBS 展現強勁的轉型動能,不僅積極布局 AI 應用,更憑藉創新專案獲得「nDX數位創新獎助計畫」肯定。

為加速經驗擴散並促進產業交流,日前,TVBS 攜手數位經濟暨產業發展協會(DTA)舉辦「AI in the Newsroom-TVBS轉型實戰分享」發表會,現場匯聚媒體與科技領域專業人士,從實務案例出發,深入剖析 AI 導入新聞現場的應用模式,共同見證 TVBS 如何以 AI 為核心引擎,重新定義數位時代的媒體影響力。

TVBS-1.jpg
圖/ 數位時代

從「人」出發:從超級個體到超級組織,啟動 AI 原生轉型

TVBS 集團成長長簡西村表示,早在生成式 AI 浪潮成形之初,TVBS 便已啟動轉型布局。不僅於 2023 年成立AI未來科技部,專責 AI 應用開發與轉型推進,更由董事長親自主持每週一次的 AI 策略會議,確保決策與執行節奏高度一致,並進一步盤點出「人、流程、科技(PPT)」三大轉型關鍵,逐步落實將 AI 導入各項營運環節。

從「人」的角度來看,TVBS 以 AI 提升效率與創造價值為目標,提出超級個體與超級組織的轉型藍圖。其中,超級個體指的是能善用 AI 工具的記者,例如:透過 AI 分析海量資料、自動生成初稿或經營個人品牌,透過與 AI 的分工協作,不僅提升產出效率,也讓記者得以回歸深度核實與現場採訪等核心職能。

當多個超級個體串聯,便進一步形塑出超級組織,透過 AI 全面提升團隊的數位戰力,成為 AI Native(AI原生)媒體組織。TVBS 的願景是,讓每一個議題皆能發展出專屬 AI Agent,負責資料處理與初稿生成,而人扮演總編輯角色,負責內容品質與倫理把關。如此一來,不僅能實現全天候、高頻率的內容更新,更可透過多 Agent 協作,同時產出文字、影音、Podcast 等不同形式的內容,實現一次生產、全平台分發的目標。

從「流程」出發:讓AI嵌入新聞產製,縮減 30% 作業時間

從「流程」的角度來看,AI 唯有真正嵌入新聞產製流程,才能發揮最大效益。然而,哪些環節最適合導入 AI、導入後流程該如何重塑,往往只有第一線新聞人最清楚。為此,TVBS 邀請新聞部同仁組成「文科種子」團隊,並由主管從日常工作情境出發,親自示範 AI 應用,讓記者實際感受到 AI 帶來的效率提升,進而翻轉「不好用」的既有印象,吸引更多資深同仁投入 AI 應用開發。

TVBS新聞部網路新聞中心總編輯楊致中強調,「AI不是要把新聞人變成工程師,而是要讓新聞人重新回到專業現場。」因此,這群橫跨編輯、記者、編譯等不同職能的種子成員,從使用者視角出發,與工程師並肩協作,以使用情境取代傳統規格書,讓技術團隊得以深入理解採訪流程中的真實痛點,進而開發出涵蓋多語翻譯、初稿生成、重點歸納、多稿比對、標題與內容優化等 AI 應用,整體作業時間平均縮短逾三成。同時,新聞部也與 AI 部門建立每週開會機制,持續提出痛點及回饋使用經驗,推動產品快速迭代。

TVBS-3.jpg
圖/ 數位時代

另一方面,TVBS 也連續三屆舉辦員工限定的「AI 黑客松」,各部門同仁由日常工作中的痛點出發,發想出更貼近第一線需求的 AI 解決方案,讓 AI 逐步成為組織共通的語言,不僅有效提升工作效率,也進一步形塑出 AI 驅動的創新文化。

從「科技」出發:打造混血系統 AI WIZE,讓AI真正貼近使用需求

從「工具」的角度來看,如何在滿足使用需求的同時兼顧技術快速迭代,成為關鍵課題。為此,TVBS 提出混血系統概念,由新聞人與 AI 部門協助,共同開發出專為媒體場景打造的 AI WIZE 平台。

TVBS-2.jpg
圖/ 數位時代

TVBS AI未來科技部副總監吳楨文說明,AI 技術迭代速度極快,若仍沿用傳統「使用者提需求、工程師寫程式」的開發模式,不僅溝通成本高、也難以快速及時優化,容易導致使用體驗不如預期。若是直接使用外部 AI 工具,在產出結果不穩定的情況下,使用者常常要反覆調整提示詞與修正細節,反而會增加時間成本,使 AI 應用淪為新的負擔。

為解決這樣的困境,TVBS 在開發 AI WIZE 時,結合系統化與人才混血兩大策略,由工程師在「深水區」把關系統架構、資訊安全與成本控管,而新聞人則在「淺水區」透過 AI Studio 等自然語言工具定義應用場景,並將新聞專業封裝成可重複使用的 AI Agent技能,同時透過持續回饋機制,讓 AI Agent 不斷學習與優化,使工具更貼近日常工作需求。

簡西村最後強調,人機協作不是選擇,而是必然路徑。TVBS 期望透過這場 AI 轉型,打造兼具速度、深度與可信度的新型媒體競爭力,並以自身實踐經驗為基礎,帶動台灣媒體在 AI 浪潮下強化整體產業競爭力,重新定義媒體的「真實」價值,開創新聞產業的 AI 新時代。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
AI全球100+台灣20
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓