2016年度挑戰完成!馬克·佐克伯公開100小時打造的AI管家「賈維斯」
2016年度挑戰完成!馬克·佐克伯公開100小時打造的AI管家「賈維斯」
2016.12.20 | Facebook

Facebook創辦人馬克·佐克伯(Mark Zuckerberg)今日發表一篇網誌,公布2016年自我挑戰的成果。

我2016年的個人挑戰是,建造一套簡單的人工智慧管家--像《鋼鐵人》裡的「賈維斯」(Jarvis)。

100多小時打造「賈維斯」

佐克伯稱今年花了大約一百多個小時,利用閒暇時間,開發了「賈維斯」系統,現在已經建立好簡單的AI,可透過手機、電腦與「賈維斯」溝通,操控家中的電器、音樂及保全。「賈維斯」能用文字訊息或口語溝通聲控開關燈、依個人喜好播放音樂、自動辨識門口的訪客並發表通知、觀察女兒在家的動態,並在起床時自動播放中文課程等。

「賈維斯」智慧管家使用的人工智慧技術,包括自然語言處理、語音識別、物體及臉部辨識以及強化學習,以Python、PHP、Objective C語言編寫。

佐克伯於網誌中表示,原本預期透過這項挑戰,學習AI技術與工具,但過程中同時也更了解家庭自動化的概況,及親身接觸Facebook工程師使用的各種內部技術工具。文中他也分別就家庭系統連接、自然語言處理、視覺辨識、訊息機器人等方面,提出一些實作心得、目前限制與未來趨勢。

家庭物聯網目前的困難

佐克柏文章中提到,實作時由於不同設備系統都使用不同語言與協定,要先寫程式處理,才能著手建構AI。此外,目前多數電器也還沒有連網。要使「賈維斯」這樣的智慧管家能多方應用,需要更多設備連接,業界也需要開發通用的API與標準,使設備間能相互通訊。

自然語言的複雜性

佐克柏讓「賈維斯」理解自然口語有兩步驟,首先要讓AI能以文字訊息進行溝通;接著利用語音轉文字技術,就能直接用語音溝通。

不過,人類語言其實相當複雜。除了利用關鍵字理解指令,佐克柏很快發現,AI還需進一步學習同義詞才能理解(如「家人房」(family room)和「客廳」(living room)兩個詞,在佐克柏家是指同樣的空間)。

對任何AI來說,環境脈絡線索也很重要。同樣一句「開燈」或「打開我的辦公室的空調」,由佐克柏或由太太Priscilla Chan說出口,可能是指完全不同的空間。

自然語言在播放音樂方面也很複雜,因為系統要處理大量關鍵字,指令範圍也更大。佐克柏舉了個有趣的例子:同樣是「play X」(「播放X」)的指令,「play someone like you」、「play someone like Adele」、「play Adele」,看似微小的差異,意思卻完全不同,分別是播放Adele的「someone like you」這首歌、請系統建議與Adele類似的音樂、以及建立一個Adele的歌曲列表來播放。透過正反饋系統,AI能夠學習區別差異。

此外,佐克柏也提到,雖然語音識別系統近來已改進,但仍然不足以理解多人對話的語音。語音識別依賴聽與預測,所以結構化的語音仍比非結構化的對話更容易理解。

視覺與臉部辨識的應用

佐克柏在自家門口安裝數架攝影機,並建立簡單的伺服器,進行人臉偵測與辨識處理。識別身分後,會檢查列表,確認是不是預期的訪客,決定是否放行,並通知佐克柏。

電腦視覺也可以拿來判斷女兒何時醒來,就可以開始播放音樂或華語課程;也可以判斷人正在屋內何處,AI就能正確回應像「開燈」這樣缺乏環境線索的指令。AI系統擁有的線索資訊越多,整體就越聰明。從佐克柏的心得看來,視覺辨識對於提供語言表面的指令之外的環境線索相當有幫助。

文字訊息使用得比預期多

為了能從任何地方透過手機與「賈維斯」進行溝通,佐克柏利用自家的Messenger架構(messenger.com/platform),開發賈維斯對話機器人,發送文字或語音,就會立即轉發到伺服器處理、執行命令。

出乎佐克柏意料的是,相較於語音,使用文字訊息溝通的情況比預期多得多,主因是簡訊比較不會干擾旁人,「賈維斯」傳來的訊息也可以等想看時再看。

佐克柏提到,喜歡文字通訊大於語音通訊的偏好,符合在Messenger與WhatsApp觀察到的狀況,全世界的文字訊息比語音通訊量增長更快。未來AI產品不能僅專注於語音,還需要私人訊息介面。利用像Messenger的平台,也比從頭開發新的應用軟體更好。佐克柏的經驗認為,我們未來都會與像「賈維斯」這樣的機器人溝通。

「我們的內部工具跟基礎建設做得很棒!」

佐克伯看來相當自豪於Facebook軟體基礎工程和內部工具,並強調今年透過自己親身開發AI的經驗發現,Facebook程式碼資料庫組織極有條理、容易搜尋,無論是臉部識別、語音識別、對話機器人框架或iOS開發,以及各種開源資源工具,都使「賈維斯」的開發節省非常多時間,也逐一羅列Facebook所提供的各種資源。

佐克伯考慮過開放「賈維斯」的程式碼,只是目前系統緊密綁定到自己的家庭、電器和網路配置,若將來建立更抽象一層的家庭自動化功能,也許就會釋出。

重點在於「教會AI自己學習新東西」

雖然這項挑戰將進入尾聲,佐克伯表示將會繼續改進「賈維斯」。佐克伯也提到,他的長遠目標是摸索如何教導人工智慧自行學習新技能,而不是必須教它執行特定任務。若多花一年時間在這個挑戰上,他會更聚焦在學習「學習」是如何運作的。他提到:

某種程度上,人工智慧比我們想的更近、也更遠。AI越來越接近能做到比多數人預期的更強大的事:駕駛汽車、治療疾病、發現行星、理解媒體。這些都將對世界產生巨大影響,但我們仍在找尋真正的智慧是什麼。

自然語言、臉部識別、語音識別等,其實都是相同的模式辨識技術的變體,也就是向電腦展示許多例子,以使其能準確識別,不過這些都還是專門用來解決特定問題,而不是通用的人工智慧系統。我們仍不清楚「學習」是如何運作的,以及如何建立一個可以自行學習新技能的系統。

今天佐克伯也接受媒體FastCompany獨家採訪,並公布一小段「賈維斯」智慧管家的影片。

佐克伯也宣布將在幾週內,分享他下一年度的個人挑戰。

所以,「賈維斯」的聲音聽起來怎麼樣?

可能有人還記得,前一陣子佐克伯在Facebook上問大家:賈維斯的聲音該用誰的好呢?還因此「釣出」飾演東尼·史塔克(賈維斯的主人)小羅勃·道尼(Robert Downey Jr.)來留言!因此佐克伯今天還賣了一個關子,表示明天他將會釋出賈維斯的影片,到時候大家就會知道賈維斯的聲音會是誰的了。

2016/12/21更新:佐克伯釋出賈維斯的影片,我們也知道是哪兩個人幫賈維斯配音了 XD

資料來源:馬克·佐克伯的FacebookFastCompany

往下滑看下一篇文章
AI 智慧代理人時代來臨!三大導入階段, AI 落地企業不卡關
AI 智慧代理人時代來臨!三大導入階段, AI 落地企業不卡關

生成式 AI 帶動企業數位轉型浪潮持續升溫,各界不再滿足單一任務型的 AI 應用,而是期盼 AI 能真正成為具備主動決策與多工能力的「智慧代理人」(Agentic AI),在最少人為干預的情況下,自主推進工作流程、完成複雜任務。

但企業導入AI並非一蹴可幾,而是需要對AI有正確認識,並制訂循序漸進的導入流程,才能真正發揮AI功效。在2025台灣人工智慧年會中,cacaFly 聖洋科技技術副總吳振和提出三大導入關鍵階段,深入剖析企業如何從概念驗證(PoC)階段,逐步推進到實際上線(Production),並分享實務經驗與觀察。

延伸閱讀:生成式AI可以怎麼用?cacaFly現身說法,助企業應用GCP服務智慧轉型

解鎖 Agentic AI,企業邁向多任務智慧代理

「很多公司會問,One AI 要做什麼事?但實際上,若要讓 AI 回答公司內部政策或新法條的相關問題,僅靠基礎模型並不足夠。」吳振和指出,要讓 AI 真正成為能「做事」的智慧代理人,前提是它必須理解企業內部的脈絡與知識,並即時掌握外部變動的資訊。

企業必須先釐清內部規範是否與最新法規相符,這意味著系統必須具備持續爬取與解析最新資料的能力。為此,企業必須先截取與整理內容,再建構成專屬的知識庫(Knowledge Base),確保資料品質達到可用標準後,再透過檢索增強生成(Retrieval-Augmented Generation, RAG)技術,使 AI 能夠即時動態查詢並生成符合企業語境的回答。

延伸閱讀:從資料清洗到 RAG,大型語言模型的必需品,做出專屬企業的 AI 知識庫!

吳振和強調,這是一個動態循環的過程:從資料蒐集、品質控管、知識庫建構到生成應用,每一環節都息息相關,任何一處鬆動都會影響最終產出的準確性與可信度。

cacaFly 聖洋科技技術副總吳振和
圖/ cacaFly

破除「一次到位」迷思,從驗證到落地的三大關鍵階段

許多企業對 AI 寄予厚望,因此常將 PoC 視為年度計畫的重點,希望能「一次到位」做出具體成果。但吳振和提醒,若缺乏清楚的系統工程思維,PoC 容易淪為「概念展示」,難以真正走入組織的日常營運。

他將導入 Agentic 系統工程的歷程,分為三個關鍵階段:

1.第一階段:可行性評估(Feasibility Study)
企業必須在投入資源前,先明確界定「最需要被 AI 解決的關鍵問題」是什麼,並進一步設計可量化的驗證指標。這不僅包括評估技術實作的可行性,更要從商業目標出發,釐清導入 AI 的具體使用情境、預期成效與風險邊界,如此才能確保後續模型選型與資料蒐集方向正確對齊業務需求。

2.第二階段:系統設計與驗證(Design & PoC)
在確定導入方向後,必須規劃清楚資料蒐集與整理流程,確保知識庫的內容具備正確性、完整性與時效性。吳振和特別強調,這個階段不能只追求展示效果,而應以「產品化思維」來構築 PoC,使其具備可擴充性、可維護性及安全性,才能為後續上線打下基礎。

3.第三階段:產品化與營運(Production & Operation)
當 PoC 驗證完成後,進入正式上線階段,挑戰也隨之而來。除了需要整合企業內部系統與流程,還必須建立持續監控與維運機制,確保模型表現隨時間演進不會劣化,並能快速回應法規變動或資料更新的需求。吳振和指出,這往往是最容易被低估、但也是最考驗企業組織能力的關鍵環節。

cacaFly 聖洋科技技術副總吳振和
圖/ cacaFly

建立模型優化根基,打造高品質的黃金資料集

吳振和特別強調,要讓 Agentic 系統工程真正發揮效益,企業必須先建立一套高品質的「黃金資料集」(Golden Dataset),作為模型評估與優化根基。他指出,黃金資料集的價值在於能為模型選擇與前測提供客觀依據,讓團隊能針對不同任務挑選最適合的模型,避免導入初期就誤踩方向。

同時,黃金資料集也能協助團隊辨識模型的常見錯誤與脆弱點,進而快速回應「模型飄移」(Model Drift)的風險。吳振和說明,所謂模型飄移,指的是即使模型本身未經改版,效能也可能隨著環境與資料變動而突然下降,導致原本表現良好的模型出現偏差。透過持續比對模型預測與黃金資料集結果,團隊才能即時察覺效能衰退,並進行迭代更新,確保系統長期穩定運作。

從小規模應用起步,漸進擴展至核心業務

吳振和分享,在實際輔導企業導入 AI 的經驗中,最常見的挑戰來自於「期待落差」。許多企業誤認為概念驗證(PoC)階段即可呈現完整的產品原型,然而實際情況顯示,若企業未能建立完善的資料架構與流程基礎設施,即使短期內展現亮眼成效,也難以確保長期營運的穩定性與可持續性。

也因此他建議企業在規劃 AI 導入時,應採取漸進式策略,從小規模應用場景著手,逐步擴展至核心業務領域。企業應將 PoC 定位為整體產品開發生命週期的重要環節,而非獨立的一次性專案。

AI 的導入不僅是一場技術升級,更是企業組織文化與決策流程的轉型工程。唯有從資料治理、流程優化到人才培訓同步布局,才能確保 AI 能在企業內部真正「落地生根」,創造長期商業價值,成為真正的智慧代理人。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
一次搞懂Vibe Coding
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓