2016年度挑戰完成!馬克·佐克伯公開100小時打造的AI管家「賈維斯」
2016年度挑戰完成!馬克·佐克伯公開100小時打造的AI管家「賈維斯」
2016.12.20 | Facebook

Facebook創辦人馬克·佐克伯(Mark Zuckerberg)今日發表一篇網誌,公布2016年自我挑戰的成果。

我2016年的個人挑戰是,建造一套簡單的人工智慧管家--像《鋼鐵人》裡的「賈維斯」(Jarvis)。

100多小時打造「賈維斯」

佐克伯稱今年花了大約一百多個小時,利用閒暇時間,開發了「賈維斯」系統,現在已經建立好簡單的AI,可透過手機、電腦與「賈維斯」溝通,操控家中的電器、音樂及保全。「賈維斯」能用文字訊息或口語溝通聲控開關燈、依個人喜好播放音樂、自動辨識門口的訪客並發表通知、觀察女兒在家的動態,並在起床時自動播放中文課程等。

「賈維斯」智慧管家使用的人工智慧技術,包括自然語言處理、語音識別、物體及臉部辨識以及強化學習,以Python、PHP、Objective C語言編寫。

佐克伯於網誌中表示,原本預期透過這項挑戰,學習AI技術與工具,但過程中同時也更了解家庭自動化的概況,及親身接觸Facebook工程師使用的各種內部技術工具。文中他也分別就家庭系統連接、自然語言處理、視覺辨識、訊息機器人等方面,提出一些實作心得、目前限制與未來趨勢。

家庭物聯網目前的困難

佐克柏文章中提到,實作時由於不同設備系統都使用不同語言與協定,要先寫程式處理,才能著手建構AI。此外,目前多數電器也還沒有連網。要使「賈維斯」這樣的智慧管家能多方應用,需要更多設備連接,業界也需要開發通用的API與標準,使設備間能相互通訊。

自然語言的複雜性

佐克柏讓「賈維斯」理解自然口語有兩步驟,首先要讓AI能以文字訊息進行溝通;接著利用語音轉文字技術,就能直接用語音溝通。

不過,人類語言其實相當複雜。除了利用關鍵字理解指令,佐克柏很快發現,AI還需進一步學習同義詞才能理解(如「家人房」(family room)和「客廳」(living room)兩個詞,在佐克柏家是指同樣的空間)。

對任何AI來說,環境脈絡線索也很重要。同樣一句「開燈」或「打開我的辦公室的空調」,由佐克柏或由太太Priscilla Chan說出口,可能是指完全不同的空間。

自然語言在播放音樂方面也很複雜,因為系統要處理大量關鍵字,指令範圍也更大。佐克柏舉了個有趣的例子:同樣是「play X」(「播放X」)的指令,「play someone like you」、「play someone like Adele」、「play Adele」,看似微小的差異,意思卻完全不同,分別是播放Adele的「someone like you」這首歌、請系統建議與Adele類似的音樂、以及建立一個Adele的歌曲列表來播放。透過正反饋系統,AI能夠學習區別差異。

此外,佐克柏也提到,雖然語音識別系統近來已改進,但仍然不足以理解多人對話的語音。語音識別依賴聽與預測,所以結構化的語音仍比非結構化的對話更容易理解。

視覺與臉部辨識的應用

佐克柏在自家門口安裝數架攝影機,並建立簡單的伺服器,進行人臉偵測與辨識處理。識別身分後,會檢查列表,確認是不是預期的訪客,決定是否放行,並通知佐克柏。

電腦視覺也可以拿來判斷女兒何時醒來,就可以開始播放音樂或華語課程;也可以判斷人正在屋內何處,AI就能正確回應像「開燈」這樣缺乏環境線索的指令。AI系統擁有的線索資訊越多,整體就越聰明。從佐克柏的心得看來,視覺辨識對於提供語言表面的指令之外的環境線索相當有幫助。

文字訊息使用得比預期多

為了能從任何地方透過手機與「賈維斯」進行溝通,佐克柏利用自家的Messenger架構(messenger.com/platform),開發賈維斯對話機器人,發送文字或語音,就會立即轉發到伺服器處理、執行命令。

出乎佐克柏意料的是,相較於語音,使用文字訊息溝通的情況比預期多得多,主因是簡訊比較不會干擾旁人,「賈維斯」傳來的訊息也可以等想看時再看。

佐克柏提到,喜歡文字通訊大於語音通訊的偏好,符合在Messenger與WhatsApp觀察到的狀況,全世界的文字訊息比語音通訊量增長更快。未來AI產品不能僅專注於語音,還需要私人訊息介面。利用像Messenger的平台,也比從頭開發新的應用軟體更好。佐克柏的經驗認為,我們未來都會與像「賈維斯」這樣的機器人溝通。

「我們的內部工具跟基礎建設做得很棒!」

佐克伯看來相當自豪於Facebook軟體基礎工程和內部工具,並強調今年透過自己親身開發AI的經驗發現,Facebook程式碼資料庫組織極有條理、容易搜尋,無論是臉部識別、語音識別、對話機器人框架或iOS開發,以及各種開源資源工具,都使「賈維斯」的開發節省非常多時間,也逐一羅列Facebook所提供的各種資源。

佐克伯考慮過開放「賈維斯」的程式碼,只是目前系統緊密綁定到自己的家庭、電器和網路配置,若將來建立更抽象一層的家庭自動化功能,也許就會釋出。

重點在於「教會AI自己學習新東西」

雖然這項挑戰將進入尾聲,佐克伯表示將會繼續改進「賈維斯」。佐克伯也提到,他的長遠目標是摸索如何教導人工智慧自行學習新技能,而不是必須教它執行特定任務。若多花一年時間在這個挑戰上,他會更聚焦在學習「學習」是如何運作的。他提到:

某種程度上,人工智慧比我們想的更近、也更遠。AI越來越接近能做到比多數人預期的更強大的事:駕駛汽車、治療疾病、發現行星、理解媒體。這些都將對世界產生巨大影響,但我們仍在找尋真正的智慧是什麼。

自然語言、臉部識別、語音識別等,其實都是相同的模式辨識技術的變體,也就是向電腦展示許多例子,以使其能準確識別,不過這些都還是專門用來解決特定問題,而不是通用的人工智慧系統。我們仍不清楚「學習」是如何運作的,以及如何建立一個可以自行學習新技能的系統。

今天佐克伯也接受媒體FastCompany獨家採訪,並公布一小段「賈維斯」智慧管家的影片。

佐克伯也宣布將在幾週內,分享他下一年度的個人挑戰。

所以,「賈維斯」的聲音聽起來怎麼樣?

可能有人還記得,前一陣子佐克伯在Facebook上問大家:賈維斯的聲音該用誰的好呢?還因此「釣出」飾演東尼·史塔克(賈維斯的主人)小羅勃·道尼(Robert Downey Jr.)來留言!因此佐克伯今天還賣了一個關子,表示明天他將會釋出賈維斯的影片,到時候大家就會知道賈維斯的聲音會是誰的了。

2016/12/21更新:佐克伯釋出賈維斯的影片,我們也知道是哪兩個人幫賈維斯配音了 XD

資料來源:馬克·佐克伯的FacebookFastCompany

往下滑看下一篇文章
從黑客松到理賠第一線,富邦人壽如何讓 AI 從創新提案變成工作夥伴?
從黑客松到理賠第一線,富邦人壽如何讓 AI 從創新提案變成工作夥伴?

當許多企業還在討論 AI 能做什麼,富邦人壽更關注:AI 如何被第一線同仁使用?而這也是「理賠智慧助理」能從黑客松發想、走進理賠現場,成為真實工作夥伴的原因。

為什麼富邦人壽會選擇從最複雜、也最不易標準化的環節–理賠–切入、嘗試將AI從「回答問題的工具」轉變成進入核心營運流程的「決策輔助夥伴」?

保險理賠為何難以AI化?答案藏在大量非結構化資訊裡

相較於客服問答或行政流程,理賠工作最大的挑戰在於資訊高度分散且缺乏標準格式:從診斷證明、病理報告、手術紀錄到醫療收據,每份文件不同醫院格式都不同,內容還充滿專業醫療術語;理賠人員不僅必須理解文件內容,還需要同步比對保單條款、法規要求以及醫學知識,才能做出適當判斷。

更複雜的是,就算是相同疾病或手術名稱,不同案件背景也可能導致不同理賠結果,因此,理賠長期被視為高度依賴專業經驗與人工判斷的工作,很難透過傳統自動化工具處理。

近年來,隨著理賠案件量持續增加、醫療技術快速演進,以及新舊世代交替帶來的人才培育壓力,如何兼顧理賠品質、作業效率與知識傳承,成為刻不容緩的議題。

富邦人壽開始思考:如果AI無法取代專業判斷,是否能先協助理賠人員更快掌握資訊、縮短搜尋時間,讓專業人才把時間投入在更高價值的分析與決策工作?這個想法在富邦集團導入微軟Copilot Studio並舉辦黑客松活動後獲得實踐機會,理賠團隊將構想轉化為可驗證的AI提案,並在主管支持與跨部門合作下,於2026年1月正式導入理賠現場。

「黑客松讓我們有機會快速驗證想法,也讓AI應用從概念走向實際場景。」富邦人壽理賠部資深襄理郭乃瑀如是說道。

數位時代為此特別專訪富邦人壽黑客松獲獎團隊「ClaimAIngels」的成員,深入了解這項 AI 專案如何從創新提案一路走進理賠第一線,成為同仁日常工作的決策輔助夥伴。

富邦人壽
富邦人壽理賠智慧助理透過黑客松加速落地!數位時代專訪團隊成員郭乃瑀 (左上)、 王羽藍(左下)、陳子聆(右上)、林庭樂(右下),分享過程與收穫。
圖/ 數位時代

AI成功落地的關鍵,不只是模型,還有資料與流程重建

從創意發想到實際上線,最大的挑戰不是技術,而是如何讓AI真正符合第一線需求。

富邦人壽理賠部資深襄理林庭樂指出,團隊一開始便深入訪談理賠同仁,發現大家真正需要的並不是AI幫忙做決定,而是協助整理資訊,因此將理賠智慧助理專案聚焦於三大領域:手術等級建議、病理報告判讀輔助,以及國外醫療文件翻譯與摘要,目標是協助同仁降低資料蒐集與查詢時間,讓理賠同仁可以快速掌握案件重點。

但要做到這一步,必須先建立可信任的資料基礎。

由於醫療資料來源眾多且格式不一,團隊投入大量時間整理歷史案件、建立醫療名詞對應關係、標註資料來源與判斷依據,並透過跨部門討論及醫師顧問協作,逐步建立一致的判讀標準。林庭樂表示:「這項工作看似基礎,卻是AI能否提供可靠建議的關鍵,更重要的是,它讓過去散落在資深同仁腦中的經驗知識,逐漸轉化為可被組織保存與運用的數位資產。」

富邦人壽理賠部專員陳子聆便感受到明顯改變。她說:「過去遇到新的手術名稱,往往需要花費一到兩個小時查閱條款、搜尋歷史案例並向資深同仁請教,現在,透過理賠智慧助理協助,資料搜尋時間縮短50%以上,能將更多心力放在案件分析與專業判斷上。」

理賠部理賠審核科資深襄理王羽藍則形容,理賠智慧助理更像是一位隨身秘書。她說:「它會先幫我們整理案件重點,也能提醒是否遺漏重要資訊。無論是判讀國內外醫療文件、核對醫療收據,或分析病理報告內容,都能快速提供參考依據,讓我們把時間投入更重要的專業決策。」

除了資料基礎建設,金融業導入 AI 的另一個關鍵挑戰是風險與合規。

因應金融監理要求以及個資保護需求,團隊在設計理賠智慧助理時建立多層防護機制與使用護欄,並持續優化提示詞設計,以降低AI幻覺、資料外洩與誤判風險,確保AI始終在可控範圍內運作。

不過,對富邦人壽而言,上線並不代表結束,而是優化的開始。

團隊發現,理賠智慧助理初期使用率表現亮眼,但隨著時間推移逐漸下降,為了找出原因,團隊同仁與第一線理賠同仁召開多場討論會議,讓其了解,生成式 AI 並非一次建置完成就能長期發揮效益,必須持續蒐集使用回饋、改善建議,進而調整功能設計。

郭乃瑀表示:「根據同仁回饋,團隊目前正規劃新增實支實付手術給付比例分析等功能,目標是讓AI更貼近實際工作流程、滿足使用者需求。」

從單一專案到組織能力,理賠智慧助理帶來的真正改變

隨著理賠智慧助理逐步成為理賠同仁的日常工作夥伴,其帶來的影響也不再侷限於效率提升,而是開始擴散至組織文化與創新模式的改變。

郭乃瑀表示,過去AI專案多半由資訊部門主導,但這次經驗讓大家發現,真正了解痛點的人其實是第一線同仁,因為只有其最清楚哪些流程最耗時、哪些資訊最難取得,以及哪些環節最適合導入AI。「隨著理賠智慧助理成果逐漸顯現,愈來愈多部門開始主動詢問專案推動經驗,如資料整理、風險控管、流程設計與使用者導入等做法,加速 AI 創新在組織內部的擴散與落地。」

對富邦人壽而言,理賠智慧助理並不只是單一 AI 工具,而是一次工作方式與文化的改變:從第一線提出需求、跨部門共同打造,到持續優化與回饋機制,AI 不再只是科技部門的工具,而逐漸成為工作現場的一部分,也讓數位轉型成為一種持續發生的創新能力。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
代理式商務連動百兆商機
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓