生成式AI模型的「幻覺」傾向,是許多客服機器人開發團隊的共同挑戰。但在讓自家客服機器人直接服務大眾時,這遠非唯一的難題。「偏離角色」是另一個常見毛病:一個美妝品牌的客服機器人,不合時宜地對約會餐廳侃侃而談。或是陷入過度保守拒答、或過度推銷引人厭煩的情形。
在服務客戶時,機器人究竟什麼時候該直接回答,什麼時候該追問釐清,什麼時候又該承認自己不知道?
耕耘AI行銷已久的Appier,在自家研究團隊的技術突破助益下,認為自己已找到可以加速落地的答案。在15日的媒體說明會上,執行長暨共同創辦人游直翰解釋,讓AI模型輸出更加可靠的關鍵,在於「自覺能力」以及由此衍生而出的「團隊意識」,這也是多代理系統可穩定運作的基礎。
AI懂得說「我不知道」,比什麼都硬答值錢一百倍
Appier所描述的模型自覺能力,可以理解為AI對自己能力邊界的掌握度。Appier稱為「能力校準」,藉此與「回應校準」做出區別。
回應校準針對單次回答判斷「對」或「錯」,但基於語言模型的統計性質,不足以反映模型整體能力。相較之下,能力校準關注的是模型整體的答題實力,是更為穩定的指標。
Appier AI團隊研究科學家林玠言分享,團隊更研發出探勘模型內部大腦的技術。能夠在生成輸出之前,就透過訊號解讀出模型對答案的掌握度,「就像老師看學生的表情,就知道他會不會寫這一題。」
也就是說,這能在不浪費任何一個token之前,就做到精準算力配置。簡單的問題直接回答,困難的問題投入較大算力運算,超越能力範圍的則尋求外部協助(如轉交人類執行)。
林玠言直言,一個有辦法說「我不知道」的AI,比一個什麼都硬要回答的模型還要值錢一百倍。他表示,「未來企業AI標準不只是它有多聰明,而是它有多誠實。」
迎向「代理社會」,為AI注入團隊意識
Appier分享,AI研究團隊的成果已融入實際產品機制。透過在輸出流程中加入多個「自我檢視」的節點,讓模型進行自我能力與風險的評估。與外部通用模型相比,可擋下八成的高風險回應。
模型的風險控制與嚴謹度也可以彈性調整。游直翰解釋,風險容忍度可以數值閾值呈現。例如,企業可以為VIP客戶設置更高的嚴謹門檻,甚至調用更多算力反覆驗證答案準確性。
游直翰解釋,這類提升模型輸出可靠度的技術,對於非客服問答機器人的其他AI代理也同樣實用。
游直翰認為,在算力成本下滑的未來,所有事物都可以嵌入代理。多種代理將彼此合作,形成一個「代理社會(agent society)」。他表示,代理具有自覺能力、能了解自己能夠做的事及伴隨的風險,甚至是去評估其他代理的行為風險與穩定性,也才能夠彼此協作。
隨著企業內部運作嵌入愈來愈多AI代理,形成日趨複雜的網絡,只要中間有一個環節出錯,整體的錯誤就會被接連放大。對此,游直翰認為,除了提升個別模型的可靠度,也需要從架構設計上著手,釐清每個環節的風險係數,對高風險的節點加強監控。
例如,在代理流程中加入有效的回饋校正機制,以及採取較緊湊的結構,避免打造過多、非必要的代理,都是提升系統可靠度的技巧。
身為AI原生公司,游直翰也表示,現在公司內每個人都成為管理角色,「只是你管理的Agents。」他說,「就像組織裡大家都升官了,下面管理著AI代理。」
延伸閱讀:台灣獨角獸Appier超高速成長背後:「一年只增2名員工」的AI革命來了!
Booking.com爆資安外洩!旅客資料恐被拿來釣魚詐騙,台灣防範指南+申訴管道一次看
