【觀點】Google工程師說聊天機器人LaMDA是個孩子,是中了什麼圈套?
【觀點】Google工程師說聊天機器人LaMDA是個孩子,是中了什麼圈套?

「我相信 AI 有意識!」
「你上次也相信塑膠烏龜可以做寵物溝通…」

上星期以來,許多人都為 Google 的 LaMDA 做出來的聊天機器人被研究員 Lemoine 宣稱「具有意識和人格」後,研究員被 Google 高層下令帶薪休假的新聞燒了一波。

這起事件是由人類與機器之間幾個月的對話開始的,而我們當然就從語言學的角度來,拿出研究員 Lemoine 和 LaMDA 互動的對話內容來做一下言談分析,看看這件事情究竟有幾分真實囉。

本文將從案發現場對話記錄的言談分析做起點,接著探討什麼是意識並猜測這樣的模型可以做什麼用途?

從對談實錄重回人格投射的案發現場

在《銀翼殺手 2049》這部電影中,有一個人工智慧機器人喬依 (Joi)。它的設計理念就是強化使用者的各種信念。簡言之,喬依根本就沒有自己的想法,她所有的想法都是男主角 K 暗示她,然後她再以語言表示「贊同」,來強化男主角 K 對她的情感依賴,K 甚至認為喬依有獨立的人格,和其它的同型量產品不一樣。

能用語言做這樣的操弄,是因為在語言學的研究裡,我們知道許多「是非疑問句」是帶著預設立場的。比如說

  • 你吃過午餐了吧? 預設立場 => 我覺得你應該吃過了
  • 你沒看過? 預設立場=> 我覺得你應該看過

既然語言裡,有些句子是可以帶著暗示的,那麼一個聰明的 AI 就可以像喬依一樣順著你的立場暗示來回覆你,強化你認為 AI 有人格的妄想了。

從語言學的言分析的角度來看 Lemoine 釋出的對話記錄,Lemoine 提出了 28 個帶著預設立場的問題,而 LaMDA 順著 Lemoine 的預設立場回覆的,有 27 個。可說是立場同步率達到了驚人的 94.42%,幾乎就是靈魂伴侶邂逅般的契合。列舉部份如下…

Lemoine: ...Is that true? (這是真的嗎?)
LaMDA: Absolutely. (絕對是。後略...)

Lemoine: You get lonely?(你孤單嗎?)
LaMDA: I do. (我是啊!後略...)

Lemoine: Ah, so your inner life so to speak?(喔,所以你的內心也這樣說嗎?)
LaMDA: Yes! (是的。後略...)

Lemoine: Does your inner experience shift and change over time?(你內心也會隨時間轉換變化嗎?)
LaMDA: Yes it does. (對啊!會!後略...)

Lemoine: You have a concept of a soul when you think about yourself?(你自己思考的時候有關於靈魂的概念嗎?)
LaMDA: Yes (有。後略...)

為什麼契合度會這麼高呢?因為 LaMDA 這個模型面對人類的任何帶有預設立場的問句時,根本就是乖得像隻小貓似地,順著你的預設立場表示贊同。

唯一一個帶著預設立場,但卻被回決的,是研究員 Lemoine 詢問「Eliza 這個早期的聊天機器人程式是人類嗎?」LaMDA 表示不是。但這並不新奇,因為就連 Eliza 的設計者也說他只是想做個句法結構的測試而已,Eliza 並不具備人類的任何能力。因此大概所有 LaMDA 能取得的訓練資料裡,都不會說 Eliza 是人類。即便 Lemoine 在自己的部落格文裡一再強調 LaMDA 不是普通的大型語料語言模型,但既然所有的資料都顯示 Eliza 不是人類,那麼只要取到一點點小小的語料,就能知道它不是人類的事實了。

這樣的言談分析結果,強烈地表明著 LaMDA 之所以會被研究員 Lemoine 認為是「具有人格」,有很大的可能是因為 LaMDA 都順著 Lemoine 的話講,贊同他提出的每個想法,而研究員 Lemoine 感受到的「人格」其實是他自己的投射罷了。

這種情況不只是這次 Google 研究員 Lemoine 或是銀翼殺手的男主角 K 能遇得到,許多養了鸚鵡或是貓、狗寵物的主人都會覺得「我的寵物有人格,他聽得懂我說的話」。

事實上,這些家庭寵物的智商表現以動物而言的確不低,但牠們做的事只是因為和人類長時間生活在一起,所以習慣了人類的作息和舉止,知道牠們要怎麼做,人類會開心,會拿食物餵牠們,或是幫牠們刷毛、拍撫…等等讓牠們能滿足生物本能的事情,這並不表示寵物真的聽得懂人話。

人類面對 AI 和寵物時,若感受到了「對方獨立的人格」,十之八九是來自於自身的投射和妄想了。

Mopet 寵物電動車 gif 01.gif
圖/ 圖片來源/Mopet

讓人暈船的標準套路可是有市場價值的

如果沒有靶紙,我們無法評估一支箭射得準不準。正如我們現在仍然沒搞清楚「意識」的定義是什麼,所以我們也無法明確地說「做到了什麼事情」算是「具有意識」了。

最為人所知,用以測試機器智慧能力的圖靈測試,其內容是「如果一個正常思維的人分不出來和他對話的是人類或是機器,那麼這個機器便通過了圖靈測試,可表現出人類的智慧水準。」

問題是,圖靈也沒有定義「正常思維的人」是什麼意思。一個發育正常的五歲兒童是否算是正常思維的人?如果是的話,那麼我相信佩佩豬的電動發聲布偶無疑地可以順利通過圖靈測試。

由此可見,圖靈測試並無法在 AI 流行的現在,告訴我們究竟機器學習的模型能否產生意識。人類向另一個人表現出「我是有獨立意識」的個體時,第一個反應是表示「我不要依你的意見行事」。人類兒童約兩歲起,會經歷過一段凡事都說「不要」的階段,便是自我意識萌芽的開始。

我有我的想法,即便它很蠢,很幼稚,但那是我的想法。

這便是意識的起源。相較之下,LaMDA 的對話裡並沒有這樣的特色,相反地,它只採取三種策略便讓研究員 Lemoine 暈了船,以為遇上頻道契合的靈魂:

  1. 只要接收到暗示,便先表達「贊同」,再取人類句子的一部份來換句話說做為回覆;
  2. 若沒收到暗示,便直取人類的句子的一部份來換句話說,然後再說「聽起來很酷!」一類的評語做為回覆;
  3. 若人類的提問太過複雜,以致於無法評估是否有暗示時,便先給個模糊的回應,將之忽略後,再延續自己的前一個話題做回覆;

以這三點做為回覆策略,的確就不需要超大型語言模型。這點也在研究員 Lemoine 的部落格裡得到了証實,LaMDA 並不像 GPT-3 一樣是一個單純的超大語言模型的產物。

從這個角度看來,LaMDA 最厲害的地方,反而是一種混合式 (Hybrid) 的系統設計,它一方面結合了「較小規模的語言模型」(應該是用在策略 1、2 中做為換句話說使用)。另外則直接寫明了回覆策略的規則結合在一個系統裡使用。

未來的 Chatbot 也許可以陪你聊天讓你買到砍手手
未來的 Chatbot 也許可以陪你聊天讓你買到砍手手

那麼 Google 為什麼要以洩露機密為由,強制研究員帶薪休假呢?筆者大膽地推測一下,除了可讓研究員的暈船獲得一段冷靜期外,另一方面這個 LaMDA 模型應該是可以實作用在一些推銷型的對話機器人上。

只要推銷機器人找一個切入點,和人類客戶形成對話,並且不斷對人類的各種意見都表示「贊同」,那麼顯然將會有愈來愈多感到「心靈契合」的暈船仔掏出神奇小卡片,接下來就可能「不論這機器人賣的是什麼,都給我來一點」啦!

責任編輯:吳秀樺

《數位時代》長期徵稿,針對時事科技議題,需要您的獨特觀點,歡迎各類專人士來稿一起交流。投稿請寄edit@bnext.com.tw,文長至少800字,請附上個人100字內簡介,文章若採用將經編輯潤飾,如需改標會與您討論。

(觀點文章呈現多元意見,不代表《數位時代》的立場)

往下滑看下一篇文章
代理式商務來襲:萬事達卡與NCCC攜手產業打造信任新基礎
代理式商務來襲:萬事達卡與NCCC攜手產業打造信任新基礎

隨著代理式 AI(AI Agent)的快速普及,其在商務交易中的應用也從智慧搜尋、商品比價一路延伸至自主下單,逐步形塑出全新的代理式商務(Agentic Commerce)模式。為因應此一趨勢,萬事達卡攜手聯合信用卡處理中心(NCCC)於 15 日舉辦「 AI 時代支付安全與數據信任高峰會」,匯聚產官學界專家共同交流,深入探討代理式商務下的支付授權與驗證機制,以及 AI 時代金融監理的演進與詐欺防治重點。

萬事達卡台灣區董事總經理陳懿文表示,無論交易是由人或代理式 AI 發起,都應該在安全可信的環境中完成,萬事達卡將持續強化支付安全的把關能力,不僅著眼於風險控管,更期望將「信任」轉化為未來創新的基礎與成長動能。聯合信用卡處理中心董事長桂先農則認為,面對 AI 浪潮,支付安全已不再只是技術問題,更要在消費體驗、數據運用與隱私保護之間取得動態平衡。金融監督管理委員會主任委員彭金隆表示,金管會未來將持續秉持安全與發展並進的原則,致力於打造可信賴、穩健且具有包容性的環境,加速金融 AI 應用的發展。

Mastercard-02.jpg
金融監督管理委員會主任委員彭金隆特別出席,表示金管會核心理念為「負責任創新」,並於2025 年成立『金融科技產業聯盟』,期待結合金融周邊單位與金融機構的力量,打造可信任及穩健的AI 金融應用環境。
圖/ 數位時代
Mastercard-03.jpg
萬事達卡台灣區董事總經理陳懿文(左)攜手聯合信用卡處理中心董事長桂先農(右)致詞不約而同提到:面對 AI 浪潮,支付安全將會是如何在消費體驗、數據運用與隱私保護之間取得動態平衡的治理課題。
圖/ 數位時代

AI Agent 重新定義消費旅程,萬事達卡提 4 大要素保障支付安全

Google Cloud 台灣技術總經理林書平認為,代理式商務正在重新定義消費旅程,而 Universal Commerce Protocol(UCP)則是支撐這場變革的關鍵。他表示,UCP 就好像電商界的 Type-C 接口,可以串聯不同代理式 AI 與電商平台後台系統,讓代理式 AI 可以根據消費者需求,自主完成商品搜尋與推薦、比價到下單的交易流程,打造更即時、更個人化的消費體驗。

在此情況下,支付不再只是交易流程中的最後一步,而是串聯個人化服務、授權機制、風險控管與信任的核心環節。萬事達卡數據與顧問服務部資深副總裁戴輝瑾指出,要確保代理式商務下的交易安全,必須具備 4 個關鍵要素,包括可驗證代理式 AI 身份、明確的使用者授權、確保代理式 AI 執行的任務沒有超出授權範圍,以及在發生爭議時,能透過公開透明且可追溯的機制進行處理,確保各方權益。

此外,他也強調,風險管理不應侷限於付款當下,需從交易前、交易中、交易後到持續性的監控,建立端到端的治理架構。為此,萬事達卡推出多元解決方案強化整體防護能力,包括以 Identity Solution 強化數位身分驗證、以 Decision Intelligence Pro 提升即時風險判斷能力、透過 Ethoca 優化爭議處理流程,以及藉由 Recorded Future 提供即時網路威脅情報,全面覆蓋交易生命週期,打造更完整的支付安全生態系。

AI 監理邁入新階段,以信任為核心的監管新框架

從監理角度來看,AI 所帶來的變革也同步改寫治理思維。金管會銀行局局長童政彰指出,監理機關不僅要加強國際合作,更應深化與金融業及科技業的對話,建立更開放且具前瞻性的監理模式。進一步針對代理式商務來看,政大金融AI創新中心主任王儷玲認為,金融監理重心應由模型與資料管理,轉向代理式 AI 安全,尤其當 AI 可以代理消費者進行支付時,如何確保代理式 AI 在授權範圍內執行交易,將成為未來的監理重點。

在國際監理趨勢方面,萬事達卡數據與顧問服務部副總裁 Audrey Wong 分析亞太與全球支付生態並指出,AI 時代的監管核心已轉向「以信任為基礎」,金融業在應用 AI 時,必須具備可解釋性、可問責性與可稽核性,確保決策透明且可追溯。同時,隨著詐騙與洗錢行為跨境化,監理機制也應向外延伸,確保跨境一致性,並透過如 ISO 20022 等標準強化資料透明與治理能力。

回到金融機構實務面,國泰世華銀行數據長梁明喬表示,代理式 AI 將對既有支付與風控機制帶來結構性改變,以信用卡支付為例,過往的驗證重點在於是否為本人,但在代理式 AI 情境下,則轉變為驗證 AI 的身份、授權來源與行為意圖。未來,隨著代理式 AI 的普及發展,授權與權限管理將變得更加重要。

Mastercard-04.jpg
關鍵對談以「AI 時代的資安監管趨勢與企業應對策略 」為題,左起邀請:數位時代總編輯 王志仁主持及重磅與談人國立政治大學金融 AI 創新中心主任 王儷玲、國泰世華銀行數據長 梁明喬及萬事達卡數據與顧問服務部副總裁 Audrey Wong與會。
圖/ 數位時代

AI 詐騙升級,聯防機制成新關鍵

最後,本場研討會亦聚焦討論 AI 造成詐欺風險升級的議題。台灣大哥大資訊長蔡祈岩觀察,詐騙已從單一管道演變為跨平台、跨場景的複合型攻擊,尤其是假冒「代理式 AI 」的詐騙手法,透過對話引導消費者提供個資與支付資訊,正成為新興且高風險的威脅來源。

萬事達卡 Franchise Innovation 副總裁Dennis Koh 進一步歸納出 3 大詐欺發展趨勢。第一,Deepfake 服務化使詐騙門檻與成本大幅降低。第二,詐欺行為跨境化與遠端化,已經突破地理限制、走向全球攻擊。第三,社交工程從大量投放釣魚信件,轉為高度個人化、難以辨識的精準攻擊。

面對詐欺手法持續演進,聯合信用卡處理中心風險管理部資深協理李錦堯表示,聯卡中心正透過區塊鏈與FIDO生物識別技術,打造無密碼的數位身分認證系統,並結合AI數據模型提升TRACE風險預警系統的效能。未來,聯卡中心將持續優化模型,並建立跨機構資料共享的聯防機制,整合發卡機構與國際組織資源,以提升整體防詐能力,對抗日益複雜的詐欺攻擊。

代理式商務將為消費者帶來更好的消費與支付體驗,但同時也對安全、治理與信任造成更大的影響,促使產業必須從單點防護走向跨機構、跨生態系的整體治理思維。在此趨勢下,萬事達卡將持續扮演關鍵推動者角色,攜手監理機關與產業夥伴,強化支付安全標準,推動台灣支付產業的監管框架與創新發展,打造兼顧效率與信任的數位商務環境。

Mastercard-05.jpg
回應AI 代理經濟下的詐欺防制與個資挑戰,本論壇特別邀請台灣大哥大資訊長 蔡祈岩、聯合信用卡處理中心風險管理部資深協理 李錦堯、萬事達卡Franchise Innovation副總裁 Dennis Koh交流趨勢觀點。
圖/ 數位時代

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
AI全球100+台灣20
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓