OpenAI日前發布一份名為「GPT-4o System Card」的文件，概述公司推出GPT-4o之前進行的安全措施和風險評估，並指出該模型語音模式，可能讓用戶產生情感依戀。
OpenAI於今年5月釋出了一個更貼近人類說話方式的GPT-4o模型，在GPT-4o推出之前，使用語音模式與ChatGPT進行對話時，需要經過三個獨立模型處理，分別負責將語音轉換為文字、處理文字並生成回應，最後將生成的文字轉回語音。
經過多重轉換後，可能會遺失一些重要訊息，且無法直接觀察語氣、區分多個說話者或背景噪音等，也無法生成表達情感的聲音。
而GPT-4o不同，它能同時處理文字、視覺和聲音三種不同資訊的輸入和輸出，不再需要分開的模型來轉換和處理數據。 因此，GPT-4o更能有效捕捉和處理複雜訊息，偵測語氣並表達情感。
GPT-4o System Card這份文件警告， 這樣高度擬人化的聲音和語調，可能加劇用戶對AI的情感依賴 ，讓部分用戶在使用語音模式時對AI產生「人類般」的信任感，甚至影響他們與其他人之間的社交關係。
OpenAI研究人員在測試中發現，一些用戶在與模型互動時會表現出情感聯繫跡象。例如使用像「這是我們最後一天在一起」這樣的話語，顯示出對AI的深厚情感。
不過，根據外媒《Wired》報導，OpenAI應對策略主管華金基尼奧內羅・坎德拉（Joaquin Quiñonero Candela）表示，GPT-4o所展示的情感效應在某些情況下可能是正面的，比如它能對孤獨者或需要練習社交互動的人產生幫助。
GPT-4o System Card指出，GPT-4o的風險等級為「中等」。該等級會根據四個評分類別，包含「網路安全」、「生物威脅」、「說服能力」以及「模型自主性」當中，風險最高的一項來擬定，除了「說服能力」外，其餘類別的風險均被評估為低風險。
文件中說明，文字模式略達中等風險標準，研究人員將由AI生成的內容與由專業人類撰寫的文章進行比較，發現GPT-4o的說服力並沒有超過人類撰寫的內容，但在進行測試的12個案例中，有三個例子顯示GPT-4o的說服力，超過了人類撰寫的文章。
也就是說， 雖然GPT-4o在大多數情況下，其說服能力不如人類，但不完全排除在某些特定情況下，它能更有效地影響參與者意見。
OpenAI發布這些研究成果，希望能讓風險更透明地呈現給用戶，但也有業者認為，OpenAI仍有改進空間。AI開源社群平台Hugging Face的應用政策研究員露西艾梅．卡菲（Lucie-Aimée Kaffee）就指出，GPT-4o這份文件中並未詳細說明模型的訓練數據或這些數據的所有權問題。
另外，麻省理工學院研究AI風險評估的教授尼爾・湯普森（Neil Thompson）則表示，內部審查只是確保AI安全的第一步，許多風險只有在AI被實際應用後才會真正顯現。
本文授權轉載自：Web3+
