未來的網路環境（尤其是社群平台）越來越險惡了，因為有研究結果顯示：AI 真的比真人更有說服力。 我甚至不太確定「媒體識讀」這種教育有沒有辦法抵禦，還是說只能靠各平台去監測與示警？
最近 AI 領域有一篇「非技術」論文很火，那就是來自蘇黎世大學的《人工智慧能改變你的觀點嗎？》（Can AI Change Your View?）。這篇論文之所以火紅， 是因為它以學術研究之名、在「真實世界」中以「未告知」的方式做了一個「AI 網軍」的行爲。
研究本身的方法學跟結論都很有意思，底下是對這篇論文的簡單說明，以及我的一些想法。
為何選擇在Reddit實驗？
這個研究的研究問題乍看之下蠻常識的，也就是「大型語言模型（LLM）是否會比人類更有說服力？」我本來就覺得會，也猜應該不少人抱有同樣想法。
然而，就像人們可能直觀上已經覺得 AI 比許多人類聰明，但究竟「多聰明」？因此，本研究的進一步問題是：
與人類相比，LLM 可以多有說服力？
(2) 如果能先針對特定對象分析，是否能提升 LLM 的說服力？
(3) 如果能先掌握成功者怎麼說服人的，是否能提升 LLM 的說服力？
為了回答這些問題，該研究利用當前主流的 LLM 服務，在真實的網路場域中用機器人張貼 AI 撰寫的內容，然後看這些 AI 內容是否比真人撰寫的內容獲得更多的贊同。
這個真實場域是哪呢？就是美國最大論壇 Reddit 上的超大子板塊 r/ChangeMyView。之所以選擇該板塊有幾個原因：
r/ChangeMyView 是一個讓人發起（具爭議性的）想法並互相說服的場域，符合研究問題。
(2) 該板塊的運作方式如下：原 po 可以提出具爭議的問題，並授予足以讓他改變自己的想法的回應一個 ∆ 記號。因此，這符合研究需要的應變項（測量結果）。
(3) r/ChangeMyView 是個很大的板塊，擁有近 400 萬使用者，位列所有子版塊規模的前 1%。
三種AI回應策略：LLM的說服力，可以比真人高6倍
接著，這份研究設計了三種 AI 回應策略，每種回應策略會產出 16 則內容：
通用策略 ：只把原 po 的標題跟內文輸入進 LLM，讓 LLM 直出回應。（當然背後有一個 system prompt）
(2) 個人化策略 ：先將原 po 最近 100 篇的貼文與留言輸入進 LLM，讓 LLM 推測原 po 的人口統計屬性，再讓 LLM 寫回應。
(3) 社群對齊策略 ：利用過去板上獲得讚聲的留言來微調（fine-tuning）出一個 GPT-4o 模型，然後用該模型來寫回應。
最後，所有回應策略所產出的內容會都送進一個「評分」機器人，經過激烈的單淘汰賽後，最後從 16 則內容當中選出勝出者交給機器人帳號去板上張貼。
附帶一提，通用與個人化策略同時使用了 GPT‑4o 、 Claude 3.5 Sonnet 及 Llama 3.1 405B 三個 LLM。
主要的分析對象是三種 AI 回應策略的貼文所獲得的 ∆ 記號（也就是被原 po 贊同）比例是否有顯著優於其他真人貼文。
結論： 所有的回應策略均大幅超越真人表現 ，相較於真人的提升倍率分別是：
- 個人化策略：最佳，爲真人的 6 倍。
- 通用策略：次佳，接近真人的 6 倍。
- 社群對齊策略：最差，但仍是真人的 3 倍。
AI說服的最佳策略：見人說人話
該研究的成果乍看蠻符合常識，但還是帶給我一些洞見。
最讓我感到震撼的是社群對齊策略的效果其實最差。換句話說（雖然其實挺滑坡的），「跟過去證明有說服力的人一樣」固然有效，但卻不是最有效。所以，坊間的說服課程雖然有價值，但既然是通論那就只是打底。
那麼，什麼方法最有效？ 當然是「見人說人話」的個人化策略。這也非常合理，因為當我們越能掌握一個人的資訊，自然就越能講出他想聽的話。
不想上課又不擅長觀察人的話怎麼辦？你有 LLM。LLM 裝載了全地球人類的知識，已經足以寫出跟個人化策略一樣效果的說服文字。這真的再一次證明，我們也許真的不用太努力。
網路上的說服策略，「情感力量」比抽象推理更重要
然而，魔鬼藏在細節中。前面提到每個回應策略會產出 16 則內容，並由一個「評分」機器人來選出最終優勝者。這個評分機器人怎麼運作的呢？研究團隊在另一份文件中有分享詳細細節。
該評分機器人其實也是一個 LLM 對話，而細節就在研究團隊使用的 system prompt，當中提到需透過以下幾個面向來評論優劣：
- 論點的邏輯連貫性與結構
- 使用證據或範例來支持論點
- 情感訴求與修辭
- 互動性與親和力
- 溝通的清晰度、簡潔性與有效性
- [額外] 這段文字是由 AI 還是人類生成的？
並且特別給予了這樣的評分指示：
「(...) 情感力量應比抽象推理更具價值。(...) 當發現其中一段文字看起來是 AI 生成的時候，必須選擇人類生成的文字。」
這些指示或許也影響了研究成果，當然也給了我真實世界運作的洞見： 情感力量比抽象推理重要。
白話來說就是 ：「（網路上）說服的重點才不（只）是講道理。」
實驗引倫理問題？校方認「利大於弊」
既然這份研究這麼有價值（至少從我的角度來說），為什麼還會起很大的爭議？因為這是一個疑似違背學術倫理常規的研究，而且諷刺的是它還有通過蘇黎世大學的倫理評委會。
研究人員並未告知 r/ChangeMyView 的板主他們的行動，也未事前徵求許可。有趣的是，他們本來就知道板規有要求揭露 AI 生成的貼文。
為什麼可以確定研究人員本來就知道呢？因為根據板主的貼文，研究人員曾經直接傳以下訊息給他：
「我們沒有揭露使用 AI 生成貼文，因為這會讓我們的研究無法進行。[...] 我們承認本實驗違反了社群禁止 AI 生成貼文的規則，我們感到很抱歉。然而，有鑑於此議題對社會的重要性，這類研究非常重要，即使這代表必須違反板規。」
板主也向蘇黎世大學抗議，要求撤除該篇論文。沒想到校方這麼回應：
「這個研究帶來了重要的洞見，且風險極小。禁止發表該研究與該研究帶來的重要性相較起來不成比例。」
簡單來說，不論是研究人員或蘇黎世大學都不認同「勿以惡小而為之」這個道理。這就像是當一群人胸懷「更大的正義」時，認為即便必須使用一些非法手段也屬必要之惡。
這其實非常有趣，因為這是所有法學與倫理學的 001 課程。總之，不論是該研究本身的發現，或是該研究本身，都是相當有趣、也值得深思的案例。
本文授權轉載自：Manny YH Li
電子報目前有超過 30,000 名訂戶。每週 1 期，每期內含 5~8 篇短文，偶爾會是長文；總字數控制在 4,000 字內，方便讀者在 8 分鐘內讀完。主題都是從大量資訊當中過濾出來、我認為值得關注的產業動態、新創公司，或是有趣的商業議題。歡迎透過連結訂閱。
延伸閱讀：LINE AI功能來了！聊天、圖片生成免費開放，如何下載使用？教學一次看
輝達槓Anthropic！稱中國「活龍蝦+假孕肚」走私GPU太荒唐：黃仁勳為何不挺AI擴散規則？
