ChatGPT 回答程式問題錯誤率高達5成!為何用戶還是信?被什麼誤導了?
ChatGPT 回答程式問題錯誤率高達5成!為何用戶還是信?被什麼誤導了?

美國普渡大學的研究發現,OpenAI 開發的人工智慧聊天機器人 ChatGPT 在回答軟體程式問題時,錯誤率超過一半,且能騙過三分之一的提問者。

該研究團隊分析了 ChatGPT 對 517 個 Stack Overflow 網站上的問題的回答,評估了其正確性、一致性、全面性和簡潔性。他們還對回答進行了語言和情感分析,並對 12 名志願參與者進行了問卷調查。

ChatGPT 回答軟體程式問題 52% 是亂講的,為何用戶還信?

這份研究報告的結論是:ChatGPT 的回答雖然語言風格良好,但其實有 52% 的回答是錯誤的,77% 是太過於冗長的。參與者只有在回答中的錯誤很明顯時,才能識別出來。否則,他們會被 ChatGPT 的友好、權威和細緻的語言風格所誤導。

他們的論文指出:「在我們的研究過程中,我們觀察到,只有當 ChatGPT 答案中的錯誤很明顯時,用戶才能識別出錯誤。但是,當錯誤不易驗證或需要用到外部IDE時,用戶往往沒有能力去發現錯誤,或低估答案中的錯誤程度。」

不過,論文中也指出,即使答案存在明顯錯誤,12 名參與者中仍有兩人仍然會選擇採用 ChatGPT 的答案。論文認為,這是因為 ChatGPT 具有令人愉快、權威的風格。

該論文解釋說:「從半結構化訪談中可以明顯看出,禮貌的語言、清晰的教科書風格的答案、全面性和答案的關聯性,將使得就算是完全錯誤的答案也能看起來是正確的。」

chatgpt
由於ChatGPT的答案常具有煽動性、暗示或成就的語言,例如:當然我可以幫助你、這肯定會解決它,讓用戶不自覺地選擇相信。

該論文的作者之一 Samia Kabir 表示:參與實驗的人更喜歡不正確且冗長的ChatGPT答案,而不是 Stack Overflow 的答案,這是由於多種原因造成的。

主要原因之一是ChatGPT的答案非常詳細。在很多情況下,如果參與者從冗長而詳細的答案中獲得有用的信息,他們並不介意回答的長度此外,積極的情緒和答案的禮貌是另外兩個原因 。」

「當參與者發現ChatGPT的答案很有洞察力時,他們就會忽略了答案中實際存在的錯誤。ChatGPT 自信地傳達有洞察力的訊息(即使訊息不正確)的方式贏得了用戶的信任,這使他們更喜歡錯誤的答案。」

延伸閱讀:20萬本盜版書都在「book 3」,AI巨頭從這偷數據!這是什麼?

Stack Overflow 是一個專門為程式設計師提供問答服務的網站,被認為是開發者獲取程式碼片段和解決問題的重要來源。然而,該網站近年來也面臨著流量下降、內容品質下降和使用者信任下降等問題。據 SimilarWeb 在 4 月份的一份報告顯示,自 2022 年 1 月以來,該網站每月流量下降了 6%,3 月份下降了 13.9%,而 ChatGPT 可能是導致其流量下降的原因之一。Stack Overflow 則否認了 SimilarWeb 的評估,並表示其流量受到搜尋演算法和 ChatGPT 興趣激增的影響。

作者觀察到,ChatGPT 的答案還更有煽動性——暗示成就或成就的語言——。「在很多情況下,我們觀察到 ChatGPT 插入了諸如『當然我可以幫助你』、『這肯定會解決它』等單詞和短語。」

在其他發現中,作者發現 ChatGPT 更容易犯概念錯誤,而不是事實錯誤。該論文發現:「由於 ChatGPT 無法理解所提出問題的潛在背景,許多答案都是不正確的。」

作者對 ChatGPT 答案和 Stack Overflow 答案的語言分析表明,機器人的反應「更正式,表達更多分析思維,展示更多實現目標的努力,並表現出更少的負面情緒。」他們的情緒分析得出的結論是:ChatGPT 的答案比 Stack Overflow 的答案表達了「更積極的情緒」。

OpenAI 在其 ChatGPT 網站上承認其軟體「可能會產生關於人、地點或事實的不精準資訊。」該公司暫未對普渡大學的研究作出回應。

延伸閱讀:AI幫你做廣告,成本省20倍!雀巢、可口可樂都擁抱AI,背後會有什麼風險?

本文授權轉載自:T客邦

關鍵字: #AI
往下滑看下一篇文章
大師兄林智勝引退賽 晶睿通訊員工、經銷夥伴同場見證榮耀時刻 
大師兄林智勝引退賽 晶睿通訊員工、經銷夥伴同場見證榮耀時刻 

邁入25年里程碑,晶睿通訊發展始終以人為本,透過AI安防專業,守護社會安全,同時,每年舉辦家庭日活動,關心員工,並藉由舉行全球合作夥伴大會,深化夥伴連結,從內而外凝聚力量,展現「關懷」的品牌價值。今年9月,公司首次將家庭日移師大巨蛋,邀請千名員工與跨國策略經銷夥伴,見證味全龍隊中職全壘打王林智勝引退賽,現場氣氛歡騰、向心力爆棚。這場熱情、乘載溫度的家庭日,象徵公司邁向下一個25年時所累積的力量與希望,既磅礴又溫暖,像一段未完序曲,待全體員工與夥伴合作譜寫。

圖2:晶睿通訊邀請全球策略經銷夥伴出席家庭日活動,共創更緊密合作情誼.jpg
晶睿通訊邀請全球策略經銷夥伴出席家庭日活動,共創更緊密合作情誼。
圖/ 晶睿通訊

熱血不只在球場上沸騰!攜手員工與全球夥伴,共聚家庭日榮耀時刻展現「關懷」

晶睿通訊總經理廖禎祺表示:「在這個具有紀念意義的特別活動,很高興邀請員工與他們的家人,以及全球夥伴出席家庭日,共襄盛舉經典賽事,家庭是每位同仁最強大的後盾,透過難得時刻,凝聚團隊、展現熱情,攜手迎向下一個25年。引退賽主角林智勝對棒球夢的追求是堅持求勝,從不放棄,正如同晶睿通訊在安防領域堅持的專業承諾。同時,林智勝長年支持偏鄉原民棒球發展,亦與公司秉持的關懷、信賴等價值不謀而合,是公司實現社會共融的最佳詮釋。」

參與家庭日員工在輕鬆愉快氛圍中,與同事和家人留下難忘回憶。其中,永續單位員工Bob表示:「第一次到大巨蛋看比賽,就是看林智勝的引退賽,意義重大且讓人感動,感受到公司對員工在工作與生活平衡的重視,讓我更有動力迎接職場上的挑戰。」人資單位員工Ruth表示:「拿到公司特製的25週年毛巾,還有賽前與味全龍隊的啦啦隊員合照,充分感受到公司體貼和關懷。」

圖3:晶睿通訊總經理廖禎祺(左2) 率千名員工到臺北大巨蛋,欣賞林智勝引退賽。.jpg
晶睿通訊總經理廖禎祺(左2) 率千名員工到臺北大巨蛋,欣賞林智勝引退賽。
圖/ 晶睿通訊

全球合作夥伴高峰會 聚焦AI雲端創新技術

安防產業正值 AI 核心驅動安防轉型的關鍵時刻,晶睿通訊同步舉辦全球合作夥伴高峰會,邀請來自美國、歐洲、紐澳、拉丁美洲等逾百位策略經銷夥伴齊聚台灣,體驗AI雲端安防應用成果,深化合作,透過技術展示與交流論壇,為未來營運成果注入成長動能,深化全球布局。

圖4:晶睿通訊邀請百位策略經銷夥伴齊聚台灣,強化合作深度,拓展營運新商機。.jpg
晶睿通訊邀請百位策略經銷夥伴齊聚台灣,強化合作深度,拓展營運新商機。
圖/ 晶睿通訊

展示軟硬體及雲端研發實力 三箭齊發展現高效安防

高峰會期間,晶睿通訊舉辦多場策略與創新講座,並帶領夥伴見證公司的品質實力。同時,展示從軟硬體到 AI 雲端的完整研發力,協助夥伴洞察 AI 與雲端安防趨勢,三箭齊發邁向智慧安防新世代:

一、軟體端: 打造「優質合作夥伴入口網站」(VIVOTEK Premium Partner Portal),提供一站式操作體驗,讓經銷夥伴即時掌握客戶安防系統運作狀態,快速提供智慧解決方案,深化客戶關係與合作黏著度。

二、硬體端: 展出全新低照全彩攝影機,搭載大型感光元件與大光圈鏡頭,結合 AI 技術,在極低光環境下,也能呈現明亮、銳利的全彩影像,夜間畫質顯著提升,全天候守護每一個角落的安全。

三、雲端平台 VORTEX: 全新 AI-Hub 應用整合亞洲安防領先技術與視覺語言模型,提供自然語言搜尋(Think Search)、智慧事件洞察(Event Insight)及案例庫(Case Vault),讓使用者快速鎖定目標、精準掌握異常,並清楚整理搜尋結果,大幅提升安防效率。

圖5:策略經銷夥伴參訪廠區,了解晶睿通訊產品品質實力。.jpg
策略經銷夥伴參訪廠區,了解晶睿通訊產品品質實力。
圖/ 晶睿通訊

晶睿通訊深耕安防領域,累積眾多夥伴與戰友,位於拉丁美洲、合作逾10年的經銷商執行長Christoper表示,晶睿通訊投入 AI 智慧發展,專注於人、車辨識,有效解決客戶所面臨的安全痛點,創造更安心居住的環境。另一位合作近20年的泰國經銷商執行長Yui指出,晶睿通訊除了以產品品質、AI技術取勝之外,還有對合作夥伴的關心與支持,滿足客戶需求,讓專案順利落地。

圖6:晶睿通訊總經理廖禎祺於全球合作夥伴高峰會演講,分享公司願景及產業趨勢。.jpg
晶睿通訊總經理廖禎祺於全球合作夥伴高峰會演講,分享公司願景及產業趨勢。
圖/ 晶睿通訊

隨著全球AI浪潮推進,晶睿通訊以 AI與雲端創新為引擎,加速拓展市場版圖,掌握安防產業的剛性需求,積極布局智慧城市、智慧工廠、智慧交通與智慧零售等多元應用場景。展望下一個25年,公司將持續深化全球合作,攜手利害關係人,強化AI雲端智慧安防,守護世界安全。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
蘋果能再次偉大?
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓