GPT-4變懶了:轉檔推太長,表格也只給3行!OpenAI怎麼說?AI模型為何會變笨?
GPT-4變懶了:轉檔推太長,表格也只給3行!OpenAI怎麼說?AI模型為何會變笨?

24小時全年無休的AI,會想要「偷懶」嗎?近期有大量用戶反應,GPT-4正變得越來越懶散,不再盡心盡力回答問題,而OpenAI也出面表示,他們正在調查這個問題,並且研究如何修復AI模型。

Google剛發布號稱在多個指標上比GPT-4更強悍的AI模型Gemini,在這或許是OpenAI最需要嚴陣以待的時刻,GPT-4近來就被發覺出現了「偷懶」問題,不再詳盡解答用戶的疑問,甚至是拒絕回應、要用戶自己找出答案。

延伸閱讀:「一個詞」讓ChatGPT吐出原始資料!AI模型為何能在無形間出賣你?

GPT-4變懶了,怎麼回事?OpenAI怎麼說?

11月底時,AI工程師克里希南(Rohit Krishnan)就在推特上抱怨,GPT-4變得懶散又沒用,希望交給聊天機器人的各種任務都遭到回絕。「轉換這個檔案?太長了。編寫表格?只給前三行。讀取這個連結?抱歉不行。讀取這個py檔案(python程式)?抱歉不允許。這實在太讓人洩氣了。」他在推文中表示。

提出類似抱怨的不只他一人,創業家麥特.溫辛(Matt Wensing)也指出,GPT越來越抗拒做枯燥的工作,基本上它只會給出一部分答案,然後讓用戶自行解決剩下的部分。

抱怨GPT-4越來越懶的聲浪在網路上日漸攀升,終於OpenAI官方也出面表示,他們已經聽到用戶對於GPT-4越來越懶的回饋,正在研究怎麼解決這個問題,但強調他們自11月11日以來,就沒有動過AI模型。

OpenAI解釋,這個說法並不代表AI自行改變了模型,只是模型的行為可能出現了微妙的差異,導致提示詞出現退化,這種情況通常要用戶及員工很長一段時間才會注意到,並且修復這樣的變化。

GPT-4變笨的事件,也恰好緊接在OpenAI爆出宮鬥大戲之後,至於這齣政變戲碼是否有影響內部的運轉或效率,則暫時未可知。

不過OpenAI強調,發布新模型時他們都會進行包含AB測試在內的各種試驗,依據所有試驗結果確保新模型比舊模型更能帶給用戶幫助,也歡迎用戶持續反應GPT-4可能出現的變化、是否變得懶散,幫助他們即時掌握問題狀況。

延伸閱讀:Google承認Gemini超神影片造假「動了幾刀」!號稱打贏GPT-4,其實很水

GPT-4也曾變笨!實測6月份版本的GPT-4,就比3月版本準確度高多了

事實上,這並非GPT技術首次「學壞」,早在今年6、7月時,就有大批開發者抱怨GPT-4「變笨」了,有時會犯下一些愚蠢的錯誤、沒注意到用戶施加的指令,甚至引發外界猜測OpenAI是否為省錢降低了運算能力、或者調整模型降低成本。

當時OpenAI產品副總裁韋林德(Peter Welinder)公開澄清,「不,我們沒有把GPT-4變笨!」聲稱他們每次更新都是讓GPT-4比以前更聰明,用戶覺得變笨的情況有可能是因為高度使用下,一些過去沒發現的問題暴露出來。

雖然OpenAI強調他們沒有更動模型,但有研究團隊發布報告,用對比今年3月跟6月的GPT-4模型,評估在數學、敏感問題、回應頻率、程式能力、推理能力等諸多面向的表現,其中在數學能力方面, 研究團隊用500道題目讓兩個模型判斷質數,結果3月份的版本以97.6%準確度壓倒性高於6月版本的2.4%

gpt accuracy.jpg
先前GPT-4也傳出變笨消息,且經研究團隊測試在部份數學能力上出現顯著落差。
圖/ @svpino via X

AI模型會變笨,究竟是什麼原因?

來自史丹佛及柏克萊加大的研究團隊指出,「我們發現GPT-4和GPT-3.5的表現和行為,在兩個版本中存在顯著差異,並且在某些任務的表現隨著時間越來越差。」他們認為其中一種可能性是 GPT-4已經從思路鏈偏移 ,這是一種將多步驟問題拆解成複數中間步驟,提升大型語言模型推理能力的技術。

對於GPT技術有時莫名出現改變的情況,他們坦承訓練AI模型並不像工業製造般明確,投入什麼原料就知道會製造出什麼產品, 即使是完全相同的訓練材料,在不同次訓練當中,也可能催生出性格、文字風格、評估標準,甚至政治偏袒傾向迥異的AI模型

一直以來,AI究竟是如何運作的,常被稱為「黑盒子」,很難從外部去解釋、理解AI是如何做出決策,如此行動的原因等等。即使是引領著生成式AI發展的OpenAI,目前也不明白在沒有更新模型的情況下,GPT-4突然變得懶散的原因,不過再等待一些時間,開發團隊或許將能修復問題,告訴我們GPT-4究竟為何突然發懶。

延伸閱讀:細看GPT-4,還有14個驚人細節!可能會幫助犯罪、人類無法控制?

資料來源:PCMagDigital TrendX

責任編輯:林美欣

關鍵字: #AI #openai #ChatGPT
本網站內容未經允許,不得轉載。
往下滑看下一篇文章
全球最佳!中國附醫積極打造安全智慧醫院,亮眼表現獲 HIMSS肯定
全球最佳!中國附醫積極打造安全智慧醫院,亮眼表現獲 HIMSS肯定

為提供以病患為核心的醫療照護服務,中國醫藥大學附設醫院(以下簡稱中國附醫)早在數年前就展開智慧醫院布局,並獲得國內外獎項肯定、創下許多台灣第一。舉例來說,中國附醫不僅連續完成美國醫療資訊與管理系統學會(HIMSS)的 INFRAM Stage7認證、EMRAM Stage7認證、AMAM Stage6認證並獲得亞洲首座HIMSS Davies Award of Excellence大獎,更進一步獲得HIMSS「數位健康指標(Digital Health Indication,DHI)」全球最高成績殊榮。

中國附醫是如何辦到的?

中國醫藥大學附設醫院資訊副院長陳俊良面帶微笑的說:「在蔡長海董事長以及周德陽院長高瞻遠矚領導下,我們早在2021年就擘劃清楚的智慧醫療藍圖,還有專職單位負責各項工作,此外,還可以彈性因應業務需求敏捷展開跨部門合作。」舉例來說,在數據管理與應用這個領域,資訊室負責臨床醫療數據資料的蒐集,大數據中心則肩負巨量數據挖掘與應用,至於人工智慧中心則是將人工智慧技術應用到智慧醫療各個領域的關鍵推手。「在實踐智慧醫院這個旅程中,資訊室肩負數據治理重責,必須從(醫護)需求面、(數據)來源面、(安全/隱私)技術面等構面進行規劃與啟動相關實務。」

自由系統
圖/ 自由系統

從身分驗證管理到內部通訊,自由系統助中國附醫深化安全防護力

為發揮醫療數據的最大價值,中國附醫尤其重視資訊安全防禦,陳俊良表示:「第一前提是合規、因應資安法優化系統、數據、裝置設備與人員的安全性。」具體作法有二:首先是因應資安法以縱深防禦的方式持續強化對私有雲環境與設備的安全管理;其次是加強整體資安可視性與自由系統合作,由其協助導入微軟各項的解決方案,並提供資安監測與即時異常通報等服務,讓中國附醫可以更具效率與效能的方式過濾與發現異常事件。

中國醫藥大學附設醫院資訊室系統維護組組長李祥民進一步解釋:「資安威脅無所不在,過去幾年,勒索軟體威脅更是防不勝防,為了解決這個問題,光是保護數據資料還不夠,必須從身份、裝置、帳戶等多元角度切入,因此,微軟在2021年開始提供資安解決方案時,我們就開始評估有能力解決問題的廠商,決定合作廠商的原因有三:首先是原廠推薦,由原廠的角度評估廠商有解決問題的能力,其次是自由系統展現出的專業技術與符合客戶需求的服務;最後,同時也是最重要的是,他們可以提供即時監測並提供通報服務,極大程度緩解中國附醫在資安人力與能力的欠缺,讓我們可以更好的落實安全防護。」

因此,中國附醫順利在2022年導入微軟資安解決方案,而這,不僅提升了中國附醫的資安防護能力,例如分別在2022年跟2023年預先偵測異常事件並成功防堵來自外部的安全攻擊,也讓資訊同仁可以專注在核心業務上,極大化資訊與數據價值。良好的合作體驗也讓雙方合作關係進一步擴展到應用程式端的安全防護,例如,將地面郵件系統搬遷到微軟的雲端服務,藉此降低Email Server的維運成本與損壞風險,同時,優化帳戶登入管理等。

陳俊良表示:「過去幾年,資安威脅不減反增,但是,透過縱深防禦的強化並且經由合作廠商加強即時監控與協助行政通報等服務,我們可以逐步優化資訊安全防護能量,並成功讓異常事件的發生頻率下降,而這,也是中國附醫可以順利獲得HIMSS的INFRAM Stage7跟EMRAM Stage7等認證的關鍵原因之一,為此,後續將持續與合作夥伴共同努力、與時俱進的深化安全防護能力。」

自由系統
圖/ 自由系統

透過雲端身分驗證落實Single Sign On以提升縱深防禦能力

除了導入資安與雲端郵件之外,李祥民表示,中國附醫更於日前將雲端身分驗證跟院內簽核系統的登入機制彙整在一起,以優化登入安全。「接下來,我們會與自由系統合作,重新盤點、評估有哪些院級服務適合以Microsoft Azure AD進行單一登入與多因素驗證,藉此提升安全防護機制。」

自由系統業務經理許廷輔表示,資訊安全不可能一步到位,相反的,需要長期、動態的進行調整與優化,因此,需要組織上下齊心、一同落實安全防禦。「從2021年至今,我們發現,中國附醫不僅重視資訊安全,更身體力行、彈性敏捷的因應潛在威脅做出調整、改變,這是很難能可貴的地方,為進一步擴大成效,自由系統將針對中國附醫在(數據)資料安全與雲端服務等策略提供更多適合中國附醫的產品及服務。」

「智慧醫療、智慧醫院涉及的面向既廣且深,不可能單憑己力完成,需要專業的外部夥伴提供最佳支援與服務,我們很開心可以有自由系統這樣的夥伴,期待未來有更多合作火花,讓中國附醫可以一步一腳印的建構與完善安全智慧醫院布局。」關於中國附醫與自由系統的未來合作,陳俊良如是總結。

自由系統
圖/ 自由系統
本網站內容未經允許,不得轉載。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
台日半導體新局 全解讀
© 2024 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓