「媽,我被綁架了!」AI只需要3秒偽造聲音,成詐騙新招!超真實哭腔你能分辨嗎?
「媽,我被綁架了!」AI只需要3秒偽造聲音,成詐騙新招!超真實哭腔你能分辨嗎?

近日,中國AI換臉新型詐騙頻傳,有人10分鐘被騙430萬元,一度沖上熱搜,引發關注。但利用AI進行詐騙並不止發生在中國。有專家統計,在美國過去一年裡AI詐騙事件,與同期相比增幅超過50%。

自2022年11月ChatGPT引爆生成式AI的熱潮以來,文字、圖像、語音和影片類的AI技術加速進化,在帶來生產力革命潛力的同時,也給了犯罪分子強大的工具。幾美元付費軟體加幾秒語音就能合成以假亂真的人聲。

除了容易上當受騙的老人族群,連商業精英也沒能躲過。面對此類新型詐騙該如何防範?《每日經濟新聞》記者連線倫敦大學學院電腦科學家、人工智慧專家Peter Bentley教授。

「AI女兒」哭著求助,AI造假對話僅需5美元就能生成

4月末的一天,美國一位叫詹妮弗·德斯特凡諾的女性接到一通陌生電話——「媽媽,我搞砸了!」電話那頭傳來正在外地備戰滑雪比賽的大女兒布里安娜的聲音,不斷向她求救。

「聽著,你女兒在我手裡,你如果打電話報警或者告訴其他任何人,我就給她下藥,把她玩夠了就扔她去墨西哥,你永遠別想再見到她了。」一個低沈的男人聲音在電話裡威脅道,並要求詹妮弗支付100萬美元的贖金。

詹妮弗當場嚇壞了,她表示自己拿不出100萬美元來,電話那頭的男子「大減價」到了5萬美元。掛斷電話後,詹妮弗旁邊的友人報了警,並且試圖說服她這是一個騙局,但愛女心切的母親根本聽不進去,因為「女兒」的哭泣聲實在是太真實。後來,詹妮弗已經開始和對方討論匯款的方式,幸虧女兒及時打電話報平安,才避免財產損失。

「當母親的能認出自己的孩子,就算孩子和我隔著一棟樓,當她哭泣時我也知道那是我的孩子。」回憶起電話裡和女兒一模一樣的聲音,詹妮弗仍然感到驚訝。

據外媒報導,隨著AI技術的發展,犯罪分子能夠僅憑一個人在社群媒體上數秒鐘的聲音素材生成遭綁架的對話片段,以此勒索錢財,成本可能僅僅需要每月5美元的AI程式使用費。

「大型語言模型可以按照任何風格編寫文本,所以如果你有一些電子郵件或社群媒體交流的樣本,現在很容易讓AI用來學習並假裝成你本人。經過訓練後,生成式AI算法還可以輕而易舉生成以假亂真的影音。隨著越來越多的應用程式具備這些功能,它變得越來越容易獲得。」倫敦大學學院電腦科學家、人工智慧專家Peter Bentley教授對《每日經濟新聞》表示,「除非我們能提醒每個人更多地意識到危險,否則代價可能是巨大的。」

AI詐騙件數在美國暴漲,連商業菁英也逃不過騙局

美國聯邦貿易委員會(FTC)5月發布警告,稱不法分子正在利用AI語音技術偽造緊急情況騙取錢財或訊息,在新冠疫情期間,此類騙局暴漲了70%。美國紐約州國際詐騙問題專家Michael Skiba5月對媒體表示,過去一年裡,美國AI詐騙的案件數量和同期相比已經上漲了50%到75%之間。

雖然利用AI技術詐騙造成的損失沒有單獨統計,但美國聯邦調查局3月公布的年度報告顯示,2022年美國網路詐騙造成的損失達103億美元,創下五年來新高,並指出面向老年人的AI語音騙局是重災區。

AI合成技術的成熟,在中國爆火的AI孫燕姿翻唱影片得到淋漓盡致的展示。無限逼近真實的AI人聲,意味著不只是家庭主婦或者爺爺奶奶輩才會被騙,就連商業精英也難以分辨。

延伸閱讀:AI孫燕姿爆紅,孫燕姿大氣回「做自己已足夠」!AI歌手怎麼翻轉華語樂壇?

據Gizmodo報導,英國一名能源公司的CEO的聲音被詐欺犯用AI技術合成,隨後詐欺犯利用合成聲音指導電話轉帳,騙取了22萬英鎊到自己的匈牙利帳戶。該CEO表示,他後來自己聽到這段AI合成語音時都震驚了,因為這段語音不僅能模仿他平時的語調,甚至連他「微妙的德國口音」特徵也模仿到了。

AI詐騙激增,該如何防範?

自ChatGPT引爆生成式AI的熱潮,科技巨頭和創業公司爭先恐後地推出和升級AI產品。技術加速叠代,應用越來越便宜,而監管手段和力度一時難以應付,AI詐騙構成了迫切的挑戰。

2023年初,微軟推出的新模型VALL·E只需要3秒素材,就可以複製任何人的聲音,甚至連環境背景音都能模仿。ElevenLabs、Murf、Resemble 和Speechify等公司早已提供生成AI語音的服務,包月費用最低從幾美元到100美元的高級套餐不等。

美國加州大學柏克萊分校的數位鑑識學教授法里德(Hany Farid)表示,一兩年前克隆一個人的聲音還需要大量的音頻數據,現在僅需要短影片裡的人聲,AI軟體就可以分析年齡、性別、口音等特質,然後搜索龐大的聲音數據庫,找到類似的聲音並預測模式,從而重建個人的整體類似聲音。「這很可怕,具備釀成大禍的所有條件。」他表示。

據外媒報導,詹妮弗也懷疑詐騙者是透過她女兒的社群媒體帳號獲取的聲音,她表示,布里安娜有一個私人TikTok帳號和一個公開的Instagram帳號,裡片包含她滑雪比賽的照片和影片。

如果AI語音加上同樣成熟的「換臉」技術,「眼見為實」也很容易成為過去式。「目前的AI聲音、影片詐騙,如果你非常仔細地看和聽,就可能會在發現一些奇怪的錯誤或聲調。」Peter Bentley教授表示,「但不幸的是,許多人在使用手機通話時使用了噪音過濾器來減少噪音,這讓真實的人可能聽起來像假的,而假的人可能聽起來卻像真的,所以我們目前已經不能再假設我們在螢幕上看到或聽到的任何東西都是真實的了。」

普通人如何防範被騙?Peter Bentley教授表示,目前還沒有百分百能夠識別AI生成和真實之間區別的方法。

「所以最好的建議是:保持懷疑,仔細檢查任何向你要錢或個人訊息的人,即使他看起來是一個值得信賴的朋友或家人。一定要給他們回電話,最好是視訊,或者最好是親自見他們,看看請求是否真實。如果你需要朋友幫忙,那就親自去找他們談談。不管怎樣,這才是恰當的做法!」Peter Bentley教授表示。

延伸閱讀:奧特曼:OpenAI可能退出歐洲!歐盟AI法案怎麼規定?為何業界大佬喊出走?

本文授權轉載自:網易科技

責任編輯:蘇祐萱

關鍵字: #AI
往下滑看下一篇文章
從生成式AI到代理式AI,不可輕忽的五大關鍵趨勢與致勝訣竅
從生成式AI到代理式AI,不可輕忽的五大關鍵趨勢與致勝訣竅

代理式AI將驅動產業創新變革與升級,對此,研究機構Gartner預測,截至2028年底,33%的企業應用軟體將整合代理式AI功能,至少15%的日常工作決策將改由代理式AI負責,以及三分之一的生成式人工智慧互動將改由行動模型與自主代理完成,同時,加速協作型 AI Agent出現與普及。
面對勢不可擋的AI浪潮,Google Cloud搶先布局市場:不僅提供含括AI優化基礎架構、AI模型、可互通的AI代理等高度整合AI雲端技術堆疊,更攜手CloudMile萬里雲等夥伴協助不同產業客戶發揮代理式AI的綜效。

不可輕忽的五大AI趨勢

隨著雲端與人工智慧等創新科技成為企業創新變革的關鍵基石,想要極大化科技綜效、搶先布局未來,不可輕忽五大AI趨勢:

趨勢一:AI Agent蓬勃發展。

生成式AI已從單純的處理提示(Prompt)轉變成具備模組化、自主化與協作化能力的 AI Agent,Google Cloud 更透過年度旗艦活動介紹超過 600 個 AI Agent 與跨產業應用案例。

Google Cloud 台灣總經理陳愷新表示:「因應用途的不同,Google Cloud 推出客戶代理(Customer Agent)、員工代理(Employee Agent)、創意代理(Creative Agent)、資料代理(Data Agent)、程式碼代理(Code Agent)與資安防護代理(Security Agent)六大類 AI Agent,協助企業提升營運效率、員工生產力、資安防護,進而加速產業創新。」

萬里雲 x Google Cloud_Podcast
Google Cloud 台灣總經理 陳愷新
圖/ 數位時代

趨勢二:多模態AI應用普及。

企業開始透過多模態AI整合文字、圖像、音訊與影片等資訊,讓 AI可以模仿人類學習方式,以更精準且自然的方式輸出與互動。

趨勢三:AI驅動輔助搜尋崛起。

透過生成式AI賦能,企業搜尋模式可以跳脫關鍵字,改以多模態輸入與對話提示等方式互動,讓使用者可以快速找到所需資訊並因應權限優化知識搜尋成效。例如,玉山銀行整合 Gemini 模型與內部知識管理系統,短短 3 個月推出「金融業務聊天機器人(金秘書)」,大幅縮短分行人員解決複雜客戶問題的時間,以及減少內部教育訓練負擔。

CloudMile萬里雲創辦人暨董事長劉永信表示:「Enterprise Search 不僅能打破孤島、快速連結Google Workspace、BigQuery、Looker、SAP、Salesforce 等內部系統與資料來源,還可以進一步提高企業內部搜索相關知識的效率。」

趨勢四:AI 輔助顧客體驗優化。

透過AI驅動的全通路個人化行銷,以無縫消費體驗提升零售業營收、效率跟提升客戶忠誠度。例如,CloudMile 萬里雲整合最新 AI 人臉檢測、表情辨識技術、服裝顏色分析與圖像標籤,以及串連 Google Workspace 雲端應用,打造出獨一無二的 AI 旅行推薦體驗服務 AI 魔鏡,消費者只要站在互動裝置前自拍,系統即會依照臉部表情與穿衣風格自動生成個人化旅遊行程與亮點,大幅提升選旅效率與便利性。

趨勢五:以 AI 加強資安防護。

面對AI帶來的嶄新、增強的安全攻擊,如深度偽造(DeepFake)攻擊與攻擊頻率增強等,企業除可以藉由 AI 增強現有安全系統,還可以透過偵測威脅、保護資料、識別潛在風險等方式對抗深度偽造與假訊息等釣魚攻擊。

「AI 與雲端將成為企業營運的關鍵基礎設施、發揮相輔相成的綜效,此外,也有助於企業加速業務創新與發展數位經濟生態圈,進而鞏固企業競爭力。」劉永信認為,透過 Google Agentspace 提供的多代理協作機制,企業不僅可以整合工作流程,還可以進一步優化模組設計與完善安全治理,讓 AI Agent 進入企業日常營運場景,在這個過程中,若進一步結合 A2A 協定(Agent-to-Agent Protocol),AI Agent 將不僅是單一任務執行者,可以相互溝通,型塑嶄新的企業虛擬團隊,讓企業能以更敏捷的人機協作模式回應市場與顧客需求。

3關鍵 X 5指標,助企業加速代理式AI落地與極大化綜效

劉永信表示:「Data Anywhere 是企業發展代理式AI的關鍵基礎,具體實作方式是從資安(Security)、人工智慧(AI)與雲端財務管理(FinOps)三個關鍵面向切入,型塑具備自主強化的『AI 優先』營運模式以優化創新轉型成效。」例如,企業需要一個含括雲端、邊緣、地端的數據同步與治理框架以確保數據即時性、隱私性、合規性與安全性。

萬里雲 x Google Cloud_Podcast
CloudMile 萬里雲集團創辦人暨董事長 劉永信
圖/ 數位時代

除了以 Data Anywhere 為基礎打造的 AI First 營運模式,Google Cloud 建議企業可以從 5 個關鍵指標選擇平台與合作夥伴:第一是平台服務是否含括全面 AI 技術堆疊,讓企業可以因應需求挑選所需的基礎設施、平台、模型與商業應用;第二是提供企業客戶多元選擇,包括選擇自行開發或者是以既有服務進行客製化開發,以及可以彈性選擇平台提供的 AI 模型、第三方 AI 模型與開放原始碼服務等。

第三是確保雲地、新舊系統的互通性,例如,Google Cloud 不僅在 2019 年推出混合雲管理平台 Anthos 服務,更於日前推出 A2A 協定協助企業打通、協作各個 AI 代理,以及推出 Google Agentspace 協助企業集中化管理AI代理與透明化營運成效等。第四是平台是否有支援開放標準與應用程式介面(API)等機制,讓企業客戶可以因應業務發展彈性串聯與擴展應用範疇。第五是確保平台提供的是負責任的AI以及提供與時俱進的安全防護機制,例如 Google Cloud 便積極深化在深度偽造防護(DeepFake Defense)的能量。

展望未來,隨著 AI 的推陳出新與日趨普及,Google Cloud 除會因應市場需求持續優化平台服務,也會攜手 CloudMile 萬里雲針對產業客戶需求提供最佳服務,以產業專屬、軟硬整合的方式發揮智慧化人機協作的綜效,實踐生態圈共贏。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
進擊的機器人
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓