當AI防禦遇上AI攻擊,「以子之矛,攻子之盾」正在資安界上演
當AI防禦遇上AI攻擊,「以子之矛,攻子之盾」正在資安界上演
2018.10.31 | IBM

科技可以為善可以作惡,人工智慧(AI)也是,端看人類如何使用它,而在資安世界裡,這場防禦端和攻擊端的AI攻防前哨戰已經開打。

最新AI攻擊手法,插入噪音就能破壞語音辨識系統

IBM Security CTO兼VP Koos Lodewijkx分享,目前至少有三種與AI相關的資安攻擊手段。

第一種是利用AI提高攻擊效率。例如,現在駭客可以透過機器學習,分析社群媒體上的訊息、朋友圈等等,依照這些個人化資訊發起針對性攻擊,提高釣魚攻擊成功率。此外,現在網路上也出現透過機器學習、可以自動辨識圖像的免費軟體XEvil,讓駭客可破解用來防堵自動化攻擊的驗證碼CAPTCHA機制。

第二種則是駭客攻擊AI系統,例如以一種改變系統的方法進行攻擊,簡單來說就是污染AI系統,或是找到AI系統弱點、繞過防禦以進行攻擊。

Lodewijkx舉例,微軟在2016年推出聊天機器人Tay,透過機器學習技術讓他它可在每次的對話中改善回話,但上線24小時後就被「玩壞」,說出種族歧視的言論。不只是聊天機器人,Lodewijkx表示,現在的技術也能做到入侵語音辨識系統,只要在聲音中插入噪音,就能徹底改變翻譯結果,讓機器說出特定語句。

雖然這些看似無傷大雅,但Lodewijkx提醒,AI已經被企業大量用於商業營運中,一旦被駭客知道模型如何訓練和運作,就能藉由破壞訓練模型的數據來操控模型。例如,銀行把AI導入借貸決策系統,藉由分析申請人的收入、年齡、居住地、信用分數等,決定是否該批准借貸,一旦找到方法繞過偵測,就算有很差的信用分數仍可成功貸款。

「我們在產業所使用的機器學習,其中很多的模型仍非常脆弱,」Lodewijkx說,「如果你可以操控訓練模型的數據、輸入值,你就可玩弄這個模型。」

最後一種攻擊手段,駭客著點的不是模型本身,而是用來訓練AI模型背後的數據。Lodewijkx表示,駭客已經可以竊取訓練AI模型背後的數據,以圖像辨識系統為例,正常情況是,給出圖片後,系統可以辨識出人名,而在破解系統後,駭客只要擁有姓名,就能逆向重建出圖片。

AI從三層面防禦駭客攻擊

不只是攻擊端,AI之於資安防禦,也是不可獲缺的角色,像是IBM旗下資安產品幾乎已全面導入AI。

為什麼要用AI防禦?Lodewijkx指出,現在的資料量龐大,來自網路、電腦系統、資料庫等等,隨之而來的是資料、威脅、環境都變得更複雜;在此情況下,卻面臨資安技術人力短缺,IBM調查指出,到2022年,資安領域會有180萬份的資安人力短缺。這也是為什麼需要在資安工具中導入AI,而AI也能提高偵測和反應的速度,降低損失。

Lodewijkx指出,目前最常見的AI資安應用是「預測分析」(predictive analytics),也就是藉由機器學習分析大量數據,從中找出異常。「市場上幾乎每個人都說有將AI導入資安中,就是這個分類。」他說。

Koos Lodewijkx_IBM Security CTO &VP_2018_10_09_蔡仁譯
儘管AI已經被大量用在資安防禦,但IBM Security CTO 兼VP Koos Lodewijkx認為,現階段AI仍須和人類合作,因為AI可以做很多例行工作,但仍無法做到需要創造、調查類的工作。
圖/ 蔡仁譯攝

例如,監控網路流量或使用者行為,找出不尋常的地方,或是觀察人類如何和電腦或手機互動,進而分辨出是真正的人類、還是假裝成人類的惡意軟體。此外,也能找出「假陽性」的威脅警報,降低誤報率。

第二類則是智能強化(Intelligence consolidations),也就是把資安研究工作交給AI。Lodewijkx解釋,IBM教旗下人工智慧Wastson讀懂資安相關的新聞、研究報告、Twitter訊息等等,進而建立知識圖譜(knowledge graph),並找出每個知識間的關聯性。訓練完成後,當他們告訴Watson一個IP位址、網址或檔案,Watson就可以回報該檔案的相關訊息,如和哪種病毒有關、常被哪些駭客組織使用、鎖定哪些產業等等,讓分析師不用再自己去讀大量資料。

第三種則是智能回應(intelligence response),目標在於提高一定時間內的分析效率。Lodewijkx指出,以資安營運中心為例,分析師有58%的時間都是花在重複性工作上。舉例來說,當資安監測系統發出警示,分析師必須比對不同的應用程式、資料庫和系統,確認該警示是否為真,而正因為這些步驟是固定的,很適合自動化。

AI不是資安防禦的完美解方

儘管現在AI已經被大量用於資安產品,但Lodewijkx認為AI並不能解決所有資安問題,「我們距離那時還很遠。 」

Lodewijkx解釋,現階段AI只能針對特定任務,使用場景仍非常狹隘,雖然可以強化防禦,但仍需要和其他防禦方式相輔相成,如更新補丁、保護憑證、防火牆等等。

更重要的是,AI仍需要和人類合作。「我們還沒有進入AI比人類聰明的時代,」Lodewijkx解釋,機器學習模型最擅長的地方是,做人類訓練他們做的事情,這也是為什麼AI可以做很多例行工作,但仍無法做到需要創造、調查類的工作。反過來講,這也意味著AI攻擊也只能做好一件事,當被訓練的攻擊手段不行,AI也無法像人類一樣自己想出別種攻擊方法。

「這其實有點像軍備競賽(arm race),」Lodewijkx說,現在駭客學習AI、取得演算法、雲端計算能力等成本都越來越低,這也讓防禦端的偵測和回應速度必須更快及精準。而這場AI資安攻防的前哨戰,才剛開打。

往下滑看下一篇文章
AI代理時代已至!國泰金控以GAIA 2.0框架加速AI應用百花齊放
AI代理時代已至!國泰金控以GAIA 2.0框架加速AI應用百花齊放

AI正以驚人速度重塑世界樣貌,金融產業也不例外。國泰金控作為台灣最大的金融控股公司之一,不僅積極擁抱創新變革,更透過開放分享促進產業共好:在「2025國泰金控技術年會」中分享「GAIA 2.0技術框架」,揭示多代理(Multi-Agent)雲端協作架構,讓AI從知識問答助理進化成可以自主推論、規劃與協作的夥伴,拉開以人為中心的金融科技新世代序幕。

以GAIA 2.0技術框架為基礎,加速集團應用百花齊放

GAIA是國泰金控為實現AI即服務(AI as a Service)提出的關鍵技術框架,歷經一年的發展,不僅成功建立超過200種資料類別的知識庫、彙整50多種生成式AI模型的Model Hub、設有70道安全防護檢查點的AI護欄。

國泰金控
國泰金控副總暨國泰世華銀行數據長梁明喬分享GAIA 2.0技術框架與集團GenAI應用案例
圖/ 數位時代

國泰金控副總經理暨國泰世華銀行數據長梁明喬指出:「隨著代理式AI技術崛起,我們在今年提出GAIA 2.0技術框架,目標是讓AI助理(Assistant)進化成AI Agent,可以跨單位整合工具、數據與分工,實現真正的智慧協作。」

舉例來說,為深化集團員工運用AI提升工作效率,我們打造員工AI助手—Agia,協助同仁進行知識查詢、資料摘要等任務,提升效率與生產力;另外,透過AI自助開發平台—GAIA Studio,讓員工以No Code工具,連結內部知識庫,並以視覺化介面或Prompt快速自主開發,打造業務場景所需的生成式AI服務與工具。GAIA Studio 上線三個月已有28個部門自助開發超過40支內部應用AI服務(包含行銷文案、各類產品知識、趨勢摘要等)。

在技術面,具體作法是透過GAIA 2.0框架下的四個模組,包含負責統籌AI Agent任務分配與協作流程的「Agent Core核心框架」、提供安全自主運作環境的「Agent Workspace可控環境」、連結Agent間共通語言的「Agent Protocol串接協定」,以及集中管理AI工具與元件的「Agent Marketplace整合市集」,以加速AI Agent應用研發與部署。

梁明喬表示:「接下來,我們將以GAIA為引擎,打造通用型、業務型、IT型與服務型AI應用,如Vibe Coding、CUBE Intelligence等服務,一步一腳印擴展集團的AI Agent生態圈,型塑智慧金融新格局。」

舉例來說,隨著生成式AI普及,客戶對於數位(助理)服務的期待更高,國泰世華銀行數位品牌CUBE推出「CUBE Intelligence」兩項新服務,包含「升級版」智能助理–阿發,滿足客戶詢問複雜問題的需求,無論客戶提出什麼問題,都可以完整步驟與適當的情緒價值強化與客戶的連結,讓服務更智慧、貼心且符合期待。

國泰金控
國泰金控副總暨國泰世華銀行數位長陳冠學展示「CUBE Intelligence」兩項新服務
圖/ 數位時代

國泰金控副總經理暨國泰世華銀行數位長陳冠學表示:「除了升級版阿發,另一新服務是我們也在CUBE App新增『對話式功能搜尋(CUBE Search)』,就像把行員放到CUBE App一樣,讓客戶可以用自然語言輕鬆找到想要的服務,讓服務體驗變得更聰明、更人性也更懂你。」兩項CUBE Intelligence新服務即將在年底正式上線。

跨界合作推動台灣大型語言模型落地,加速生成式AI發展

大型語言模型具備強大的語意理解與內容生成能力,是生成式AI快速發展的關鍵推力。國立政治大學金融科技研究中心主任王儷玲指出:「金融產業因為有獨特的金融語境、法規語意以及在地化的繁體中文知識,國際通用模型並不適用,必須建構本土知識庫、標準化模型機制、AI 法規沙盒及在地算力平台,發展台灣企業共同主導與管理的大型語言模型,方能讓更多金融業者透過微調打造適用模型、加速可信賴的AI Agent服務落地。」

國泰金控數數發中心數據暨人工智慧發展部副總經理劉浩翔進一步補充:「本地大型語言模型的成功關鍵,不僅是掌握充足且高品質的數據,還要透過後訓練微調與人類回饋強化學習的訓練方式去微調出適用的AI模型,藉此提升答案的精準度,尤其是需要跨法規、多層邏輯的嚴謹金融專業知識。」

AI要成功,除了應用場景、模型,算力也扮演至關緊要角色,對此,鴻海科技集團亞灣超算執行長姚延宗表示:「本土算力是支持本土大型語言模型落地的關鍵。」不過,他也強調,AI算力快速迭代且進入門檻高,不是每一間企業都可以自建算力,因此,亞灣超算與NVIDIA合作啟用超算中心,讓金融等台灣企業可以按需租賃所需算力,解決資料共享等敏感問題,加速金融AI應用的多元發展。

國泰金控
產業與學界專家於國泰金控技術年會交流生成式AI如何在台落地應用,左起為:國泰金控副總經理施君蘭、政治大學金融科技研究中心主任王儷玲、國泰金控數數發中心副總經理劉浩翔、鴻海科技集團亞灣超算執行長姚延宗
圖/ 數位時代

總的來說,從GAIA 2.0技術框架的推出、生成式AI的落地應用、到積極參與本土大型語言模型建置等行動,可以清楚看到,國泰金控正由內而外推動全面AI創新:強化內部流程效率與治理能力、以智慧化服務提升客戶體驗,並透過技術開放與跨域合作,為金融產業的數位與AI智慧轉型注入新動能。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
進擊的機器人
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓