當AI防禦遇上AI攻擊,「以子之矛,攻子之盾」正在資安界上演

2018.10.31 by
張庭瑜
蔡仁譯攝
在資安世界裡,防禦端和攻擊端的AI攻防前哨戰已經開打。對駭客來講,AI不只可以提高攻擊效率,而面對AI系統,他們也能透過污染訓練數據進而操控。

科技可以為善可以作惡,人工智慧(AI)也是,端看人類如何使用它,而在資安世界裡,這場防禦端和攻擊端的AI攻防前哨戰已經開打。

最新AI攻擊手法,插入噪音就能破壞語音辨識系統

IBM Security CTO兼VP Koos Lodewijkx分享,目前至少有三種與AI相關的資安攻擊手段。

第一種是利用AI提高攻擊效率。例如,現在駭客可以透過機器學習,分析社群媒體上的訊息、朋友圈等等,依照這些個人化資訊發起針對性攻擊,提高釣魚攻擊成功率。此外,現在網路上也出現透過機器學習、可以自動辨識圖像的免費軟體XEvil,讓駭客可破解用來防堵自動化攻擊的驗證碼CAPTCHA機制。

第二種則是駭客攻擊AI系統,例如以一種改變系統的方法進行攻擊,簡單來說就是污染AI系統,或是找到AI系統弱點、繞過防禦以進行攻擊。

Lodewijkx舉例,微軟在2016年推出聊天機器人Tay,透過機器學習技術讓他它可在每次的對話中改善回話,但上線24小時後就被「玩壞」,說出種族歧視的言論。不只是聊天機器人,Lodewijkx表示,現在的技術也能做到入侵語音辨識系統,只要在聲音中插入噪音,就能徹底改變翻譯結果,讓機器說出特定語句。

雖然這些看似無傷大雅,但Lodewijkx提醒,AI已經被企業大量用於商業營運中,一旦被駭客知道模型如何訓練和運作,就能藉由破壞訓練模型的數據來操控模型。例如,銀行把AI導入借貸決策系統,藉由分析申請人的收入、年齡、居住地、信用分數等,決定是否該批准借貸,一旦找到方法繞過偵測,就算有很差的信用分數仍可成功貸款。

「我們在產業所使用的機器學習,其中很多的模型仍非常脆弱,」Lodewijkx說,「如果你可以操控訓練模型的數據、輸入值,你就可玩弄這個模型。」

最後一種攻擊手段,駭客著點的不是模型本身,而是用來訓練AI模型背後的數據。Lodewijkx表示,駭客已經可以竊取訓練AI模型背後的數據,以圖像辨識系統為例,正常情況是,給出圖片後,系統可以辨識出人名,而在破解系統後,駭客只要擁有姓名,就能逆向重建出圖片。

AI從三層面防禦駭客攻擊

不只是攻擊端,AI之於資安防禦,也是不可獲缺的角色,像是IBM旗下資安產品幾乎已全面導入AI。

為什麼要用AI防禦?Lodewijkx指出,現在的資料量龐大,來自網路、電腦系統、資料庫等等,隨之而來的是資料、威脅、環境都變得更複雜;在此情況下,卻面臨資安技術人力短缺,IBM調查指出,到2022年,資安領域會有180萬份的資安人力短缺。這也是為什麼需要在資安工具中導入AI,而AI也能提高偵測和反應的速度,降低損失。

Lodewijkx指出,目前最常見的AI資安應用是「預測分析」(predictive analytics),也就是藉由機器學習分析大量數據,從中找出異常。「市場上幾乎每個人都說有將AI導入資安中,就是這個分類。」他說。

儘管AI已經被大量用在資安防禦,但IBM Security CTO 兼VP Koos Lodewijkx認為,現階段AI仍須和人類合作,因為AI可以做很多例行工作,但仍無法做到需要創造、調查類的工作。
蔡仁譯攝

例如,監控網路流量或使用者行為,找出不尋常的地方,或是觀察人類如何和電腦或手機互動,進而分辨出是真正的人類、還是假裝成人類的惡意軟體。此外,也能找出「假陽性」的威脅警報,降低誤報率。

第二類則是智能強化(Intelligence consolidations),也就是把資安研究工作交給AI。Lodewijkx解釋,IBM教旗下人工智慧Wastson讀懂資安相關的新聞、研究報告、Twitter訊息等等,進而建立知識圖譜(knowledge graph),並找出每個知識間的關聯性。訓練完成後,當他們告訴Watson一個IP位址、網址或檔案,Watson就可以回報該檔案的相關訊息,如和哪種病毒有關、常被哪些駭客組織使用、鎖定哪些產業等等,讓分析師不用再自己去讀大量資料。

第三種則是智能回應(intelligence response),目標在於提高一定時間內的分析效率。Lodewijkx指出,以資安營運中心為例,分析師有58%的時間都是花在重複性工作上。舉例來說,當資安監測系統發出警示,分析師必須比對不同的應用程式、資料庫和系統,確認該警示是否為真,而正因為這些步驟是固定的,很適合自動化。

AI不是資安防禦的完美解方

儘管現在AI已經被大量用於資安產品,但Lodewijkx認為AI並不能解決所有資安問題,「我們距離那時還很遠。 」

Lodewijkx解釋,現階段AI只能針對特定任務,使用場景仍非常狹隘,雖然可以強化防禦,但仍需要和其他防禦方式相輔相成,如更新補丁、保護憑證、防火牆等等。

更重要的是,AI仍需要和人類合作。「我們還沒有進入AI比人類聰明的時代,」Lodewijkx解釋,機器學習模型最擅長的地方是,做人類訓練他們做的事情,這也是為什麼AI可以做很多例行工作,但仍無法做到需要創造、調查類的工作。反過來講,這也意味著AI攻擊也只能做好一件事,當被訓練的攻擊手段不行,AI也無法像人類一樣自己想出別種攻擊方法。

「這其實有點像軍備競賽(arm race),」Lodewijkx說,現在駭客學習AI、取得演算法、雲端計算能力等成本都越來越低,這也讓防禦端的偵測和回應速度必須更快及精準。而這場AI資安攻防的前哨戰,才剛開打。

延伸閱讀

每日精選科技圈重要消息