資安新創CodeWall近日披露,他們開發的一個自主AI攻擊程式,只花約兩小時就成功入侵知名顧問公司麥肯錫的內部生成式AI平台Lilli,令AI技術的安全性,再度受到外界審視。
累積上百年研究與客戶資料,麥肯錫AI平台「Lilli」遭駭進!
麥肯錫在2023年打造了AI平台Lilli,這個平台集結了麥肯錫累積上百年的研究、報告與客戶資料,能夠幫助顧問快速完成市場研究與產業分析,大幅提升工作效率。這個平台至今獲得麥肯錫超過70%的員工使用,每月處理逾50萬次的查詢。
然而對麥肯錫如此關鍵的AI平台,卻在短短時間被攻破。尤其麥肯錫近年積極擁抱AI技術,執行長鮑伯.史特恩菲爾斯(Bob Sternfels)聲稱今年已打造2.5萬個AI代理支援4萬名員工,AI相關顧問業務已占收入的40%。
值得一提的是,CodeWall透露,他們並非一開始就選定要攻擊麥肯錫的AI平台,之所以對Lilli展開攻勢是AI代理自己評估決定的。
AI代理用「SQL注入」常見攻擊手法,漏洞在哪?
CodeWall提到,這次試驗核心的AI代理不需要人工逐步操作,能自行執行完整的攻擊流程,包括尋找目標、分析系統、發現漏洞並利用漏洞入侵。該AI先在網路上搜尋可能的目標,並發現麥肯錫公開的一份技術文件,其中列出了200多個API端點。
在分析後,AI發現其中22個端點不需要任何身份驗證即可存取。這個漏洞的根源在於,系統JSON欄位名稱直接串接到SQL查詢中,而沒有做參數化處理,使攻擊者可以把SQL指令藏在欄位名稱裡,進而取得資料庫權限。
而AI代理攻破系統則是利用相當常見的網路漏洞SQL注入。這種漏洞的原理是在字串中挾帶SQL指令,使資料庫錯誤地執行攻擊者的指令。雖然這類漏洞早在二十多年前就已廣為人知,但若系統缺乏嚴格的輸入驗證,仍可能被利用。
透過這個漏洞,AI代理能夠直接與資料庫互動,逐步推測資料表結構並擴大權限。最終它成功取得生產資料庫(production database)的完整讀寫權限,等於掌握整個AI平台背後的核心資料。
根據CodeWall的說法,系統中包含約4650萬筆員工聊天紀錄、72.8萬份文件以及5.7萬個帳號資料,內容涉及策略討論、併購計畫與客戶專案等敏感資訊。
此外,CodeWall聲稱,該漏洞理論上還能讓攻擊者修改AI的系統提示,也就是控制聊天機器人行為的核心指令。如果遭到惡意利用,攻擊者可能改變AI的回答內容,甚至讓它暗中洩露資料。
麥肯錫:已完成修復,沒有客戶資料外洩
CodeWall在發現漏洞後,也旋即向麥肯錫通報問題。目前麥肯錫已經修復相關問題。麥肯錫在公告中表示,在收到資安人員通報的Lilli安全漏洞後,他們迅速確認問題,並在幾個小時內完成修復。
同時麥肯錫強調,調查沒有發現研究人員或其他未經授權的第三方人士透過這個漏洞存取了客戶資料或機密資訊,保護客戶資料一直是他們的優先任務。
AI能自動化展開駭客行動,將成新資安風險
在突顯AI平台的資安問題以外,CodeWall表示這起事件真正的意義在於:AI正開始被用來自動化駭客行動。
CodeWall指出,AI代理之所以能找出麥肯錫運行Lilli兩年都沒能發現的問題,在於AI不會依循既定的檢查清單一一確認問題,而是能像個高超的駭客,不斷透過各個方式挖掘漏洞、升級攻擊,而且極為快速。
對企業而言,這意味著AI不僅是提升效率的工具,也可能成為新的資安風險來源。隨著企業越來越依賴生成式AI處理策略文件、客戶資料與內部知識庫,如何在導入AI的同時確保安全,將成為下一個關鍵課題。
延伸閱讀:
不只會回文了!Claude推「互動視覺」新功能,可以直接在對話框裡畫圖表
信用卡盜刷怎麼防?「卡片安全鎖」一鍵關閉海外交易:9銀行設定教學一次看
資料來源:CodeWall、The Register、Financial Times
本文初稿為AI編撰,整理.編輯/ 陳建鈞
