最危險的十大AI攻擊

人工智能（AI）威脅已經兵臨城下，即使沒有ChatGPT的大肆炒作，AI風險也會是2023年安全研究人員日益關注的新興威脅。

安全專家們警告CISO，面對AI風險，企業正在打一場雙線戰爭。他們不僅需要警惕對抗性AI攻擊對企業AI和機器學習(ML)模型構成的威脅，而且還必須保護自己免受壞人使用AI發動的攻擊。以下是CISO必須了解的十大AI攻擊：

1、AI中毒攻擊

從數據和流程完整性的角度來看，CISO應該重點關注的一類攻擊是中毒攻擊。此類攻擊的原理是通過操縱深度學習模型的訓練數據入侵模型，甚至可以操縱其輸出攻擊者想要的結果。模型中毒只是AI完整性問題的冰山一角。大型語言模型(LLM)正受到風險和彈性研究人員的重點關注，后者正積極探索反饋循環和AI偏見等問題如何使AI輸出不可靠。

2、武器化模型

數據科學和AI/ML研究植根于學術界，依賴高度協作和迭代開發，而這種開發依賴大量共享——無論是數據共享還是模型共享。這會給人工智能供應鏈帶來重大風險，就像應用安全人員處理的軟件供應鏈安全問題。

最近的研究概念驗證了攻擊者可以將惡意代碼嵌入到預訓練的機器學習模型中，利用公共存儲庫中的ML模型對組織進行勒索軟件攻擊。攻擊者可以通過劫持公共存儲庫中的合法模型、植入惡意代碼將其武器化。

3、數據隱私攻擊

人工智能的最大風險實際上是數據安全和數據隱私威脅。如果AI模型沒有采用足夠的隱私措施，攻擊者就有可能破壞用于訓練這些模型的數據的機密性。一些攻擊，如成員推理，可通過查詢模型以確定模型中是否使用了特定的數據——這在醫療領域可能會成為大麻煩，因為通過攻擊研究特定疾病的AI模型，攻擊者有可能推斷出某人是否患有某種疾病。

同時，模型反推（Model Inversion）之類的訓練數據提取攻擊實際上可以重建訓練數據。這是一個挑戰，因為“使用機密或敏感數據訓練的ML系統會在訓練中將數據的某些屬性植入模型。”Berryville機器學習研究所的聯合創始人Gary McGraw解釋說。

4、模型提取攻擊

攻擊者不僅可以從AI/ML部署中竊取數據，還可能通過各種類型的模型盜竊攻擊來竊取特定AI/ML模型工作原理和方法的機密信息。攻擊者最有可能采用直接措施，例如通過網絡釣魚或密碼攻擊入侵私人源代碼存儲庫，以徹底竊取模型。

但研究人員還探索了攻擊者如何對他們無法用上述方法訪問的模型實施模型提取攻擊，通過系統地查詢模型來重建模型如何預測某事。那些對與核心產品緊密相關的專有AI模型進行大量內部投資的組織的CISO尤其需要警惕此類攻擊。

5、海綿攻擊

2023年RSA會議有一個專家小組討論了CISO將在未來幾年面對的即將到來的AI風險和彈性問題。討論最引人矚目的一個話題是一種新興攻擊——海綿攻擊。在這種攻擊類型中，對手可通過特制輸入來消耗模型的硬件資源，從而對AI模型進行拒絕服務攻擊。

“該攻擊試圖讓神經網絡使用更多的計算，以達到可能超過系統可用計算資源的程度，并導致系統崩潰。”CalypsoAI的首席執行官Neil Serebryany解釋道。

6、快速注入攻擊

老一輩開發人員常掛在嘴邊的格言是永遠不要相信用戶輸入，因為這樣做容易導致SQL注入和跨站點腳本等攻擊。針對常規應用程序的注入攻擊已經非常普遍，在最新的OWASP前10名中仍然占據第三位。現在隨著生成AI的加入，CISO也將不得不擔心針對AI系統的快速注入攻擊。

提示注入是輸入惡意制作的提示（詞）到生成AI中，以引發不正確、不準確甚至可能具有攻擊性的響應。這個問題可能特別麻煩，因為越來越多的開發人員將ChatGPT和其他大型語言模型(LLM)集成到他們的應用程序中，以便用戶的提示被AI處理并觸發一些其他操作，例如將內容發布到網站或制作自動電子郵件，這方面的潛在威脅還包括生成或傳播錯誤甚至煽動性的信息。

7、逃避攻擊

逃避攻擊是最著名的一類對抗性AI攻擊，其中一些攻擊非常簡單，甚至很有趣。這些攻擊可以通過一些視覺欺騙來逃避檢測或分類系統——比如面部識別或自動車輛視覺系統。例如，在停車標志上使用惡意制作的貼紙可能會使自動駕駛汽車無法正確閱讀。

最近，在機器學習規避競賽(MLSEC 2022)上引起廣泛關注的一次攻擊中，攻擊者讓AI面部識別系統微調名人照片，讓他們被識別為完全不同的人。

8、人工智能生成的網絡釣魚和BEC誘餌

上述大多數攻擊都是針對企業AI系統的攻擊。壞人不僅會探索AI系統的缺陷，同時還會利用AI來增強他們對企業應用和系統的攻擊。

攻擊者的手段正不斷增加，例如用像ChatGPT這樣的生成人工智能來自動創建網絡釣魚電子郵件。安全研究人員已經報告說，自從ChatGPT在線發布以來，網絡釣魚的數量和“成功率”都有所增加。這是一個巨大的威脅，被列入SANS 2023年最危險的5大網絡攻擊名單。

9、Deepfake BEC和其他騙局

ChatGPT已經將deepfake（深度偽造）攻擊從理論變成了現實威脅。CISO應該努力提高企業范圍的安全意識，幫助員工認識到語音和視頻等人工智能生成的媒體比以往任何時候都更容易制作，這使得冒充CEO或其他高管實施BEC商業電子郵件攻擊騙取大筆資金變得非常容易。

10、人工智能生成的惡意軟件和漏洞發現

安全研究人員預計，攻擊者將越來越依賴生成式AI來幫助他們制作惡意軟件并快速發現目標系統中的漏洞，以比他們此前已經開始使用的其他自動化技術效率高得多，能夠快速擴大攻擊規模。這也是SANS 2023年列舉的最危險的五大網絡攻擊中的一種。

在RSAC 2023上，SANS安全專家史蒂文·西姆斯(Steven Sims)展示了即使是不懂技術的犯罪分子也可以輕松獲得ChatGPT來生成勒索軟件代碼，或者在一段代碼中發現零日漏洞。