應用安全的盲點與熱點：AI安全

隨著AI（人工智能）技術引爆點的到來，AI安全風險快速累積，已經成為應用安全的新盲點和新熱點。

AI正在吃掉世界

硅谷大佬們曾經常掛在嘴邊的一句話是：“軟件正在吃掉世界”，如今，隨著ChatGPT為首的大語言模型人工智能的降臨，人工智能市場突飛猛進，“AI正在吃掉軟件（世界）”已經成了業界的共識。

幾乎是一夜之間，從內容創作者到大型科技公司的首席執行官，每個人都空前賣力地自發炒作人工智能話題。原因很簡單，人工智能已經展現出了掀起一場新的工業革命的潛力。

雖然近日美國上千名科技精英和技術專家聯名簽署公開信，呼吁全球所有AI實驗室未來六個月內暫停開發比GPT-4更強大的（接近通用人工智能的）AI系統，以避免當前AI風險控制和“對齊”能力滯后導致的“對社會和人類的深遠風險”。但是ChatGPT發動的AI技術革命已經無法關閉和暫停，至少對于黑客和網絡犯罪分子如此。

毫無疑問，每個人、每家公司，都將在未來幾年內成為人工智能的重度用戶。但是有一個重要問題被大多數人忽視了，那就是（企業內部部署和訓練的）人工智能應用也帶來了許多網絡安全團隊沒有意識到的新風險。

應用安全的新熱點：AI安全

就像幾十年前應用安全是傳統網絡防火墻的盲點，針對人工智能的攻擊也是當下應用安全的盲點，或者說，新命題。

針對AI的攻擊原理

對AI的攻擊往往會針對機器學習的工作方式。機器學習是人工智能的引擎，機器學習模型從訓練數據中學習，并建立基于這些數據做出決策的能力。

最初，模型可能會犯錯誤，這些錯誤會根據實際數據進行檢查并用于對其進行微調。你提供給模型的數據越多，隨著時間的推移，它就越準確。

看看上圖，您如何評估其安全性？

您要掃描底層基礎架構嗎？訪問控制？還是防護暴露的API？

從風險控制的角度來看，以上都是應該采取的措施。

大多數攻擊者會嘗試破壞機器學習和人工智能應用程序，篡改決策過程，或者提取訓練數據。

但是，您如何確定模型是否易受攻擊？如何應對針對AI的獨特攻擊呢？我們有必要先了解一下當前主流的針對AI系統的攻擊。

常見的針對AI系統的攻擊

一、繞過攻擊

顧名思義，逃避攻擊是攻擊者試圖繞過或“逃避”機器學習模型。

這些通常是通過對提供給模型的數據進行小的更改來完成的。

人類無法察覺的細微的數據篡改就可能會導致ML模型做出截然不同的決定。

• 如果攻擊者可以繞過用于惡意軟件檢測公司的機器學習模型怎么辦？
• 或者通過對圖像進行微小的更改來欺騙面部識別系統？
• 或者讓自動駕駛汽車認為一棵樹是一條開闊的道路？

如何防護

• 防止繞過攻擊的第一步是找出您的模型是否容易受到攻擊。
• 就像網絡安全團隊進行滲透測試和安全審查以發現安全漏洞一樣，需要進行基于AI的安全測試。
• 逃避攻擊可以通過使用“對抗性樣本”來發現，這些樣本旨在測試針對這些攻擊的模型。
• 盡快將其納入安全測試流程。
• 查找此類攻擊示例最佳資源是SecML，一個開源的Python庫，用于機器學習（ML）算法的安全性評估。

二、推理攻擊

與繞過攻擊類似，推理攻擊也會嘗試“欺騙”模型，并使它們以從未設計過的方式行事。

推理是一種讓模型披露有關模型如何工作以及使用哪些數據來訓練它的信息的方法。模型通常會暴露API，攻擊者可以繼續查詢這些API，直到他們能夠繪制模型工作方式的完整畫像。

通過推理攻擊，攻擊者能夠重建用于訓練機器學習模型的人臉。這種攻擊可能非常危險，特別是對于金融機構、執法等敏感行業中使用的模型。

如何防護

• 就像應用安全的基本原則之一是清理輸出一樣。ML模型必須清理它們所響應的內容。在響應中泄露過多信息可能會允許惡意攻擊重建機器學習邏輯和所使用的數據。
• 嘗試提供經過凈化和匿名處理的響應（輸出），使攻擊者難以找出AI系統的內部工作原理。

三、中毒攻擊

勒索軟件是企業的噩夢，攻擊者會加密或“污染”企業的關鍵數據。同樣，數據也是機器學習模型的命脈，同樣會被攻擊者針對并受到污染。

通過“中毒攻擊”，攻擊者可以使機器學習模型的輸出精度大幅下降甚至變得不可用。

例如，將特定惡意軟件添加到用于訓練反惡意軟件解決方案的數據中，導致該惡意軟件無法被檢測。

企業需要確保訓練中使用的數據的整個生命周期都是安全的，這一點至關重要。

如何防護

• 必須嚴格檢查人工智能模型訓練數據的安全控制，確保數據不會被篡改。這說起來容易做起來難，因為大多數公司都外包了數據模型，而不是在內部維護它們。
• 正如對應用程序進行質量測試以確保能正常工作一樣，每次訓練數據刷新后都必須檢查機器學習模型，以確保其功能未被錯誤數據篡改。

如何創建AI安全文化

企業需要對AI系統實施控制措施，同時建設相應的AI安全文化，加固AI安全相關的人員、技術和流程，以防止針對AI的攻擊。

以下是AI安全文化建設方面的一些建議：

• 網絡安全團隊需要接受AI攻擊相關的技術和意識培訓。網絡安全行業現在還沒來及開發并提供AI應用程序防火墻，因此對于開發或部署AI的企業來說，了解此類攻擊是如何發生的，并在人員和流程領域進行加固至關重要。
• 將企業機器學習模型可能受到的攻擊納入威脅建模。
• SIEM解決方案能否檢測攻擊者掃描ML模型API的目的？以此為起點開始建立你的AI安全監控功能。
• 讓滲透測試團隊研究MITRE ATLAS等資源，這是了解AI攻擊與防御的重要資源。