模型也是資產，AI或將成攻防焦點

美國舊金山時間4月24日下午，RSA Conference 2023正式公布創新沙盒本年度冠軍，人工智能安全廠商HiddenLayer一舉奪魁。本文將從創新沙盒冠軍HiddenLayer出發，進一步解讀探討AI安全。

背景

人工智能安全廠商HiddenLayer成為了最后的獲勝者，不禁讓筆者想到2018年的Big ID，場景是如此相似。

2018年4月15日RSA大會開幕，而一個月后的5月25日，通用數據保護條例GDPR將要生效，數據合規大棒將要落下，所有企業對數據安全的需求非常迫切，而主打幫助客戶滿足數據合規的BigID就成為呼聲最高的決賽選手，而BigID當年也不負眾望奪冠。今年OpenAI基于大語言模型的ChatCPT和GPT-4吸引了全世界各個行業的關注，人工智能達到了前所未有的期望高度，在一些賽前的投票中，聽聞主打AI攻防的HiddenLayer關注最多，此次奪冠也可謂是情理之中。

表1 歷年創新沙盒冠軍

AI安全將成為新的賽道

安全行業向來以細分賽道多而著稱，網絡安全、終端安全、應用安全、云計算安全、物聯網安全等等。而本次創新沙盒花落HiddenLayer，也是RSAC創新沙盒第一次把冠軍頒發給AI安全。這在印證一個趨勢：AI安全將會成為一個獨立的賽道。而這個賽道的出現背后，則是人工智能平民化、產業化。

過去來看，每次隨著新技術的出現，安全同行會考慮兩個問題，第一是這種新技術的自身安全，第二是如何使用新技術賦能安全。通常而言，人們往往會先考慮第一個問題，以解決其帶來的新風險，再利用新技術的新特性來幫助安全企業自己提升能效。其中原因是直接、新增業務機會的吸引力大于降本增效。比如云計算出現后，我們一定是先論證訪問控制、入侵檢測等機制如何應用于云環境，設計并實現虛擬化安全、云原生安全解決方案；然后再考慮使用云計算敏捷彈性的特性去重構現有的安全原子能力。其他如區塊鏈、SDWAN等技術莫不如此。

圖1 人工智能的發展

然而，人工智能卻是例外，從上世紀六十年代開始出現了三次起伏[1]，有爆發期，也有人工智能之冬。但普遍意義的人工智能時代并沒有到來，即便在Google的Alpha go擊敗了圍棋冠軍，也只是說明了人工智能在特定領域具有超越人類的能力，但棋類運動、自然語言和圖像識別等領域的成功并不能解決人類面臨的所有問題，邏輯推理、領域知識、精確決策都不是彼時人工智能擅長之處。從落地角度來看，很多公司是看著圖像和文本領域的效果不錯就拍腦袋上AI，而算法工程師的日常工作就是選模型、調參數，如何挖掘人工智能真正起作用的原理卻很少思考，最后效果不好自然也就用不起來，因而很多領域的人工智能應用得到廣泛應用，但實際效果一般。結果來看，這些人工智能的模型價值并不高。

當然，人工智能的攻防一直是學術上的熱點，如2013年就有研究通過對抗學習可以將一張增加了噪聲的大熊貓照片騙過AI，使其認為長臂猿。綠盟科技也在2022年通過“CCF-鯤鵬基金”資助了人工智能欺騙與防御的課題，有不錯的成果。

盡管如此，AI攻防在產業應用主要是在互聯網巨頭，獨立產品的商業化落地還尚在早期，所以HiddenLayer宣稱之前沒有一家安全公司是專注于模型安全。

而HiddenLayer的奪冠，將會帶動AI自身安全的產業。隨著大語言模型和通用領域的人工智能產業爆發，之后必然還有大量的初創公司基于對現有AI模型的攻防推出自己的AI安全產品，這個細分賽道將會形成。

人工智能安全也可利用既有攻防基礎

從學術上看，人工智能攻防主要是站在機器學習的視角，通過對抗樣本、對抗學習等技術欺騙模型或提高模型的健壯度、可解釋性。似乎這些技術與傳統攻防關系不大，對應的人工智能安全產品是一個內嵌于模型的緊耦合產物，所以其產品化本身難度就很大。但是HiddenLayer卻獨辟蹊徑，從基礎的安全理論和攻防技法入手，將高大上的AI安全講解為以現有安全技術人員聽得懂的形式。

例如，HiddenLayer將模型和訓練集也定義為企業中的一類資產，既然是資產就有脆弱性，也需要進行資產管理，更需要安全防護，所以從必要性上就能打動客戶。其次，它在防護框架方面提出了MLDR，復用了檢測和響應的概念，這樣模型的防護就能與EDR、NDR、MDR對等，甚至可以放置于XDR中，形成對企業AI資產的全生命周期防護。

做到了概念和框架上的自恰和兼容，具體戰法上與傳統攻防兼容是最不容易的。比如AI攻防在技術層面有成員推理、數據投毒、模型繞過、模型注入等，這些技術無論是從原理上還是從技術棧上跟傳統安全攻防是不太一樣的，如何能讓客戶理解并接受呢？幸運地是Mitre ATT&CK給出了針對機器學習的ATLAS矩陣[3]，該矩陣枚舉了諸多針對AI的攻擊所使用的技戰術，比較規范地給出了每種技術的使用場景和應對手段。而HiddenLayer則將其能力給出了ATLAS的覆蓋度，以證明自己在AI攻防領域的全面、成熟和專業程度。

從企業CISO角度來看，HiddenLayer能給出面向企業的AI資產梳理、風險發現和檢測響應系統比較完整的方案，從防護理念、架構和產品來看都能兼容已建設的安全體系，也確實能解決企業上線AI引擎后知識產權保護、數據保護等一系列的風險。

總結

大語言模型熱潮來臨，人工智能已經像云計算一樣被產業所認可，基于人工智能的通用性應用將無處不在。攻擊者若想牟利，除了傳統的網絡攻防外，還會針對人工智能挖掘其弱點，對抗學習和對抗樣本將會是攻擊者手中武器庫之一。未來人工智能的模型和訓練集將會與IT系統、云主機一樣，成為攻擊者的目標。

HiddenLayer本次奪冠，能看出傳統企業對于上AI既迫切又擔心，而GPT的成功也是為HiddenLayer奪冠推了最大一把力。希望HiddenLayer能抓住GPT這波熱潮，快速復制成功案例，將AI安全這個賽道走好走寬。

而對于廣大的安全從業者而言，除了學習網絡攻防技術之外，人工智能技術和人工智能對抗技術恐怕也要是技能棧中基礎之一。

國內公司也在做相關工作，比如綠盟科技天樞實驗室一直從事可信人工智能（XAI）的研究，以提高模型的魯棒性和可解釋性，以抵御對抗機器學習的攻擊。2022年，“基于XAI的規則知識抽取引擎”獲中國信通院2022可信AI案例和可信人工智能優秀實踐案例。我們也會繼續深入研究和孵化創新，如讀者對此感興趣，也可參與我們開源的可信人工智能項目XAIGen。