網絡安全團隊必備的AI新技能

一日千里的AI技術發展讓很多科技工作者疲于奔命，甚至談AI色變，但是對于網絡安全人士來說，AI在攻防兩端掀起的安全技術革命意味著一次無可避免的技能迭代：無論是防御AI增強攻擊還是強化企業AI系統都需要新的安全技能。數據科學、人工智能和提示工程都只是新網絡安全技能的冰山一角。

隨著人工智能和機器學習模型越來越廣泛地融入企業IT架構和網絡攻擊技術，新的風險正在醞釀之中，例如大規模針對性的人工智能網絡釣魚攻擊、可以逃避傳統安全檢測的AI惡意軟件和勒索軟件、毒化AI模型的對抗性人工智能攻擊等。

傳統的網絡安全技能，例如滲透測試、威脅建模、威脅搜尋、安全工程和安全意識培訓等仍然重要，但是在新威脅背景下，這些技能都需要重新打磨以適應基于AI的新工具、新流程甚至新方法和策略。

當前的AI威脅場景

Darktrace的一項研究發現，2023年前兩個月，新型社會工程攻擊暴增了135%，這表明攻擊者可能已經開始使用生成式AI技術來提高其社會工程攻擊的規模和復雜性。

專家預計，使用生成式AI快速大規模制作魚叉式網絡釣魚電子郵件的攻擊數量將迅速增長，并可能擴展到基于音頻的生成AI（電話釣魚）。同樣，攻擊者還可能會使用神經網絡來篩選社交媒體資料，加快對高價值網絡釣魚目標的研究。

這些都是CISO們最為擔心的問題：人工智能工具泛濫導致難以檢測的復雜網絡攻擊的高度自動化和民主化。

防御AI增強攻擊的技能

從安全運營中心（SOC）的技能角度來看，攻擊的自動化并不新鮮，但人工智能會大大提高自動化攻擊的速度和威脅性。這意味著企業需要更加重視對優秀分析師和威脅獵人的人才吸引和培養，他們擅長尋找、篩選和利用新工具，提高檢測效率，快速發現和緩解新型AI增強攻擊。

隨著攻擊者越來越多地使用基于AI和ML（機器學習）的工具，安全團隊將需要新的AI自動化套件來尋找與AI增強攻擊相關的模式。這意味著企業安全團隊至少需要對AI/ML和數據科學有基本的認識和理解（相關技能或人才），才能提出正確的問題。

大型企業的安全領導者們已經開始著手建設內部數據科學和機器學習專業知識和技能。根據Forcepoint首席技術官Petko Stoyanov的說法，全球很多SOC已經開始投資招募數據科學家來開發定制化的機器學習模型，這個趨勢早在ChatGPT出現之前就開始了。隨著SOC越來越重視威脅獵人的作用，這種趨勢可能會加速，但安全領導者們可能會面臨人才短缺的問題，因為網絡安全和數據科學的復合人才極為稀缺。

企業需要通過一些創造性的人員配備和團隊建設來克服人才短缺問題。Stoyanov建議由三名專家組成快速狩獵小組，這三人分別是擁有大量安全經驗的威脅獵人、具備數據分析和機器學習經驗的數據科學家以及負責產品化和規模化的開發人員。

為威脅獵人提供數據科學和開發方面的人員和資源可以顯著提高他們尋找潛伏在網絡中的攻擊者的生產力，這種“三個臭皮匠”的策略能夠彌補企業無法招聘到復合型高級人才的缺憾。

除了社會工程攻擊之外，生成式人工智能的惡意使用帶來的另一個重大風險是自動開發惡意代碼以利用更廣泛的已知漏洞。

WithSecure研究員Andy Patel指出：“ChatGPT使編寫代碼變得極為容易，這意味著漏洞利用也將更加容易。”。Patel的團隊最近為芬蘭運輸和通信局（Finland Transport and Communications Agency）編寫了一份報告，詳細介紹了人工智能網絡攻擊的可能性。一個例子是一個新的支持ChatGPT的工具，可以更輕松地枚舉大量開源存儲庫中的安全問題，成為網絡安全面臨的一個新的潛在風險。

生成式人工智能模型會暴露更多的漏洞，當然，也可能意味著更多的漏洞會得到修復。可以確定的是，在漏洞管理領域將掀起一場人工智能軍備競賽，安全團隊將爭先恐后地利用人工智能來（搶在攻擊者之前）修復漏洞。Patel認為，在網絡安全市場將會看到“大量使用LLM（大型語言模型）進行漏洞發現的初創公司”。

除了新工具之外，AI還可能催生新的安全職位，Software AG首席布道者Bart Schouw指出：“企業可能需要提示工程師這樣的新角色來加強他們的團隊，”他說。提示工程是一項新興的技能，可以讓LLM輸出高質量內容，這在漏洞枚舉和分類等多個領域可能非常有價值。

保護AI的技能

雖然來自AI驅動的新威脅開始蔓延，但企業內部還存在另一個重大風險：人工智能系統自身（以及與之相關的訓練數據）可能受到攻擊，或導致機密性、完整性或可用性故障。

Vectra的AI研究員Sohrob Kazerounian指出：“過去5-10年，安全從業者考慮的是如何將更多人工智能整合到安全流程中；但未來5-10年，更多的AI/ML從業者需要將安全內生化到人工智能技術流程中，安全問題將成為人工智能的首要問題。”

安全專家們已經開始采取行動，將人工智能紅隊和人工智能威脅建模納入未來人工智能系統的開發和部署中。這意味著企業需要更多人工智能和數據科學人才來支持他們的紅隊。

“紅隊將不得不學習一些攻擊AI和ML系統的專業知識，”Cybrize的CSO兼聯合創始人Diana Kelley解釋道：“企業迫切需要招募對安全方面感興趣的數據科學人員，反之亦然，就像我們一些最好的應用程序紅隊人員來自程序開發人員一樣.”

這也將是AI安全設計的練習，負責在企業中開發和部署AI/ML模型的人員應接受安全團隊的培訓并與之協作，以了解風險并開展模型的安全測試，這將是未來強化這些AI系統的關鍵。

“你需要留住設計和開發ML/AI系統的專家，將他們與紅隊技術黑客組合，然后與安全運營團隊進行協作，“Anomali副總裁兼威脅情報總經理Steve Benton認為：“三方應該一起創建潛在的風險場景，對其進行測試和重新設計。企業還需要紫隊，而不僅僅是紅隊。請記住，其中一些測試可能涉及'毒藥'，您需要一個參考模型設置來做到這一點，并能夠逐個場景恢復和重新測試。”