營銷噱頭or賦能利器？生成式AI對網絡安全的真正作用在哪里？

網絡安全行業的任何地方——會議舞臺、貿易展廳或頭條新聞——業內最大的公司都聲稱，生成人工智能將改變你所知道的關于保護網絡和智勝黑客的一切。無論是微軟的Security Copilot、谷歌以安全為中心的大型語言模型、Recorded Future的威脅情報分析師AI助手、IBM新的AI驅動的安全產品，還是來自Veracode的用于發現代碼缺陷的全新機器學習工具，科技公司都在爭先恐后推出他們最新的網絡安全人工智能產品。 在上個月的RSA大會上——舊金山網絡安全專業人士的名人聚會——你在展廳地板上走幾英尺就會撞到一位推銷他們公司新的AI產品的銷售人員。從聳人聽聞的廣告，到夸夸其談的推銷，再到國家安全高級官員更有條理的談話，每個人都在談論人工智能。相對冷靜、客觀的看法是，生成人工智能的防御性網絡安全應用還處于起步階段。

近年來機器學習的快速發展使人工智能的潛在能力顯而易見。不太明顯的是該技術將如何在安全環境中有效部署，以及它是否會實現其最大支持者承諾的重大突破。 

在十幾次采訪過程中，研究人員、投資者、政府官員和網絡安全高管絕大多數表示，他們正以懷疑和興奮的心情關注生成式人工智能的防御潛力。他們的懷疑源于一種懷疑，即營銷炒作歪曲了該技術的實際功能，并且認為AI甚至可能引入一組新的、人們知之甚少的安全漏洞。

但這種懷疑被真正的興奮所掩蓋和緩和。通過按實際口語而不是代碼處理人類語言，自然語言處理技術可以使人類和機器以新的方式進行交互，并帶來不可預知的好處。網絡安全公司SentinelOne研究部門SentinelLabs高級主管胡安·安德烈斯·格雷羅-薩德 (Juan Andres Guerrero-Saade)表示：“這是我們看到人機交互發生根本性轉變的時刻之一，計算機更適合我們自然做事的方式。” 

對于網絡安全行業的資深人士來說，圍繞AI的大肆宣傳讓人感覺似曾相識。生成人工智能（可以復制人類語音并與用戶交互的工具）的最新進展引起了公眾的關注，但在過去十年中，網絡安全公司廣泛部署了支撐它的機器學習技術。機器學習工具已經為防病毒、垃圾郵件過濾和網絡釣魚檢測工具提供支持，而“智能”網絡防御的概念——一種使用機器學習來適應攻擊模式的防御——已經成為網絡安全行業的營銷主題。 

網絡安全公司Protect AI的首席信息安全官戴安娜·凱利(Diana Kelley) 說：“這些機器學習工具非常擅長說這是一種人類無法在所有這些海量數據中找到的模式。”

在網絡安全環境中，機器學習工具主要位于后臺，為基本功能提供支持，但生成式人工智能的革命可能會改變這一點。這在很大程度上是由于行業領導者OpenAI發布其生成AI產品的積極性。

近年來，隨著技術的進步，像谷歌這樣的AI老牌企業在許多技術進步方面的先驅使當今的生成式AI工具成為可能，但對于將其產品推向市場猶豫不決。相比之下，OpenAI使其AI工具更容易獲得，并構建了流暢的用戶界面，使使用他們的語言模型變得異常容易。微軟已將數十億美元的投資和云計算資源投入到OpenAI的工作中，現在正在將這家初創公司的大型語言模型集成到其產品中，從而使OpenAI能夠接觸到龐大的客戶群。 

這讓競爭對手開始追趕。在他最近在谷歌開發者大會上發表的主題演講中，公司首席執行官桑達爾·皮查伊(Sundar Pichai)多次提到某個版本的“人工智能”，以至于他的表演變成了一個即時傳播的視頻，將他對這項技術的數十次引用剪輯在一起。 

由于人工智能公司是科技行業中為數不多的幾個在經濟放緩的情況下仍然吸引風險投資的公司之一，今天的初創企業很快就聲稱他們也在將生成人工智能納入他們的產品。在上個月的RSA會議上，與會投資者被聲稱將AI用于網絡安全環境的公司的宣傳所淹沒，但很多時候，生成的AI搭配似乎只是空話。

“我們在展會上看到的是，很多人在ChatGPT上拍打前端并說，'嘿，看看這個很酷的產品，'”風險投資公司Gallos的網絡安全投資者William Kilmer說，來描述他在RSA參加的大量推介會，并略微聲稱使用了生成式AI。 

隨著公司急于吸引資本和客戶，生成人工智能的現實很容易在營銷文案中被掩蓋。SentinelLabs的Guerrero-Sade認為：“我們這里面臨的最大問題是營銷、喂養營銷、喂養營銷。” “此時，人們準備打包，并說安全問題已經解決——走吧！這些都不是真的。”

因此，將炒作與現實區分開來對投資者、技術專家、客戶和政策制定者來說是一個嚴峻的挑戰。

白宮最高網絡安全顧問安妮·紐伯格(Anne Neuberger)將生成式人工智能視為在防御計算機系統方面做出重大改進的機會，但認為該技術尚未充分發揮其潛力。

正如Neuberger所見，生成式AI可以用來清理舊代碼庫，識別開源存儲庫中缺乏專門維護人員的漏洞，甚至可以用來以人們難以編寫的形式語言生成可證明安全的代碼。她認為，運行廣泛的端點安全系統并有權訪問它們生成的數據的公司能夠很好地訓練有效的安全模型。 

“歸根結底，有很多機會可以加速網絡安全和網絡防御，”Neuberger告訴CyberScoop。“我們想要做的是確保在進攻和防守之間的追逐中，防守的移動速度要快得多。尤其是這種情況，因為可以使用大型語言模型比以前更快地生成惡意軟件。”

但另一方面，在安全敏感的上下文中有效地實施大型語言模型面臨著重大挑戰。Neuberger在擔任國家安全局官員期間表示，當該機構開始使用語言模型來補充分析師的工作、進行語言翻譯以及優先考慮人類分析師應該檢查的情報時，她親眼目睹了這些障礙。

清理數據以使其可用于機器學習需要時間和資源，一旦該機構推出模型供分析師使用，一些人就會抵制并擔心它們可能會被取代。Neuberger說：“人們花了一段時間才接受這種模型可以進行分類并賦予它們更有效的作用。”

對于像Guerrero-Saade和其他接受CyberScoop采訪的網絡安全從業者來說，生成人工智能的一些最令人興奮的應用在于逆向工程，即理解軟件試圖做什么的過程。惡意軟件研究社區迅速接受了生成人工智能的使用，并且在ChatGPT發布后的一個月內發布了一個插件，將聊天機器人與軟件反匯編工具IDA Pro集成在一起。即使擁有多年的逆向工程經驗，Guerrero-Saade仍在從這些工具中學習，例如當他參加最近的培訓時，并沒有完全理解所有內容并依靠ChatGPT 開始。 

紐約研究助理教授哈蒙德·皮爾斯(Hammond Pearce)表示，當ChatGPT作為一種“膠合邏輯”發揮作用時，它真正發揮作用，在這種“膠合邏輯”中，它充當彼此不相關的程序或與人類無關的程序之間的翻譯器。“并不是說ChatGPT本身并不令人驚奇，因為它確實很棒，但它是ChatGPT與其他技術的結合……當新產品開始問世時，這真的會讓人們驚嘆不已。”

目前，生成人工智能的防御性網絡安全應用還處于起步階段。也許最著名的此類產品——Microsoft的Security Copilot——在征求反饋意見時，仍對公司的少數客戶進行私人預覽。使用它需要集成到Microsoft安全堆棧并運行公司的其他安全工具，例如Intune、Defender和Sentinel。 

Copilot提供了一個類似于ChatGPT的輸入系統，并允許用戶查詢一個大型語言模型，該模型同時使用OpenAI的GPT-4和微軟關于安全警報、事件和惡意代碼的模型。目標是通過為分析師提供一種工具來節省他們的時間，該工具可以快速解釋他們正在檢查的代碼或事件，并能夠快速吐出分析產品——包括接近最終的幻燈片。 

微軟副總裁兼公司AI安全架構師Chang Kawaguchi將當前一代機器學習與人類語言一起工作的能力——即使是安全等技術性很強的主題——視為“階躍功能變化”。Kawaguchi的同事在演示Copilot時收到的最一致的反饋是：“哦，天哪，感謝您為我們生成PowerPoint。就像，我討厭我工作的那一部分。”

“我們不可能用上一代機器學習做到這一點，”Kawaguchi告訴CyberScoop。 

盡管它們很聰明，但今天的機器學習工具仍然非常容易犯傻。即使在Microsoft的Copilot YouTube演示中，該公司的推銷員也在煞費苦心地強調其局限性，并指出該模型引用了Windows 9——一款不存在的軟件——作為它如何傳達虛假信息的示例。 

隨著它們的部署越來越廣泛，安全專家擔心生成式人工智能工具可能會引入新的、難以理解的安全漏洞。“現在沒有人應該相信這些大型語言模型是可靠的，”加州大學伯克利分校人工智能安全計劃主任杰西卡.紐曼說。

Newman將大型語言模型比作“指令跟隨系統”——這意味著它們可以根據指令進行惡意行為。這類攻擊——被稱為“快速注入”——使模型容易以難以預測的方式被操縱。此外，紐曼指出，人工智能系統還存在典型的安全漏洞，容易受到數據中毒攻擊或對其底層算法的攻擊。 

解決這些漏洞特別困難，因為大型語言模型的性質意味著我們通常不知道它們為什么會輸出給定的答案——即所謂的“黑匣子”問題。就像一個黑盒子，我們看不到大型語言模型的內部，這使得他們的工作難以理解。雖然語言模型正在迅速發展，但提高其可解釋性的工具并沒有以同樣的速度前進。 

“制造這些系統的人無法可靠地告訴你他們是如何做出決定的，”紐曼說。“在處理變革性技術時，這些先進人工智能系統的黑匣子性質是前所未有的。”

這使得安全關鍵系統的操作員——例如，在能源行業——對大型語言模型的部署速度深感擔憂。“我們對LLM在網絡物理世界中的采用和部署速度感到擔憂，”西門子能源副總裁兼工業網絡和數字安全全球負責人Leo Simonovich說。

Simonovichn說，在運營技術領域——運行關鍵機器和基礎設施的計算機——人工智能的采用一直很緩慢，“這是正確的”。“在我們的世界中，我們已經看到出于安全目的對AI的真正猶豫，特別是將AI驅動的IT安全應用程序引入OT空間。”

隨著語言模型的部署越來越廣泛，安全專業人員也擔心他們缺乏合適的語言來描述他們的工作。當LLM自信地輸出錯誤信息時，研究人員開始將此類陳述描述為“幻覺”——這個術語將遠離人類的計算機系統擬人化。 

LLM的這些特性可能會導致人機之間不可思議的交互。《實用網絡安全架構》一書的作者凱利，她問過各種LLM，她是否寫過一本書。LLM不會描述她確實寫過的書，而是會描述一本她沒有——但很可能——寫的關于零信任的書。

“那是巨大的幻覺嗎？或者這只是很好的舊數學概率？這是第二個，但很酷的術語是幻覺。” 凱利說。“我們必須考慮我們如何談論它。”

最近，微軟進行了一項研究，其中他們談到了GPT-4如何學會像人一樣思考 。這份155頁的報告分析了語言模型如何在人類層面處理各種任務。研究人員還測試了GPT-4對人類心理和邏輯的理解程度，并進行了一系列帶有有趣查詢的實驗。報告認為，認為GPT-4可以被視為通用人工智能系統的早期（但還不夠）版本，因為它具有廣泛而深入的能力。