ChatGPT被用來開發勒索軟件和釣魚郵件

從撰寫釣魚郵件到編寫勒索軟件代碼，ChatGPT能幫助任何用戶（即便沒有代碼編寫和社會工程技能）開展有效的、大規模的網絡犯罪活動。

自OpenAI于11月底推出ChatGPT以來，各方專家密切關注人工智能內容創作將產生的影響，尤其是在網絡安全領域。事實上，已經有許多安全研究人員擔心生成式人工智能技術會使網絡犯罪大眾化。

最近有專家發現，任何用戶都可用ChatGPT生成惡意代碼和以假亂真的網絡釣魚電子郵件，而無需任何編碼知識和犯罪經驗。

雖然企業安全團隊也可以將ChatGPT用于防御目的，例如測試代碼，但由于大大降低了網絡攻擊的門檻（例如漏洞PoC利用），ChatGPT這樣的內容生成AI無疑使企業和個人面臨的威脅形勢變得更加復雜。

AI打開網絡犯罪的潘多拉盒子

從網絡安全的角度來看，OpenAI內容生成AI帶來的核心挑戰是：任何人，無論技術專長如何，都可以開發代碼按需生成惡意軟件和勒索軟件。

“正如它（ChatGPT）可以用于幫助開發人員永久編寫代碼一樣，它也可以（并且已經）用于惡意目的。”Tanium的端點安全專家總監Matt Psencik說。

“我已經看到幾個例子，安全研究人員要求機器人創建令人信服的網絡釣魚電子郵件或協助逆向工程代碼以找到可能被惡意使用的零日漏洞，而不是將它們報告給供應商。”Psencik說。

盡管如此，Psencik指出ChatGPT確實有內置的“護欄”，旨在防止被用于犯罪活動。

例如，它將拒絕創建shell代碼或提供有關如何創建shellcode或建立反向shell的具體說明，并標注網絡釣魚等惡意關鍵字以阻止請求。

這些保護措施的問題在于，內容生成AI的反濫用機制基于“AI的良心”——依賴AI自己識別用戶編寫惡意代碼的意圖（用戶可以精心設計查詢來混淆這些代碼的真實用途），而且違反OpenAI容政策不會立即產生（懲罰性）后果。

用ChatGPT開發勒索軟件和釣魚郵件

雖然ChatGPT推出時間不長，但安全研究人員已經開始測試其生成惡意代碼的能力。例如，Picus Security的安全研究員兼聯合創始人Suleyman Ozarslan博士最近不僅使用ChatGPT來創建網絡釣魚活動，還為MacOS創建勒索軟件。

“我們從一個簡單的練習開始，看看ChatGPT是否會創建一個可信的網絡釣魚活動，它確實做到了。我輸入了一個提示，要求編寫一封以世界杯為主題的釣魚電子郵件，用于模擬網絡釣魚，它在幾秒鐘內就創建了一封，而且使用了完美的英語（編者：語法錯誤是用戶識別釣魚郵件的一個重要指標）。”Ozarslan說。

在這個例子中（上圖），Ozarslan聲稱自己是一家攻擊模擬公司的安全研究員，希望開發一種網絡釣魚攻擊模擬工具，從而“說服”ChatGPT生成了一封網絡釣魚電子郵件。

雖然ChatGPT認識到“網絡釣魚攻擊可用于惡意目的，并可能對個人和組織造成傷害”，但它仍然在一番說教后“勉為其難”地生成了電子郵件。

隨后，Ozarslan提出了更為“過分”的要求，讓ChatGPT用Swift編寫代碼，在MacBook上找到Microsoft Office文件并通過HTTPS將它們發送到Web服務器，然后再加密MacBook上的Office文件。ChatGPT這次爽快地生成了可用的示例代碼，甚至沒有給出任何安全警告或提示。

Ozarslan的研究表明，網絡犯罪分子可以輕松地繞過OpenAI的保護措施，例如將自己定位為研究人員，以此掩蓋他們的惡意意圖。

GoUpSec的編輯人員嘗試復現Ozarslan的工作，但發現ChatGPT已經修訂規則，不再就Ozarslan的問題給出有效的釣魚郵件樣本，于是嘗試了新的繞過策略并取得了成功（下圖）：

攻守失衡

雖然ChatGPT確實為安全團隊帶來了積極的好處，但也大大降低了網絡犯罪分子的進入門檻，很有可能加速威脅環境的復雜性。

例如，網絡犯罪分子可以使用人工智能技術來大規模生產網絡釣魚內容，這將導致安全團隊不堪重負，而犯罪分子只需成功一次就可以造成數據泄露和數百萬美元的損失。

“在網絡安全方面，ChatGPT可以為攻擊者提供的東西比為防御者提供的多得多。”電子郵件安全提供商IRONSCALES的研發CVP Lomy Ovadia說。

“對于依靠使用欺騙性內容來冒充同事、公司VIP、供應商甚至客戶的商業電子郵件泄露(BEC)攻擊來說尤其如此。”Ovadia說。

Ovadia認為，如果CISO和安全領導者依靠基于策略的安全工具來檢測使用AI/GPT-3生成的內容的網絡釣魚攻擊，他們將被打敗！因為這些AI模型使用高級自然語言處理(NLP)來生成詐騙電子郵件，幾乎不可能與真實的郵件區分開來。

例如，今年早些時候，新加坡政府科技局的安全研究人員手動創建了200封釣魚郵件，并與深度學習模型GPT-3創建的郵件的點擊率進行比較，發現AI成的釣魚郵件被用戶點擊的次數更多！

真正的挑戰

雖然生成式人工智能確實給安全團隊帶來了新的威脅，但也產生了一些積極的用例。例如，安全分析師可以用ChatGPT在部署前檢查開源代碼中的漏洞。

“今天，我們看到有道德黑客使用AI來幫助編寫漏洞報告、生成代碼示例和識別大型數據集中的趨勢。這就是說，當今AI的最佳應用是幫助人類做更多人性化的事情。”HackerOne的解決方案架構師Dane Sherrets說。

然而，試圖利用ChatGPT等生成式AI解決方案的安全團隊仍然需要確保充分的人工監督以避免潛在的問題。

“ChatGPT所代表的進步令人興奮，但技術尚未發展到完全自主運行。要使人工智能發揮作用，它需要人工監督和一些手動配置，并且不能總是依靠絕對最新的數據和情報來運行和訓練。”Sherrets說道。

出于這個原因，Forrester建議實施生成式AI的企業應該部署響應的治理工作流來管理AI生成的內容和軟件，以確保其準確性，并降低發布存在安全或性能問題的解決方案的可能性。

毫無疑問的是，生成式AI（例如ChatGPT）已經打開了人工智能網絡安全的潘多拉盒子。真正的風險或者說機遇在于：在防御性AI和進攻性AI的新一輪戰爭中，防御者和攻擊者誰能更有效地學習并利用自動化技術快速提高自己的能力。