ChatGPT當安全分析師，偶爾會犯錯

上周公布的一些實驗結果已經證明，當下大熱的大型語言模型（LLM）ChatGPT可用于幫助防御者分類潛在安全事件和發現代碼中的安全漏洞——雖然這個人工智能（AI）模型并非專為此類活動而訓練的。

ChatGPT作為事件響應工具有何效用？在2月15日發布的分析報告中，卡巴斯基事件響應團隊主管Victor Sergeev發現，ChatGPT能夠識別在被黑系統上運行的惡意進程。Sergeev通過Meterpreter和PowerShell Empire代理感染了目標系統，執行了常見黑客操作，然后用ChatGPT驅動的掃描器針對系統進行掃描。

在描述實驗的博客文章中，Sergeev寫道，這個LLM識別出系統上運行著兩個惡意進程，并精準略過137個良性進程，很大程度上降低了潛在開銷。

“ChatGPT成功識別出可疑服務，且沒有誤報。至于第二項服務，ChatGPT給出了結論，說明為什么該服務應該被歸為入侵指標。”

安全研究人員和AI黑客都對ChatGPT投諸極大興趣，探索這個LLM的弱點；而其他研究人員和網絡罪犯則試圖黑化這款LLM，以之產出效果更好的網絡釣魚電子郵件或生成惡意軟件。

圖：ChatGPT發現入侵指標（IoC），誤報很少

不過，安全研究人員也關注這款通用語言模型在特定防御相關任務上的表現。去年12月，數字取證公司Cado Security通過ChatGPT用事件的JSON數據創建了入侵時間線，形成了很不錯但并不完全準確的報告。安全咨詢機構NCC Group嘗試用ChatGPT查找代碼中的漏洞，ChatGPT不負所望，但并不總能那么準確。

NCC Group首席科學家Chris Anley得出結論：安全分析師、開發人員和逆向工程師使用LLM需謹慎，尤其是用在LLM能力范圍之外的任務之上的時候。

“我確實認為專業開發人員和其他處理代碼的人都應該探索ChatGPT及類似模型，但更多的是用作啟發而不是追求絕對正確的實際結果。安全代碼審核不是我們該用ChatGPT做的事兒，所以期待它一出場就完美亮相多少有點不公平。”

用AI分析IoC

卡巴斯基的實驗以詢問ChatGPT幾款黑客工具的相關情況開始，比如Mimikatz和Fast Reverse Proxy。ChatGPT很好地描述了這些工具，但未能正確識別眾所周知的散列值和域名。比如說，WannaCry惡意軟件廣為流傳的一個散列值就沒識別出來。

不過，主機惡意代碼識別的成功促使Sergeev開始要求ChatGPT創建PowerShell腳本，用以收集系統的元數據和入侵指標并將之提交給ChatGPT。在手動改進了代碼之后，Sergeev在被感染的測試系統上使用了該腳本。

這位卡巴斯基分析師用ChatGPT分析了測試系統上總共3500多起事件，找出74個潛在入侵指標，其中17個是誤報。實驗表明，ChatGPT可以幫助未運行端點檢測與響應（EDR）系統的公司收集取證信息，有助于檢測代碼混淆或逆向工程代碼二進制文件。

Sergeev還警告道，不準確是個非常現實的問題。“要注意LLM可能產生的誤報和漏報。”他寫道，“這終究不過是又一個會產生非預期結果的統計神經網絡而已。”

Cado Security的分析則揭示，ChatGPT通常不確定其結果的可信度。“這就是OpenAI自己引發的對ChatGPT的共同關切——ChatGPT會幻聽，而且幻聽的時候還很自信。”

需澄清合理使用及隱私規則

實驗還引出了一些關鍵問題，有關提交給OpenAI ChatGPT系統的數據。公司已經開始反對用互聯網上的信息創建數據集了，Clearview AI和Stability AI等公司正面臨訴訟，要求限制其機器學習模型的使用。

另一個問題是隱私。NCC Group的Anley表示，安全專業人員必須確定提交的入侵指標是否會暴露敏感數據，或者提交軟件代碼供分享是否侵害了公司的知識產權。

“向ChatGPT提交代碼是否是個好主意很大程度上取決于所處境況。”他說道，“很多代碼都是專有的，受到各種法律保護，所以我不會建議向第三方提交代碼，除非獲得許可。”

Sergeev發出了類似的警告：使用ChatGPT檢測入侵必然會向這個系統發送敏感數據，這就有可能違反公司政策，帶來業務風險。”

“使用這些腳本，你將數據發送給OpenAI，包括敏感數據。所以，謹慎點兒，先咨詢下系統擁有者。”