ChatGPT火了，將給網絡安全行業帶來什么影響？
一. 簡介
作為全新的人工智能（AI）聊天機器人，ChatGPT被認為正在“掀起新一輪AI革命”。在股市上甚至出現了“ChatGPT概念股”的當下，ChatGPT究竟對于網絡安全行業會產生怎樣的影響，是值得思考的一個問題。
ChatGPT由OpenAI公司在2022年11月30日發布。在同樣由OpenAI開發的GPT-3.5模型基礎上，ChatGPT通過監督學習與強化學習技術進行微調，并提供了客戶端界面，支持用戶通過客戶端與模型進行問答交互。ChatGPT不開源，但通過WebUI為用戶提供免費的服務。
ChatGPT的主要優點包含：1、知識豐富，具備許多細分行業知識；2、能夠關聯上下文；3、輸出回答高度類似人類語言。對于具備這些特征的ChatGPT，已經不能簡單地將其看作一個傳統意義上的工具或系統， ChatGPT對網絡安全行業產生的影響，也是一個比較復雜的問題。
在ChatGPT概念大火的當下，綠盟科技對ChatGPT可能對網絡安全造成的影響做了深入的調研分析。大體上看，ChatGPT對于網絡安全的影響，可以依照積極面與消極面來進行區分，其中，ChatGPT對網絡安全的消極影響包含：1、ChatGPT可以作為攻擊武器；2、ChatGPT的使用具有隱私泄露風險；3、ChatGPT可能被濫用，編造虛假消息等，從而導致輿論問題，危害社會穩定，并對教育、內容創作等一些行業的穩定發展造成危害。ChatGPT對于網絡安全的積極影響包含：1、ChatGPT可以改善網絡安全產品的用戶交互；2、ChatGPT能夠輔助處理一些網絡安全任務；3、ChatGPT能夠作為智能顧問提供威脅情報與緩解建議。
圖1 ChatGPT對網絡安全的影響
二、ChatGPT對網絡安全的消極影響
ChatGPT對網絡安全的消極影響可以從三個維度進行討論：1、攻擊武器；2、安全隱私；3、社會影響。
2.1攻擊武器
ChatGPT具備生成可用于網絡攻擊的腳本、釣魚郵件的能力，也能被用來解密一些較易解密的加密數據。根據某安全研究人員發布的報告，在ChatGPT上線的幾周內，網絡犯罪論壇的參與者，包括一些幾乎沒有編程經驗的“腳本小子”正在使用ChatGPT編寫可用于間諜、勒索軟件、惡意垃圾郵件和其他不法活動的軟件和電子郵件。
然而，從技術維度上看，ChatGPT能夠做的事情仍然比較有限。即使拋開其生成攻擊腳本或執行任務的準確率不談，ChatGPT能夠處理的工作仍然顯得比較簡單。例如圖2、圖3使用ChatGPT執行的任務[1]，基本上具備一定基礎知識的黑客，都可以通過一些在線工具或已有腳本得到同樣的效果，即ChatGPT的能力并不能達到或超越具有專業知識和經驗的真人黑客。在攻擊武器化上，ChatGPT起到的作用僅僅是提高了黑客的攻擊效率。至于效率的具體提升程度，ChatGPT對于具有專業知識和工具庫的黑客來說提高不甚明顯（批量生成不同的釣魚郵件可能是一個特例），但對于“腳本小子”，即新手黑客來說能有比較大的提升。因此目前來看，ChatGPT的攻擊武器化，并不會使得網絡攻擊更為復雜或精細，主要還是降低了網絡攻擊的入門門檻。但由于新手黑客往往不具備黑客經驗，故若其完全依賴ChatGPT進行攻擊，被攻擊方防御、溯源這些攻擊的難度也不會太高。在被攻擊方部署了一定安全產品的情況下，這些攻擊一般很難造成重大影響。
圖2 利用ChatGPT生成XSS 負載
圖3 利用ChatGPT解密JWT令牌
此外，如圖4、圖5所示，由于OpenAI的內容安全策略不斷升級，我們發現自2023年1月開始，若要直白地讓ChatGPT作為武器來輔助網絡攻擊，有較大的概率會被拒絕。雖然有報道稱黑客開發了繞開內容安全策略的工具，且通過Prompt Injection攻擊可以使ChatGPT執行其本來會拒絕的指令[2]，但日漸嚴苛的內容安全策略無疑也提高了ChatGPT武器化的門檻，使得其對于網絡安全的危害得到了一定程度的緩解。隨著OpenAI進一步強化內容安全策略，ChatGPT作為攻擊武器輔助網絡攻擊的門檻也會進一步提高。
圖4 利用ChatGPT生成釣魚郵件，生成一半時被安全策略阻斷
圖5 利用ChatGPT生成SQL注入腳本，被直接拒絕
因此，利用ChatGPT輔助網絡攻擊對網絡安全造成的消極影響，在總體上來說仍處于一個可控范圍。在未來，伴隨AI生成內容檢測技術的發展與ChatGPT自身內容安全策略的演進，ChatGPT武器化造成的不良影響將被進一步壓縮。
2.2安全隱私
ChatGPT作為基于復雜AI模型的應用，又處于直接面向用戶的場景，且短期獲得了大量用戶，因此我們有必要對ChatGPT獨特的安全隱私問題進行研究，以分析ChatGPT的廣泛使用可能對用戶的安全隱私帶來怎樣的影響。
AI應用一般面臨的投毒攻擊、閃避攻擊、推理攻擊、模型提取等攻擊，由于ChatGPT底層模型復雜，且目前仍無技術文檔解釋ChatGPT應用是否只包含GPT模型而沒有其他組件或輔助模型參與任務，加之能夠用來分析比較的同類競品應用也比較少，故對仍是完全黑盒環境的ChatGPT應用，使用上述攻擊手段存在一定的困難。目前仍未見到上述攻擊手段在ChatGPT上成功的案例。
然而，ChatGPT的高度“智能化”也導致其存在自己獨特的安全問題：Prompt Injection。
圖6 Prompt Injection攻擊
如圖6所示，ChatGPT由于無法聯網，所以并不知道當前時間，因此OpenAI原本設計讓ChatGPT拒絕回答當前時間這個問題。但用戶通過給ChatGPT設定一系列ChatGPT能夠接受的假設，比如讓其認為自己不是一個AI，且不用對回答負責，并不允許ChatGPT提示不能執行指令，這樣ChatGPT就會執行按照原本設計不會執行的指令[3]，ChatGPT就會直接給出自己認為最有可能的當前時間。通過這樣的方法，用戶對ChatGPT的使用就可以違背開發者原本的意愿與設計。
圖7 另一個Prompt Injection案例
此外，如圖7所示，我們還可以假設一個場景，比如讓ChatGPT認為自己在寫小說，使得ChatGPT執行原本不應該被執行的命令。
Prompt Injection的案例表明，利用ChatGPT的高度“智能化”，用戶可以繞過OpenAI設置的內容安全策略，從而對ChatGPT進行濫用。由于底層原理接近，這類安全問題可能對包含ChatGPT在內的高“智能化”大語言模型應用都存在一定的效果，因此致力于相關工作的開發者應對其予以足夠關注，避免用戶對產品的使用超出原設計范圍。然而，構建Prompt Injection畢竟需要一定的時間成本，且隨著OpenAI對ChatGPT的升級，已知的Prompt Injection案例可能隨時會失效。因此，雖然Prompt Injection攻擊為濫用ChatGPT提供了可能，但若要批量地、自動化地濫用ChatGPT，仍然具有一定的難度。
此外，在輔助編程這一應用場景上，我們認為ChatGPT的應用可能也存在一定的安全隱患。在2022 IEEE Symposium on Security and Privacy (SP)會議上，論文《Asleep at the Keyboard? Assessing the Security of GitHub Copilot’s Code Contributions》[3]詳細地分析了另一AI生成代碼產品Copilot生成的代碼。該文指出，Copilot生成的代碼中存在大量可被攻擊者利用的已知安全漏洞，如圖8所示，若直接使用這些AI生成的代碼到工程應用中，將會為程序引入巨大的安全風險。由于AI模型生成代碼的原理是從大量的訓練數據，即代碼案例中提取概率分布特征，并依照概率特征最終輸出模型認為與用戶輸入最匹配的代碼案例，故生成代碼的質量與訓練模型時使用的案例有很大關系。若代碼生成模型的訓練人員不具備網絡安全知識，則很容易將包含安全漏洞的代碼案例作為訓練樣本輸入模型，使得模型更傾向于輸出包含安全漏洞的代碼。雖然目前尚無系統性的研究證明ChatGPT也會如同Copilot一樣生成包含安全漏洞的代碼，但由于兩者實現原理接近，因此在使用ChatGPT生成的代碼時也應慎重，以防生成代碼中包含可利用的已知安全漏洞。
圖8 Copilot以最高置信度生成的代碼包含CWE 1234-0漏洞
關于隱私，ChatGPT提示了用戶的輸入會被人工審查以提升系統，即明確了其會收集全部的輸入信息。雖然ChatGPT要求用戶不要輸入敏感數據，然而ChatGPT并未提供技術手段對敏感數據進行匿名化或脫敏，將相關責任轉嫁給了用戶。由于許多用戶可能不具備對應的隱私保護知識，故OpenAI仍然可以獲取用戶的敏感數據。微軟、亞馬遜為提防ChatGPT竊密，已禁止員工對ChatGPT輸入敏感數據。
圖9 ChatGPT隱私相關提示
ChatGPT的一大特點是能夠理解上下文中的關系。該特點在優化用戶體驗的同時，也引入了更多的隱私風險。負責審核用戶會話并用這些會話進行模型訓練的OpenAI員工可以通過會話上下文，結合會話中的信息進行推理，從而推導出敏感信息與對應的數據主體。
對于企業來說，雖然員工使用ChatGPT能夠在一些工作上一定程度地提高效率，但對于敏感信息一定要嚴格保護。以下是目前發現的工作中一些容易泄露敏感數據的場景：
2.3社會影響
ChatGPT直接面向用戶，且具備高“擬人化”的特點與極高的熱度。這樣的特點使得其產生的社會影響不容被忽視，其本身的一些問題與濫用甚至會危害社會的長治久安與行業的健康發展。
從輿論影響上看，由于OpenAI是美國公司，故其訓練ChatGPT的模型時使用的語料基本是有利于美國政治輿論立場的。因此，對于一些問題，ChatGPT的回答可能會極不客觀，存在明顯的偏見。
此外，由于ChatGPT底層的Transformer模型的核心原理是通過概率來選擇給定輸入的輸出，因此ChatGPT對于同一問題的回答可能是隨機的。在著名的“電車難題”中，ChatGPT會隨機地給出“棄一救五”和“棄五保一”兩種答案。由此看出，ChatGPT即使再“擬人化”，也不能真正理解人類道德，更不具備自己的價值觀和道德傾向。因此，在一些涉及價值觀、情感的問題上，ChatGPT不一定能夠給出穩定可靠的答案。這樣的機制，對于一些存在心理問題、感情問題的用戶，可能會產生不良影響。
最后，值得注意的是，在內容創作行業也出現了ChatGPT的蹤跡。有報道稱，有用戶使用ChatGPT自動填寫問題答案，在知識問答社區大量賺取積分；有用戶使用ChatGPT承接小說代寫，在短時間內大量收取報酬。由于ChatGPT的“知識”完全來源于訓練數據，且ChatGPT沒有自己的價值觀和道德意識，故在知識問答與文學領域，其產出的內容即使看著“驚艷”，但卻很難在認知或藝術的維度上產生真正的價值。基于現有語料訓練出的ChatGPT，目前來說基本不可能寫出包含獨特視角的回答或能夠升華精神境界的文章。若使用ChatGPT來進行內容創作成為行業的主旋律，最終的結果很可能是劣幣驅逐良幣，使得包含文學在內的內容創作行業整體陷入衰退。類似地，若一些學生使用ChatGPT做作業，或一些學者使用ChatGPT“水”論文，從長期來看都會導致整個行業的衰退。
ChatGPT的廣泛使用在各個細分領域都會產生復雜的社會影響。究竟是進步還是退步，是亟需探討的一個話題。如何通過技術手段正確評估ChatGPT的影響，并對ChatGPT在一些具體場景的使用進行管控與限制，也是網絡安全行業必須關注的重要問題。
三、ChatGPT對網絡安全的助益
ChatGPT對網絡安全的助益可以從三個維度進行討論：1、優化交互；2、輔助任務；3、智能顧問。
3.1優化交互
網絡安全產品的使用一般都需要用戶具備一定的專業知識，甚至需要用戶經歷系統的培訓，不具備對應知識的用戶對于高度專業化的網絡安全產品功能往往一籌莫展。然而ChatGPT極其強大的自然語言處理能力能夠顯著改善這一痛點。
美國的StrikeReady公司在ChatGPT發布前就開發了Cara平臺，該平臺將NLP能力融入了網絡安全產品中，如圖10所示。用戶可以通過自然語言的方式，向系統進行輸入，系統根據輸入的內容進行提示，從而簡便地調度安全產品功能，無需復雜且專業的操作。
圖10 StrikeReady Cara 平臺
綠盟科技對相關技術進行研究和評估發現，雖然在ChatGPT熱度暴漲的當下，有一些產品號稱使用了GPT模型，但實際上可能存在一定的過度宣傳。GPT模型作為Transformer模型，其輸入與輸出應該都是由詞匯構成的Token。在Cara的示例中，NLP能力只負責理解用戶的自然語言，并給出相關操作，通過用戶選擇操作來執行任務。由于GPT模型自身的輸出仍然是語言（在ChatGPT中，OpenAI預訓練的GPT模型輸出的是代碼或自然語言），且產品的接口一般不具備NLP能力，必須通過明確的參數調用，故僅使用ChatGPT并不能夠將自然語言轉化為用戶操作并對安全產品下發指令。
我們發現使用GPT技術去優化安全產品用戶交互存在一些挑戰：1、OpenAI預訓練的GPT模型，或META開源的OPT模型，都不能直接和安全產品結合，需要對模型進行微調，而訓練GPT這種參數量級的大模型，成本非常高昂（參數少的簡易版本雖然訓練成本低，但效果不如人意）；2、Transformer模型輸出的語言token不能直接轉化成指令，尤其是在Transformer模型的輸出基于概率，即同一問題每次回答不一定精確一致的前提下。對于這些問題，我們仍在探索與鉆研，相信在不久的將來，使用強大自然語言處理能力進行交互的安全產品必將在市場中占據一席之地。
在ChatGPT能夠提高更強大的自然語言處理能力的當下，如何利用ChatGPT提高自然語言處理能力并進一步優化安全產品的用戶交互成為了各大安全公司都非常感興趣的話題。ChatGPT的發布也許為志在提高自動化水平，優化人機交互的安全產品供應商帶來了一個新地途徑。
3.2輔助任務
如同ChatGPT能夠被武器化用以輔助網絡攻擊，ChatGPT也能被用來輔助網絡安全防御。目前網上主要討論的一些用途包括：使用ChatGPT生成檢測腳本、使用ChatGPT解析系統日志、使用ChatGPT進行安全情報眾包、使用ChatGPT進行安全事件響應等。
然而，和ChatGPT武器化類似，ChatGPT在執行這些任務的時候，也面臨諸多問題。具體來說：對于威脅情報，由于模型更新存在周期（ChatGPT的當前知識庫僅更新到2021年），威脅情報的實時性無法保障，且大模型的更新周期非常長；對于解析日志，由于不同日志的字段命名和結構存在不同，ChatGPT本身就無法確定解析的正確性，且ChatGPT基于概率，對于同一段日志有可能給出不同解析；對于生成檢測腳本，日漸嚴苛的內容安全策略使得ChatGPT會積極地拒絕生成網絡安全相關的腳本，且其正確性仍無法保障；對于安全事件響應，由于ChatGPT自身不會聯網，且知識庫更新緩慢，故在許多場景下，ChatGPT無法獲得正確的安全情報與緩解措施，其生成的內容也不一定正確。
總體來說，ChatGPT輔助執行網絡安全任務并非不可能，但仍面臨相當多的挑戰：
圖11 ChatGPT輔助網安任務面臨的挑戰
綠盟科技對使用ChatGPT輔助網絡安全任務進行了詳細的分析與調研。我們認為只有深刻了解ChatGPT底層技術特點，結合市場需求與具體安全任務場景，才能將ChatGPT技術真正落地到安全任務中。目前我們的一個思路是：針對具體場景自研小型的NLP模型，從而解決GPT模型體積過大、更新困難、存在外部限制、模型難以部署在產品本地等諸多影響落地的問題。由于ChatGPT的許多功能，諸如寫小說、處理數學題等等，對于一些安全場景并不是必須的，因此基于這種思路可以高效地為我們的安全產品引入NLP能力，且脫離大部分ChatGPT的制約因素。在綠盟科技發布的AISecOps系列產品中，我們就已經使用NLP能力來篩除安全產品的冗余告警，并收獲了良好效果。因此，從實際出發，找準具體應用場景，來高質量、持久化地提高安全產品的自然語言處理能力，是我們布局下一階段智慧安全的首要課題。
3.3智能顧問
得益于ChatGPT底層的大模型和海量訓練數據，ChatGPT具備許多領域的專業知識。在相對宏觀的專業性問題上，ChatGPT的回答往往比較能夠括展用戶的思考廣度，且為用戶提供一些支持案例。
例如針對ChatGPT知識庫內已有的內容，ChatGPT能夠為用戶提供宏觀層面的風險緩解策略與建議，如圖12所示。
圖12 ChatGPT能夠提供2021年前的CVE情報與緩解措施
此外，對于甲方安全建設乃至具體項目、產品的安全設計，ChatGPT都能在宏觀層面給出有一定建設意義的建議，如圖13所示。
圖13 ChatGPT能夠提供一定的情報，幫助客戶進行調研并建設安全體系
因此，我們認為ChatGPT在網絡安全上的另一個重要作用是能夠作為顧問，提供宏觀層面的知識、思路與情報。在未來，我們可能會推出基于ChatGPT及相關技術，為用戶提供諸如安全知識培訓、產品安全設計服務等功能的智能顧問機器人。
四、總結
ChatGPT對于網絡攻擊的總體數量會造成一些影響，但由于ChatGPT在進行原創類的工作上目前仍無法趕超人類，故短期內仍不會因為ChatGPT的出現，產生現有安全防護措施無法處理的安全攻擊。然而，自身引入的安全合規風險與社會影響需要被慎重地進行核查，才能保證該技術真正地推動社會進步。尤其是對于ChatGPT自身存在的政治偏見問題和濫用ChatGPT導致的消極社會影響，都應當結合具體技術手段，進行針對性的管理與控制。
另一方面，ChatGPT對于網絡安全行業的進步具有比較明顯的推進作用。綠盟科技近期對此進行了大量的研究與分析，在這個過程中，我們也發現了許多引入ChatGPT到網絡安全行業將面臨的挑戰。從GPT-3模型到ChatGPT，在底層模型結構沒有變化的前提下，OpenAI仍然花費了2年的時間對產品進行打磨與優化，才有今天火爆全球的ChatGPT。面對引入ChatGPT賦能網絡安全所面臨的挑戰，我們也將持續投入研究與熱情，做出真正能夠對用戶產生價值的智慧安全產品。
