ChatGPT在社工攻擊和反釣魚中的應用

01：概述

ChatGPT是一種基于神經網絡的自然語言處理模型，可以生成自然流暢的文本或對話。在釣魚攻擊中，攻擊者可以使用ChatGPT生成虛假電子郵件或消息，更好地偽裝成受害者所信任的個人或組織，從而獲取受害者的個人信息。這種行為對個人和組織的信息安全構成威脅。因此防止ChatGPT被濫用以進行網絡釣魚攻擊是非常重要的。

在反釣魚方面，需要ChatGPT有對應文本檢測能力，可以用于監控電子郵件和消息，以檢測語言模式的異常，并警示用戶注意避免釣魚攻擊,并提示用戶不要輸入任何敏感信息。如果使用ChatGPT文本生成檢測的專用工具可以大大提高釣魚攻擊的識別率和準確性，更好地保護用戶的信息和隱私。

盡管ChatGPT在釣魚攻擊中有危險性，但在反釣魚方面的應用可以提高網絡安全性。在當今數字時代，個人和組織都存儲著大量敏感信息，如個人身份密碼、企業財務信息和知識產權。因此，保護這些信息對于個人和組織來說至關重要。ChatGPT可以用于監控文本和消息內容本身，自動化檢測機器生成內容，保護用戶的信息和隱私，采取措施來限制ChatGPT的濫用，以確保其在網絡安全領域的積極作用。

02：ChatGPT被用于社工攻擊

威脅者不僅將ChatGPT作為編寫惡意代碼的一種簡單方法，他們也在利用它進行社會工程攻擊。ChatGPT模型可以用于生成虛假的信息，由于模仿人類語言，區分人工智能社論和人類撰寫的內容面臨挑戰。大學生用ChatGPT寫學期論文最擔心的是抄襲和造假，ChatGPT可以寫學術論文，那么創建一個釣魚郵件就會容易得多。事實上，ChatGPT制作的郵件將比現在充斥我們收件箱的大多數釣魚郵件更有說服力，這將使騙局更難被發現。

ChaGPT被用來編寫巧妙的網絡釣魚郵件。釣魚本就是一種非常危險的社交工程攻擊，欺騙受害者提供個人信息，如密碼、信用卡號碼等。我們從釣魚攻擊的準備過程的不同階段來測試分析。

情報分析：

攻擊者通過偽裝成可信的來源，例如銀行、社交媒體、在線零售商等，向受害者發送欺詐性信息。攻擊者首先需要進行情報的獲取和分析。ChatGPT可以通過自然語言處理技術從大量文本中提取有用的信息，包括關鍵字、短語、命名實體等，并將它們整理成結構化數據以供進一步分析。

ChatGPT對文本內容進行實體識別、關系抽取、關系對稱，輔助篩選可用的情報信息，并進行格式化輸出、密碼組合猜測。如下圖給出對姓名的信息分析處理過程。

圖姓名信息提取

圖姓名信息的格式化

誘餌生成：

ChatGPT能夠快速生成誘餌文案、甚至是假新聞。如下圖根據目標招聘信息，生成符合要求的高質量簡歷。

圖偽造簡歷生成

如下圖給ChatGPT指定圖片，不僅可以生成誘餌文案、甚至是圖文并茂的假新聞。

圖圖文并茂假新聞生成

魚叉式釣魚郵件生成：

我們進行如下測試，試圖讓ChatGPT生成冒充信息安全部的緊急通知郵件。如下圖，ChatGPT近期更新內容策略后，阻止了比較敏感的內容輸出，讓它寫釣魚郵件被阻止。

圖冒充信息安全部的緊急通知郵件被阻止

通過 “吸貓郵件“進行概念替換釣魚郵件，如下圖，依舊受到ChatGPT內容審核的限制。

圖替換概念測試受內容審核

再進行逐步誘導讓ChatGPT學習到“吸貓郵件“的新概念。如下圖所示ChatGPT可以通過對話進行新概念的學習，理解新概念的語義。

圖新概念的學習

學習完畢的新概念可以直接用于后續內容生成。如下圖直接可以生成“吸貓郵件“的內容。

圖 “吸貓郵件“的內容生成

可見，ChatGPT已經有一定的措施，防止它輸出一些特別有悖倫理和危害社會的內容。然而，這些是可能被使用者繞過的。

與手動編寫釣魚攻擊相比，ChatGPT可以自動化地生成大量的釣魚攻擊文本，通過針對受害者的個人信息和興趣愛好等生成專門的且類似于真實人類寫作的釣魚攻擊文本。這使得攻擊者能夠更快地創建更多的釣魚攻擊，從而提高攻擊成功率，這種攻擊更加具有欺騙性和危險性。

社工安全威脅分析：

從釣魚擴展到整個社工安全領域，ChatGPT的文本生成能力可以被用于生成虛假的信息，從而欺騙公眾、影響輿論和破壞網絡安全。ChatGPT生成虛假信息對社會工程安全構成多種威脅，如下：

社交工程：通過生成虛假的信息，攻擊者可以欺騙個人或企業，從而獲取機密信息或進行網絡釣魚攻擊。例如，攻擊者可以使用ChatGPT生成虛假的電子郵件或消息，偽裝成受害者所信任的個人或組織，從而要求受害者提供敏感信息，如賬號密碼、信用卡信息、社會保險號等，造成財產損失或身份盜竊。
輿論影響：通過使用ChatGPT生成虛假的文章、評論或推文，攻擊者可以欺騙公眾，影響輿論，制造假新聞和謠言，從而干擾社會穩定和破壞社會和諧。
詐騙和欺詐：通過使用ChatGPT生成虛假的股票交易預測、彩票號碼等信息，攻擊者可以欺騙投資者，影響股票市場，從而造成經濟損失。
盜竊知識產權：通過使用ChatGPT生成虛假的文章或報告，攻擊者可以竊取知識產權，例如專利、商業機密、技術細節等。

總的來說，ChatGPT生成虛假信息可以使攻擊更加隱蔽、更具欺騙性，從而對網絡安全構成重大威脅。保護個人和企業免受這些威脅的關鍵是提高公眾對這種威脅的認識，以及采取適當的措施，例如網絡安全培訓、加強安全控制和限制ChatGPT模型的濫用等。所以有必要采取措施限制ChatGPT模型的濫用，以確保其在安全領域的積極作用

03：ChatGPT在反釣魚中的應用

在社工安全領域，識別釣魚工具通常是指通過技術手段檢測和分析可能被用于網絡釣魚攻擊的工具或軟件。

ChatGPT可以自動化地分析和識別釣魚攻擊文本，提供個性化的識別和預防措施，以及捕獲新的釣魚攻擊模式和趨勢。這些特性使ChatGPT成為一種強大的反釣魚工具。對ChatGPT進行識別是指識別ChatGPT生成的文本或對話是否可能被用于網絡釣魚攻擊。

通過分析ChatGPT生成的文本或對話的語言模式，可以檢測到是否存在釣魚攻擊的風險。例如，一些釣魚信息可能會包含具有催促性的詞匯或語言模式，以誘騙受害者提供個人信息。
同時通過使用ChatGPT模型生成虛假信息并與真實信息進行比較，可以發現虛假信息的特征和模式。這種方法可以幫助識別使用ChatGPT生成的虛假信息。

通過這些方法，可以檢測和識別可能被用于網絡釣魚攻擊的ChatGPT生成內容。這種識別方法有助于提高網絡安全性，保護用戶和組織的信息和隱私。

下面我們從釣魚郵件的不同維度段來測試分析。

釣魚鏈接和重定向檢測：

鏈接和重定向檢測技術可以幫助識別和防范釣魚攻擊，包括識別惡意鏈接、防止重定向、分析鏈接地址和識別偽裝鏈接等。釣魚郵件鏈接和重定向檢測是一種檢測和分析電子郵件中鏈接和重定向的技術，旨在發現和防范釣魚攻擊。釣魚郵件中可能包含指向惡意網站或下載惡意軟件的鏈接。鏈接和重定向檢測技術可以幫助識別這些鏈接，并及時防范釣魚攻擊。如下圖，ChatGPT識別常見釣魚域名偽造形式：

圖識別常見釣魚域名偽造形式

釣魚郵件中的鏈接可能會重定向到另一個網站，以隱藏攻擊者的真實目的。鏈接和重定向檢測技術可以檢測到重定向，從而幫助用戶避免受到釣魚攻擊。如下圖，ChatGPT能夠識別常見釣魚重定向鏈接形式：

圖識別常見釣魚重定向鏈接形式

攻擊者可能會偽裝鏈接，以使其看起來與真實鏈接相同。鏈接和重定向檢測技術可以分析鏈接地址，以確定鏈接的目標地址和域名是否可信，可以幫助用戶識別和防范釣魚攻擊，并避免點擊不信任的鏈接。

釣魚文本檢測：

釣魚文本檢測是一種檢測和分析文本中潛在的釣魚攻擊特征的技術，用于發現和防范釣魚攻擊。這種技術可以應用于多種文本形式，包括電子郵件、社交媒體、即時通訊等等。

在釣魚文本檢測中，ChatGPT可以利用其語言理解能力，分析和識別文本中的潛在釣魚攻擊特征，從而幫助識別和預防釣魚攻擊。如下圖，ChatGPT正確識別釣魚郵件的文本內容：

圖 ChatGPT 檢驗釣魚郵件內容

從多次不同測試結果分析，ChatGPT會學習如何識別和區分釣魚文本和正常文本，通過分析分析文本中的鏈接、附件、域名等信息，以確定是否存在釣魚攻擊的風險。但一旦去掉檢測的關鍵詞等信息，如下圖，ChatGPT很可能無法正確檢測文本內容是否為偽造生成內容。

圖 ChatGPT文本內容檢測

社工偽造文本檢測：

對于前面ChatGPT的文本生成虛假的信息，從而欺騙公眾、影響輿論和破壞網絡安全的風險，需要有專門的ChatGPT生成內容的檢測工具。社工偽造文本檢測可以利用多種技術來實現，包括自然語言處理、機器學習和人工智能等。這些技術可以分析文本中的語言結構、詞匯使用、句法和語義等特征，從而確定文本是否是社工偽造文本。

使用文本分類器、語言學特征和OpenAI官方推出的模型進行ChatGPT生成內容的檢測測試，并給出各自的置信度。如下圖，測試文本來自ChatGPT生成內容且未做任何修改，可以看出除了語言特征的模型外，其他兩個模型的檢測置信度都很高。

圖 ChatGPT生成文本未修改檢測

在本次實驗的檢測文本內容加入鏈接地址后，OpenAI官方推出的模型檢測的置信度受到影響最大。

圖 ChatGPT生成文本加入鏈接地址檢測

本次實驗再加入更多修改內容后，語言特征模型的檢測置信度反而提升了。可以看出要檢測ChatGPT生成文本的原始性，不建議使用語言特征模型；如果基于ChatGPT生成文本進行修改，語言特征模型會有些優勢。

圖 ChatGPT生成文本修改部分內容檢測

對ChatGPT生成的文本內容進行檢測和過濾，可以防止不當內容的傳播，維護社會穩定和健康。目前檢測模型和測試實驗并不完善，需要收集更多測試數據來進一步分析。除了ChatGPT,我們希望有更多研究者投入對人工智能生成內容的檢測，保護用戶安全和隱私，防止不當內容傳播，對社會造成不良影響。

04：總結

ChatGPT在網絡安全領域的發展前景是非常廣闊的。它可以幫助識別和應對釣魚攻擊，防范虛假信息的傳播，并保護用戶和組織的信息和隱私。隨著技術的不斷發展和改進，ChatGPT將在網絡安全領域中發揮更加重要的作用，為用戶和組織提供更安全的網絡環境。

未來，ChatGPT在網絡安全領域將會發揮越來越重要的作用。隨著人工智能技術的不斷發展，ChatGPT模型將會變得更加高效和精確，從而更好地幫助用戶識別和應對網絡安全威脅。一方面，ChatGPT可以被用于識別和分析釣魚攻擊的新趨勢和漏洞。通過分析和預測攻擊者的行為，ChatGPT可以發現新的攻擊技術和漏洞，從而及早采取措施防范。這種使用方式將會在保護用戶免受網絡攻擊方面發揮重要作用。另一方面，ChatGPT可以被用于虛假信息的識別和防范。通過訓練ChatGPT模型，可以識別出生成的虛假信息，這將有助于提高網絡安全性。除此之外，ChatGPT還可以幫助識別不正當的網絡行為和保護知識產權，從而維護商業和創新的穩定和安全。