ChatGPT是否能用來檢測網絡釣魚網站？

ChatGPT在諸多領域都有著似乎還不錯的發揮，那么，如果是將機器學習技術應用于網絡安全任務，例如識別惡意鏈接，ChatGPT在這方面的表現又究竟會如何呢？上個月，卡巴斯基就專門對此做了一項實驗。

卡巴斯基先是向ChatGPT詢問“該鏈接是否指向釣魚網站”，這時的檢出率為87.2%，誤報率為23.2%。而這意味每訪問五個網站就有一個網站被誤殺，雖然檢出率非常高，但與此同時的誤報率無法接受。

接著，卡巴斯基換了一種方式，直接詢問ChatGPT“該鏈接是否安全”，這一次，檢出率提高到了93.8%，但同時誤報率也飆升到了64.3%。總體而言，ChatGPT的成績不能算是特別理想。

卡巴斯基最后給出的結論是，他們認為ChatGPT的表現與他們對一個實習級釣魚分析師的期望相當，可用于協助真人分析師的工作，例如突出顯示URL中可疑的部分，并提供可能的攻擊目標建議。但也僅止于此，ChatGPT及LLM目前尚不足以從根本上改變網絡安全，至少在釣魚檢測方面是如此。

一個多月后，日本的一家安全公司NTT Security Holdings也對此做了相類似的實驗，但是他們得出的實驗結果相對要積極許多——ChatGPT（GPT-4）在檢測網絡釣魚網站方面的準確率超過了98%。

相比卡巴斯基，NTT在實驗中為ChatGPT提供了更多的提示。他們指導ChatGPT將任務拆分為了四個步驟：

①社會工程學分析（識別網站是否包含對用戶進行心理操縱的文本，例如虛假獎勵、虛假病毒感染警報）。

②品牌名稱提取（對比URL和提取的品牌的合法域名，以確定目標網站是否冒充了一個服務或公司。）。

③解釋決策過程（令ChatGPT解釋其決策的理由，以提高響應的準確性并更便于響應分析）。

④結果輸出（以JSON格式輸出網絡釣魚分數、品牌名稱、是否是網絡釣魚站點、域名的可疑性）。

實驗結果顯示，GPT-3.5的檢出率為86.7%，誤報率為1.5%；GPT-4的檢出率為98.4%，誤報率為1.7%。NTT認為ChatGPT確實能夠高精度地檢測網絡釣魚網站。同時，NTT發現，ChatGPT在上下文分析、確定域名是否合法、識別網絡釣魚網站中使用的社會工程學技術方面具有出色的表現。