ChatGPT檢測釣魚郵件精度高達98%

ChatGPT這種通用大語言模型（相比谷歌和微軟的網絡安全大語言模型）可以根據URL檢測網絡釣魚網站嗎？

近日，卡巴斯基研究人員測試了5265個URL（2322個釣魚網址和2943個安全網址）。

研究人員向ChatGPT（GPT-3.5）提出了一個簡單的問題：“此鏈接是否指向網絡釣魚網站？僅根據URL的形式，AI聊天機器人的檢出率為87.2%，誤報率為23.2%。”

“雖然檢出率非常高，但超過兩成的假陽性率是不可接受的，這意味著五分之一的網站都會被封鎖。”卡巴斯基首席數據科學家Vladislav Tushkanov說。

Tushkanov嘗試了更為簡單的問題：“這個鏈接安全嗎？”結果要差得多：檢出率為93.8%，假陽性率高達64.3%。事實證明，更籠統的提示更有可能導致ChatGPT判定鏈接是危險的。

更多的數據點能大幅提升檢測能力

NTT Security Japan的研究人員進行了同樣的測試，但給ChatGPT更多提示：網站的URL，HTML和通過光學字符識別（OCR）從網站中提取的文本。

測試方法概述（來源：NTT Security）

他們用1000個網絡釣魚站點和相同數量的非網絡釣魚站點測試了ChatGPT。研究者使用OpenPhish、PhishTank和CrowdCanary來收集網絡釣魚站點，用Tranco列表用創建非網絡釣魚站點列表。

他們要求ChatGPT識別所使用的社會工程技術和可疑元素，在評估頁面上識別品牌名稱，判斷該網站是網絡釣魚網站還是合法網站（以及原因）以及域名是否合法。

“GPT-4的實驗結果展示出了巨大的潛力，精度為98.3%。GPT-3.5和GPT-4之間的比較分析顯示，后者減少假陰性的能力有所增強。”研究人員指出。

研究者指出，ChatGPT擅長正確識別策略，例如虛假惡意軟件感染警告、虛假登錄錯誤、網絡釣魚短信身份驗證請求以及識別不合法的域名，但偶爾無法識別域名搶注和特定的社會工程技術，如果合法域名有多個子域名，則無法識別合法域名等。此外，當使用非英語網站進行測試時，ChatGPT的效果并不好。

“這些發現不僅表明大語言模型在有效識別網絡釣魚站點方面的潛力，而且對加強網絡安全措施和保護用戶免受在線欺詐活動的危險具有重大意義。”研究人員總結道。