2024年AI安全形勢報告：深度偽造技術引發欺詐案件激增30倍

2024年2月29日，奇安信集團正式公布了《2024人工智能安全報告》（以下簡稱《報告》）。《報告》詳細分析了人工智能技術在全球范圍內的安全挑戰與威脅。《報告》指出，2023年，基于AI的深度偽造欺詐事件數量激增了驚人的30倍，同時基于AI的釣魚郵件數量也大幅攀升，增長了高達10倍。更令人擔憂的是，已有多個國家支持的先進持續性威脅（APT）組織利用人工智能技術成功實施了十余起網絡攻擊事件。這些事件充分顯示，人工智能技術的惡意利用正迅速增長，并在政治安全、網絡安全、物理安全和軍事安全等多個領域構成了嚴重且緊迫的威脅。

自2022年以來，以ChaGPT為代表的人工智能技術嶄露頭角，其展現出的強大能力和顯著效果震撼了全球。據IDC的調研數據，已有67%的中國企業開始積極探索AIGC（人工智能與生成式計算）在企業內部的應用潛力，并為此投入了大量資金。IDC預測，到2026年，中國AI大模型市場規模將高達211億美元，這標志著人工智能即將迎來其大規模實際應用的關鍵階段。

然而，《報告》也強調，“AI作為一種通用技術，其通用性意味著它既可以被用來創造美好，也可能被用于制造混亂。”具有巨大潛力的AI技術同時帶來了兩大核心挑戰：一方面，它可能會加劇和放大現有的安全威脅；另一方面，AI還可能催生全新的安全風險。據《報告》顯示，2023年基于AI的深度偽造欺詐事件激增了驚人的3000%，同時基于AI的釣魚郵件數量也飆升了1000%。奇安信威脅情報中心更是監測到，已有多個國家支持的先進持續性威脅（APT）組織利用AI技術成功實施了十余起網絡攻擊事件。這些事件再次凸顯了人工智能技術在應用過程中所面臨的復雜安全挑戰。

《報告》詳盡探討了基于AI的深度偽造（Deepfake）、黑產大語言模型基礎設施、利用AI的自動化攻擊、AI武器化、LLM自身的安全風險、惡意軟件、釣魚郵件、虛假內容和活動生成、硬件傳感器安全等12大關鍵威脅。通過對這些威脅的技術原理、潛在危害以及真實案例的深入分析，旨在提醒業界全面認識AI普及所帶來的威脅與挑戰。隨著技術的不斷演進，這些基于AI的新型攻擊方式和手段層出不窮，已在全球范圍內造成了不容忽視的嚴重危害。我們必須保持高度警惕，采取有效措施來應對這些新興的安全風險。

《報告》進一步指出，AI與大語言模型自身便伴隨著一定的安全風險，然而，行業內對這些潛在影響的研究與重視程度仍然遠遠不夠。全球知名的應用安全組織OWASP已經發布了大模型應用的十大安全風險，其中包括提示注入、數據泄漏、沙箱不足以及未經授權的代碼執行等問題。此外，訓練語料中存在的不良信息也導致了生成的內容存在安全隱患，這正在持續引發災難性的后果，對國家安全、公共安全以及個人安全構成嚴重威脅。因此，行業內必須高度重視這些風險，并積極采取相應的應對措施來確保AI與大語言模型的安全應用。

《報告》從多個維度為應對AI威脅提供了具體建議。對于安全行業而言，需要充分發揮其能力優勢，確保人工智能技術的自身安全性，并積極探索將AI技術應用于安全防護的新路徑。監管機構則需持續關注AI的潛在風險與影響，及時在制度和法規層面給予支持和引導。政企機構在AI安全方面，不僅需要部署相應的安全框架和解決方案，還需引入AI安全評估服務和檢測工具，以AI技術推動整體安全體系的升級。與此同時，網絡用戶在享受最新AI應用帶來的便利時，也需不斷更新安全知識，培養穩健的安全操作習慣。