NIST研究揭示人工智能漏洞：中毒數據、惡意操縱等等

NIST揭示人工智能漏洞和潛在威脅的見解。美國國家標準與技術研究院(NIST)暴露了關鍵的人工智能漏洞，威脅行為者可以利用這些漏洞來創造潛在的途徑來危害人工智能系統。

在一項綜合研究中，美國國家標準與技術研究所(NIST)的研究人員深入研究了人工智能(AI)系統中的漏洞，揭示了對手和惡意威脅行為者對不可信數據的利用。

盡管存在擔憂，人工智能已成為我們生活中的重要角色。從檢測暗網網絡攻擊到在醫生能力不足時診斷嚴重的醫療狀況，可以肯定地說人工智能將繼續存在。然而，它需要強有力的網絡安全措施，以防止其落入惡意威脅行為者手中。

因此，這項題為“對抗性機器學習：攻擊和緩解的分類和術語”的研究可以說是對建立值得信賴的人工智能的持續努力的重大貢獻。

NIST的計算機科學家討論了與人工智能系統相關的固有風險，揭示攻擊者可以故意操縱或“毒害”這些系統以導致故障。

該出版物強調，缺乏針對此類對抗性攻擊的萬無一失的防御機制，敦促開發人員和用戶在聲稱無法穿透的安全措施的情況下保持謹慎。

該研究將重大攻擊分為四類：逃避、投毒、隱私和濫用。逃避攻擊旨在改變部署后的輸入，而中毒攻擊則在訓練階段引入損壞的數據。

隱私攻擊發生在部署過程中，試圖提取敏感信息以供濫用，而濫用攻擊則涉及將不正確的信息插入人工智能源中。

該研究承認保護人工智能免受誤導的挑戰，特別是由于訓練中使用的大量數據集超出了人類監控的范圍。NIST概述了潛在的攻擊和相應的緩解策略，強調社區需要增強現有防御。

該研究強調現實世界場景，探討敵對行為者如何利用人工智能的漏洞，導致不良行為。例如，當精心設計的提示操縱時，聊天機器人可能會用辱罵性語言做出反應，從而暴露了人工智能在處理不同輸入方面的脆弱性。有關本研究背后的完整研究材料，請訪問此處(PDF)。

為了深入了解NIST的最新研究，我們聯系了SaaS安全先驅AppOmni的首席AI工程師兼安全研究員Joseph Thacker。Joseph說研究是“他迄今為止見過的最好的人工智能安全出版物。

“這是我見過的最好的人工智能安全出版物。最值得注意的是深度和覆蓋面。這是我遇到過的關于人工智能系統對抗性攻擊的最深入的內容。它涵蓋了不同形式的即時注射，為以前沒有明確標記的組件詳細闡述并提供了術語，”約瑟夫指出。

“它甚至引用了豐富的現實世界示例，例如DAN（Do Anything Now）越獄和一些令人驚嘆的間接提示注入工作。它包括涵蓋潛在緩解措施的多個部分，但很明顯這還不是一個已解決的問題，”他補充道。

“最后有一個有用的術語表，我個人計劃在編寫或研究人工智能安全性時將其用作大型語言模型的額外“上下文”。它將確保法學碩士和我正在使用特定于該主題領域的相同定義。總的來說，我相信這是涵蓋人工智能安全的最成功的總體內容。”約瑟夫強調道。

NIST鼓勵開發者社區批判性地評估和改進現有的對抗性攻擊防御措施。這項研究是政府、學術界和工業界共同努力的成果，提供了攻擊和緩解措施的分類，認識到人工智能威脅不斷變化的性質以及相應調整防御措施的必要性。