“數據中毒”是一種特殊的對抗攻擊,是針對機器學習和深度學習模型行為的一系列技術。 惡意行為者可以利用數據中毒為自己打開進入機器學習模型的后門,從而繞過由人工智能算法控制的系統。
數據中毒攻擊旨在通過插入錯誤標記的數據來修改模型的訓練集,目的是誘使它做出錯誤的預測。成功的攻擊會損害模型的完整性,從而在模型的預測中產生一致的錯誤。一旦模型中毒,從攻擊中恢復是非常困難的,一些開發人員甚至可能都不會去嘗試修復。
導致數據中毒或模型中毒類型的網絡攻擊會污染機器學習模型的訓練數據。由于篡改訓練數據會妨礙模型做出準確的預測,所以通常認為數據中毒屬于完整性攻擊。其他的網絡攻擊根據其影響可以歸類為以下三種:
機密性攻擊:攻擊者通過向模型輸入數據來推斷訓練數據中潛在的機密信息。
有效性攻擊:攻擊者對其輸入的數據進行偽裝來欺騙系統,逃避正確的歸類。
復制性攻擊:攻擊者反向還原模型以對其進行復制或者本地分析,并策劃攻擊或實現自身的經濟企圖。
想要區分規避模型預測及分類的網絡攻擊與中毒攻擊,主要在于其持續性。發起中毒攻擊者的目的是欲使其輸入的數據被系統識別為訓練數據。依照模型數據訓練周期的長短,兩種攻擊的時限也有所不同,比如有的中毒攻擊要花數周時間才能完成。
數據中毒可以通過“黑盒”或“白盒”兩種形式來實現。“黑盒”是指針對根據用戶反饋來更新學習模型的分類系統發動的攻擊;“白盒”指攻擊者通過獲取學習模型和其訓練數據的訪問權限(如果系統有多個數據源,那么漏洞往往出現在供應鏈)發起的攻擊。
回答所涉及的環境:聯想天逸510S、Windows 10。
“數據中毒”是一種特殊的對抗攻擊,是針對機器學習和深度學習模型行為的一系列技術。 惡意行為者可以利用數據中毒為自己打開進入機器學習模型的后門,從而繞過由人工智能算法控制的系統。
數據中毒攻擊旨在通過插入錯誤標記的數據來修改模型的訓練集,目的是誘使它做出錯誤的預測。成功的攻擊會損害模型的完整性,從而在模型的預測中產生一致的錯誤。一旦模型中毒,從攻擊中恢復是非常困難的,一些開發人員甚至可能都不會去嘗試修復。
導致數據中毒或模型中毒類型的網絡攻擊會污染機器學習模型的訓練數據。由于篡改訓練數據會妨礙模型做出準確的預測,所以通常認為數據中毒屬于完整性攻擊。其他的網絡攻擊根據其影響可以歸類為以下三種:
機密性攻擊:攻擊者通過向模型輸入數據來推斷訓練數據中潛在的機密信息。
有效性攻擊:攻擊者對其輸入的數據進行偽裝來欺騙系統,逃避正確的歸類。
復制性攻擊:攻擊者反向還原模型以對其進行復制或者本地分析,并策劃攻擊或實現自身的經濟企圖。
想要區分規避模型預測及分類的網絡攻擊與中毒攻擊,主要在于其持續性。發起中毒攻擊者的目的是欲使其輸入的數據被系統識別為訓練數據。依照模型數據訓練周期的長短,兩種攻擊的時限也有所不同,比如有的中毒攻擊要花數周時間才能完成。
數據中毒可以通過“黑盒”或“白盒”兩種形式來實現。“黑盒”是指針對根據用戶反饋來更新學習模型的分類系統發動的攻擊;“白盒”指攻擊者通過獲取學習模型和其訓練數據的訪問權限(如果系統有多個數據源,那么漏洞往往出現在供應鏈)發起的攻擊。
回答所涉及的環境:聯想天逸510S、Windows 10。