人工智能在軍事應用中的風險和漏洞

編者按語

鑒于人工智能和機器學習在戰略競爭中的作用，必須了解這些系統帶來的風險以及它們創造戰略優勢的能力。 通過探索投毒、 逃避、逆向工程和推理 四類對抗性方法，為了解這些系統中的漏洞提供了一個窗口。 作者以目標識別問題作為基礎示例，探討如何攻擊AI系統的學習和思維。文章 得出兩個重要結論： 首先，在任何使用人工智能的過程中，人類都必須參與其中。 其次，人工智能在大國競爭時代可能無法為美國提供戰略優勢，但必須繼續投資并鼓勵人工智能在道德上的使用。

1 前言

人工智能在日常生活中無處不在，戰爭也不例外。有報道稱，2020年1 月對伊朗頂級核科學家的暗殺是由一種自主的、人工智能增強的步槍執行的，該步槍每分鐘可發射600發子彈。俄羅斯和中國正在迅速發展，并在某些情況下部署支持人工智能的非正規戰爭能力，而為我們的日常生活提供動力的人工智能系統開始出現同樣的裂痕、偏見和不良后果，這只是時間問題。這種不良企圖用于發動戰爭并旨在殺戮的人工智能系統中，也不是什么天方夜譚。

鑒于人工智能和機器學習在戰略競爭中的作用，我們必須了解這些系統帶來的風險以及它們創造戰略優勢的能力。通過探索對抗性方法，可以開始建立這樣的認知。對四類對抗性方法的考察，為了解這些系統中的漏洞提供了一個窗口。在本文中，我們將以目標識別問題作為基礎示例，探討如何攻擊AI系統的學習和思維。該分析得出兩個重要結論：首先，在任何使用人工智能的過程中，人類都必須參與其中。其次，人工智能在大國競爭時代可能無法為美國提供戰略優勢，但我們必須繼續投資并鼓勵人工智能在道德上的使用。

2 對抗性方法

與其他軍事系統一樣，人工智能系統經歷了多個不同的生命周期階段——開發（數據收集和訓練）、測試、操作和維護。在這當中的每一個階段都存在必須識別的獨特漏洞，我們對此進行了很多解釋。我們將繼續開發一個假設的人工智能目標識別系統，該系統正在學習識別敵方裝甲車輛。在每個階段，我們都將探索相關類別的對抗方法——投毒、逃避、逆向工程和推理——以及我們如何保護系統免受每種方法的侵害。

1.1 投毒

任何人工智能系統開發的第一步都是問題識別和數據收集。隨著我們識別敵方裝甲車的挑戰，必須明確當前的問題。想識別所有敵方裝甲車，還是只識別特定對手的某種類型？這個問題定義指明需要收集和準備一組相關數據，在這種情況下，這些數據將包括大量感興趣的敵方裝甲車輛的圖像。我們不僅必須積累所有感興趣的車輛的圖像，而且還需要各種條件下的圖像——例如，不同的光線、不同的角度、有限的曝光和備用通道（例如，紅外線、日光）。然后由數據分析師準備數據，用于人工智能系統的訓練。然而，開發人工智能系統所需的大量數據會造成漏洞。數據量意味著分析師沒有能力驗證每張收集的圖像是否為真實的敵方裝甲車，或者圖像代表了裝甲車的全部類型。

這個階段是對手可以通過一種稱為投毒的技術攻擊人工智能系統的第一個階段。中毒的目的是改變AI系統在訓練中使用的數據，從而使AI學習到的數據存在缺陷。此過程會在系統投入運行之前攻擊系統的完整性。

制作惡意原始數據以得出有缺陷的分析結果的基本方法與傳統的軍事欺騙相同。水銀行動是二戰期間盟軍入侵諾曼底之前的一項欺騙行動，旨在攻擊德國的防御分析模型。為了完成這次攻擊，盟軍創建了一支由喬治·巴頓中將領導的幽靈軍隊（中毒數據），以誘導德國人對他們應該將防御重點放在哪里（模型輸出）的分析（模型）。

如此大規模的欺騙操作，在當今互聯互通的社會中可能更難實現，但對數據投毒是可行的。對手知道我們正在追求支持人工智能的目標識別。知道這樣的人工智能系統需要其當前裝甲車輛的訓練圖像，對手可以通過操縱其車輛的外觀來毒化這些訓練圖像。這可能就像在他們懷疑可能受到監視的車輛上添加一個獨特的符號（如紅星）一樣簡單。然后，AI系統將根據這些故意操縱車輛的有毒圖像進行訓練，并“學習”所有敵方裝甲車輛都有紅星。

雖然這種中毒攻擊會在競爭狀態下發生，但當對手部署沒有紅星的裝甲車以避免被發現時，這種影響就會在沖突中體現出來。此外，對手可以在民用車輛上涂上紅星，以誘導我們的人工智能系統錯誤地將民用車輛識別為軍用 車輛。

可以通過多種方式確保我們的系統正確學習。詳細的數據管理可以幫助減輕風險，但會消耗寶貴的時間和資源。相反，可擴展的解決方案包括數據治理策略，以提高用于AI系統的數據的完整性和代表性。在 AI生命周期的所有階段，適當放置技術控制和訓練有素的人員將進一步降低中毒攻擊的風險。

1.2 逃避

第二種攻擊類型，規避，依賴于類似的基本攻擊原理，但在AI系統運行時部署它們。逃避攻擊不是毒化AI正在學習的內容，而是針對AI學習的應用方式。這聽起來可能微不足道。但是，它對攻擊者成功所需的資源以及防御者需要采取的行動具有重大影響。在中毒攻擊中，攻擊者需要控制或操縱用于訓練模型的數據的能力。在規避攻擊中，攻擊者至少需要能夠在操作期間控制AI系統的輸入。

規避攻擊非常適合計算機視覺應用，例如面部識別、對象檢測和目標識別。一種常見的規避技術涉及稍微修改某些圖像像素的顏色，以攻擊AI系統如何應用它所學到的知識。在人眼看來，似乎什么都沒有改變；然而，人工智能現在可能會對圖像進行錯誤分類。研究人員展示了這種技術的效果，先前正確識別熊貓圖像的人工智能系統，在面對整個圖像中添加了人眼無法察覺的顏色（顯示看起來是仍然是相同的圖像）時，它被操縱了。人工智能不僅將熊貓誤認為是長臂猿，而且非常自信。

對于那些可以訪問AI系統輸出或預測結果的攻擊者，可以開發出更強大（所有熊貓圖像都被錯誤識別）或有針對性（所有熊貓都被視為另一種特定動物）的逃避方法。

規避攻擊原理也可以在物理世界中使用——例如，戴上特制的太陽鏡來模糊或改變你在面部識別攝像頭上的圖像。這與偽裝背后的原理相同。在這種情況下，對手的目標是模型的感知而不是人類的感知。在軍事環境中，如果對手知道我們的AI瞄準系統是在帶有沙漠偽裝的坦克上訓練的，那么對手的坦克可以簡單地重新涂上林地偽裝，以故意逃避A 系統的檢測。人工智能增強型自主偵察系統現在可能無法有效識別目標，也無法為指揮官提供及時準確的情報。

規避攻擊是研究最廣泛的對抗方法之一，因此防御所有可能的攻擊媒介將被證明具有挑戰性。然而，強化人工智能系統的步驟可以增加對它們按預期運行的整體信心。其中一個步驟是在部署之前應用工具進行評估。這些工具針對各種已知的對抗性方法測試AI系統，為我們提供對其穩健性的定量測量。在動作過程中盡可能保持人員參與也可以減輕規避攻擊。

1.3 逆向工程

前兩類攻擊在開發和運行期間針對AI系統具有相似的基本原理。這些攻擊也與欺騙和偽裝等傳統軍事概念有著天然的相似之處。然而，人工智能系統面臨的風險并不那么簡單，在開發和運營之外還存在潛在的漏洞。人工智能系統在維護或存儲時存在哪些漏洞？如果對手通過網絡入侵或在戰場上捕獲下一代支持人工智能的無人機獲得對人工智能系統的訪問權，會有哪些風險？

第三種情形，稱為逆向工程的攻擊中，攻擊者攻擊AI系統的目的是提取AI系統所學的內容，并最終使模型得以重建。要進行逆向工程攻擊，對手需要能夠將輸入發送到模型并觀察輸出。這種攻擊繞過了模型本身的任何加密或混淆。對于我們假設的目標識別AI，這種攻擊可以由對手發出不同類型的車輛（輸入）并觀察哪些車輛引起 AI 的響應（輸出）來進行。雖然這種攻擊需要時間并冒著資源損失的風險，但最終對手將能夠了解目標識別模型能夠識別出哪些威脅。

有了這些信息，對手就可以開發出自己的人工智能系統版本。除了使其他對抗性攻擊更容易開發之外，直接了解AI如何做出決策，會使對手能夠預測我們的反應或完全避免反應措施。這種對人工智能增強決策過程的洞察力將對整個沖突過程中的運營安全構成重大威脅。

保護AI系統免受逆向工程可能會很困難，尤其是因為任務要求可能要求系統允許許多查詢或加權輸出，而不是簡單的二元決策。這凸顯了需要一系列量身定制的政策來管理與對抗性方法相關的風險。這些可能包括對支持人工智能的系統的嚴格問責，特別是那些部署在邊緣的系統，如無人機或智能護目鏡。此外，可以通過只允許授權用戶查看系統輸出來施加訪問限制。

1.4 推理攻擊

最后一類攻擊，稱為推理攻擊，與逆向工程有關。對手不是試圖恢復AI系統學到的東西，而是試圖提取AI系統在其學習過程中使用的數據。這是一個微妙但有意義的區別，對在敏感或分類數據上訓練的模型具有重要意義。

為了進行推理攻擊，與逆向工程一樣，對手需要能夠將輸入發送到模型并觀察輸出。通過一組輸入和輸出，對手可以訓練一個對抗性AI，該AI預測是否使用給定的數據點來訓練我們的友好模型。

想象一下，目標識別AI是根據對手新武器系統的機密圖像進行訓練的。使用推理攻擊，對手可以得知該武器系統的機密性已被泄露。換句話說，對人工智能系統的推理攻擊可能會促進機密情報的泄露。如果在對峙期間這樣做，可能會對危機和沖突產生重大影響。

與逆向工程非常相似，管理與推理攻擊相關的風險將主要通過策略決策來處理。除了訪問策略決策之外，在AI系統的訓練中何時使用敏感或機密數據、使用什么類型的數據以及使用什么數量等問題，都將面臨艱難的決策。這些決策需要平衡性能與風險，以開發仍能滿足任務要求的人工智能系統。

3 對大國競爭的啟示

當然，這顯然不是對所有對抗方法的詳盡解釋。然而，這個框架應該提供一個充分的概述，領導者可以借此探索將人工智能系統整合到軍事應用中，會有哪些積極和消極的全部影響。美國和其對手都在追求這項技術，以在未來的戰略競爭中獲得不對稱優勢，雙方都無法贏得這樣的優勢。

2.1 數據不對稱

當考慮技術和不對稱優勢時，從第一原則開始并考慮對“原材料”的相對獲取是有用的。在人工智能系統中，原材料是數據——大量的數據。美國是否可以獲得與我們的對手相同質量和數量的數據？考慮到美國國家安全中圍繞隱私和數據安全的法律因素和社會規范——它們本身就是關鍵話題——答案顯然不是“是”。這表明美國在人工智能系統的開發和部署方面將處于固有劣勢。

2.2 開發能力

訓練有素的人員是人工智能系統的另一個關鍵資源。正如陸軍已確定其“以人為本”戰略，擁有合適的人員對于美國在戰略競爭中的成功至關重要。美國在工業、學術界和軍隊方面都有人才。能否招募、留住這些人員，并將其用于解決棘手的國家安全問題，這是一個值得深思的懸而未決的問題。在短期內，應該識別已經在軍隊中的有才華的人，并且應該同步各個組織在人工智能方面的不同進展和成果。

2.3 人工智能只是一種工具

人工智能是一種工具。像任何其他工具一樣，它具有固有的優勢和劣勢。通過對這些優勢和劣勢進行深思熟慮和現實的評估，美國可以在人工智能的風險和回報之間找到最佳平衡。雖然人工智能可能無法提供美國在戰略競爭中尋求的最大不對稱優勢，但我們也不能將技術讓給在該領域大量投資的對手. 相反，美國可以而且應該支持人工智能的道德使用，促進對強大人工智能的研究，并為人工智能系統開發防御性最佳實踐。在了解人工智能系統的脆弱性和局限性的基礎上實施這些行動和其他行動，將引導美國更有效地將人工智能納入大國競爭時代的戰略。

作者簡介

Nick Starck上尉是美國陸軍網絡軍官，目前在陸軍網絡研究所擔任研究科學家。他的研究重點是信息戰和數據隱私。

David Bierbrauer上尉是美國陸軍的一名信號官。他于2021年獲得約翰霍普金斯大學應用數學和統計學工程學碩士學位。目前是陸軍網絡研究所的數據工程師和數據科學家。

Paul Maxwell博士于1992年被任命為裝甲軍官，并擔任過 XO/S-3 營、S-4 旅、連長、偵察排長、XO 連和機械化步兵排長。在美國軍事學院，先后擔任電氣工程與計算機科學系講師、助理教授、副教授。他目前的職位是西點軍校陸軍網絡研究所的副主任。

參考資源

1、https://mwi.usma.edu/artificial-intelligence-real-risks-understanding-and-mitigating-vulnerabilities-in-the-military-use-of-ai/