智能無人系統安全防御體系研究

摘　要

智能無人系統在民用和軍事領域得到越來越廣泛的應用。智能無人系統不僅會面臨傳統無人系統的安全威脅，同時由于智能的引入將會面對新型的安全威脅。首先，分析智能無人系統面臨的安全威脅，在此基礎上構建包含智能框架、算法、模型、數據、應用、無人平臺、計算環境、通信網絡、安全治理等關鍵要素的安全防御體系。其次，對智能無人系統安全防御涉及的關鍵技術進行研究，為智能無人系統的安全防御整體解決方案提供借鑒。

隨著無人平臺的廣泛應用，其面臨的信息安全問題也成了研究熱點 。具有自主運動和決策能力的智能無人系統，不僅要面對傳統針對無人平臺的網絡攻擊，也要面對針對智能系統發起的新型安全攻擊。這將使智能無人系統面臨的安全威脅比有人系統更難發現和應對。由于沒有人工操作員在線實時地監視、操作、決策和控制，導致智能無人系統面對異常或未經授權的系統行為時更加難以察覺。研究人工智能安全防御，推動無人平臺安全向智能安全轉變，構建智能無人系統的安全防御體系，具有很強的現實意義和學術價值。

2006 年，多倫多大學的 Hinton 教授在頂級期刊 Science 上發表論文，并對深度學習進行定義，開啟了深度學習研究和發展的熱潮。深度學習方法帶動了語音、計算機視覺、自然語言處理等人工智能相關技術領域的跨越式發展，也在諸多行業應用中取得巨大成功 。

隨著人工智能在無人平臺中的廣泛應用，人工智能面臨的安全威脅也引入到智能無人系統中。2013 年，谷歌研究人員首次證實深度神經網絡面臨對抗樣本攻擊威脅 ，由此引發了學術界對人工智能的安全性和可信賴性的擔憂。近年來，國內外高度重視人工智能的安全性，開展了大量的技術研究 ，規避人工智能帶來的安全風險挑戰。目前，國內外針對人工智能安全的研究內容包含：對抗樣本攻擊和防御、訓練數據投毒攻擊和防御、模型可解釋、算法后門攻擊和防御、聯邦學習、差分隱私機器學習、深度偽造及檢測、機器學習開源框架平臺安全漏洞挖掘修復等多個領域。

１

智能無人系統安全威脅分析

智能無人系統的整個生命周期中潛在的安全威脅如圖 1 所示。

圖 1　智能無人系統各階段面臨的安全威脅

（1）平臺任務規劃階段，主要面臨的安全風險有學習框架后門和漏洞攻擊、預訓練模型投毒攻擊、計算環境網絡攻擊等。

這個階段的主要任務是開發智能系統，選擇機器學習模型和框架，確保系統的準確性、魯棒性、計算資源和運行時效性等指標。

（2）訓練數據采集階段，典型的攻擊手段有數據投毒攻擊、標注投毒攻擊、數據集偏差攻擊和預處理攻擊等。

數據投毒攻擊的實施可以發生在離線數據采集、模型訓練階段和模型在線微調階段。數據投毒攻擊通過在訓練數據集合中注入虛假數據或混淆性標記信息，影響深度模型的歸納偏差，造成模型推理性能下降。通過在訓練集中添加污染后的有毒數據，使得正確模型的決策邊界出現偏離，從而造成測試樣本的分類出現錯誤。

（3）智能模型訓練階段，面臨的主要攻擊手段有后門植入攻擊、云中心攻擊、木馬攻擊、超參數攻擊和可解釋模型攻擊等。

首先在準備階段選擇算法框架時，可以利用框架、依賴包等軟件 bug 或漏洞，發起拒絕服務（Denial of Service，DoS）攻擊和逃避攻擊。攻擊者利用這些漏洞，不僅能竊取模型參數，更嚴重的后果是利用模型實施惡意攻擊。

深度學習網絡具有脆弱性，當攻擊者對開源模型進行攻擊時，會向其中注入惡意行為，生成“變異”的神經網絡模型。變異的神經網絡模型一般情況下表現正常，隱藏其中的惡意行為很難暴露，會引起重大的安全問題。攻擊者也可以通過數據污染和修改模型參數等方法誤導模型的訓練過程，改變訓練模型導致模型針對特定樣本分類出錯。

人工智能框架自身可能存在安全漏洞，而開發人員在實現人工智能算法時難免會出現內存越界、空指針引用等程序漏洞。這些客觀存在的各種漏洞將成為影響人工智能模型安全運行的重要因素。

（4）智能模型推理階段，典型的攻擊手段有對抗樣本攻擊 ，攻擊者通過構造惡意輸入樣本，導致模型以高置信度輸出錯誤結果，包含白盒攻擊和黑盒攻擊。

對抗樣本攻擊，通過在物理域中構建光電或射頻擾動，或者在數字域中添加對抗噪聲，這種細微擾動跨越了模型的決策邊界，導致智能算法判決出錯，使深度學習模型表現出一定的脆弱性。與傳統物理域的欺騙不同，對抗樣本攻擊的實施攻擊成本更低，部署和應用更加靈活。推理階段的許多攻擊方法不需要獲取數據和模型的先驗信息，采用黑盒方法，基于遷移性進行攻擊，安全危害極大。

（5）智能無人平臺應用階段，典型的攻擊手段有模型竊取攻擊、模型逆向攻擊 、無人系統通信網絡攻擊等。

模型竊取攻擊，攻擊者向目標網絡發送海量數據，模型通常會返回預測結果，有時甚至會返回置信度。如果將模型視為一個黑盒，通過這些精心構造的信息嘗試構建出與原模型盡可能相似的模型，實現對模型信息的提取。

模型逆向攻擊，模型的輸出結果隱含著訓練 / 測試數據的相關屬性，攻擊者利用返回的結果信息，恢復原始輸入數據，竊取用戶隱私。在分布式訓練智能模型的場景中，多個模型訓練方之間交換模型參數的梯度也可用于竊取訓練數據。

無人系統通信網絡攻擊，無人系統依賴各種通信網絡傳遞信息。特別是移動無人平臺，嚴重依賴無線通信鏈路實現測控信息的有效傳輸。這些通信網絡將面對偵察、監聽、竊聽、篡改、飽和攻擊和病毒注入等攻擊，威脅無人系統的安全運行。

（6）智能無人系統部署階段，將測試完成后的模型部署到相應的軟硬件平臺中，并完成真實物理環境中用戶交互驗證。智能系統部署階段面臨的主要安全風險有軟件系統攻擊、硬件系統漏洞、操作系統后門等。此外，無人平臺工作在不受控的環境中，可能存在因數據采樣設備、GPU 服務器、端側設備等基礎設施缺乏安全防護而被攻擊者入侵等現象，進而被利用實施惡意行為。

２

智能無人系統安全防御體系

智能無人系統安全防御體系構建了“線上防御”和“線下防御”一體化動態防護，“應用—樣本—無人—智能—驗證”全生命周期、綜合化、多維度安全防御體系。智能無人系統安全防御體系通過“感知—決策—防御—評估—溯源”的高效閉環，實現智能無人系統安全防御體系聯動，對攻擊和漏洞進行檢測與評估，支撐各類典型安全威脅的動態聯動防御，形成智能無人系統的安全威脅感知預警、智能要素的一體化防護、線上線下動態多維協同響應、智能無人系統安全攻防評估體系。智能無人系統的安全防御體系如圖 2 所示。

圖 2　智能無人系統安全防御體系

“線下防御”是在模型發布前從智能安全和安全驗證兩個角度出發，建立智能載荷的魯棒性和安全性，對已知攻擊進行驗證，屬于最大化模型的防御能力。“線上防御”包含無人安全防護、樣本安全防護和系統安全治理。無人安全防護包含無人平臺安全、無人系統計算環境安全和無人系統通信網絡安全。智能模型部署到無人系統之后，從輸入樣本獲取和模型應用兩個角度出發，在確保傳感器數據準確的基礎上，實時檢測和擦除輸入樣本中的對抗噪聲，實現智能系統中數據和算法的全周期安全加固防御。智能無人安全治理軟件主要用于監測智能無人系統運行狀態，完成工作日志存儲、上報和可視化呈現等功能，實現防御體系動態聯動。

2.1　應用安全

智能模型在實際部署應用的過程中，由于客觀或主觀的原因導致智能模型運行時出現多種安全風險防護技術，其中包括：智能應用軟硬件安全、模型竊取防護、模型逆向防護、導航定位傳感器數據防欺騙等。

2.2　樣本安全

智能載荷工作階段，首先確保獲取的任務傳感器數據準確，通過異常樣本檢測實現傳感器信號安全防護。獲取的傳感器數據在線檢測和擦除輸入樣本中的對抗樣本。其中，對抗樣本檢測屬于被動防御，若輸入的是對抗樣本，則進行數據預處理，將對抗樣本擦除，或將對抗樣本還原為正常樣本或非攻擊樣本。被動防御無須對智能系統本身進行更改，防御操作與智能系統解耦，具有靈活、復用性強的特點，適合在線對抗樣本防護應用場景。

2.3　無人安全防護

無人平臺的安全防護可以通過平臺失控預警實現。無人平臺通過基于多因素的平臺失控綜合判斷能力，提供預警信號。

無人系統計算環境安全主要通過對平臺上的操作系統、軟硬件模塊、芯片、計算服務平臺等設施進行安全加固與安全控制來實現。

無人系統通信網絡安全主要包括無線傳輸安全、網絡傳輸安全和網絡安全傳輸控制等防御技術。

2.4　智能無人系統安全治理軟件

安全治理軟件首先通過建立智能無人系統全生命周期初始安全行為基線，對智能無人系統的安全狀態進行綜合監測和展現，持續對智能無人系統全生命周期各階段行為信息進行收集。通過大數據綜合分析、機器學習、人工智能等方法對收集的信息進行分析、建模和分類判斷，發現其中隱藏的有意 / 無意惡意行為以及未知攻擊威脅。進而通過數據標識實現全路徑追蹤溯源，構建一體化、智能化、聯動式的各環節和全鏈條人工智能行為監控及追蹤溯源軟件，實現對智能無人系統全生命周期的綜合化、智能化監管。

2.5　智能安全

智能安全是智能無人系統安全的重要組成部分，包括智能框架、智能模型、智能數據、對抗樣本多個要素的安全防護。

智能框架安全檢測修復，對來自第三方的預訓練模型和機器學習開源框架平臺進行安全檢測，并對發現的安全問題即時修復，以提前感知風險，降低安全事件發生概率，制定完善的漏洞管理流程，提高快速響應安全漏洞問題的能力。

智能模型安全，完成模型后門的檢測和消除。模型后門檢測方面，針對后門模型參數構建觸發器檢測機制，依據多維度檢測標準建立過濾條件，實現對模型中隱藏后門的快速識別。模型后門消除方面，針對常規后門攻擊、基于圖案觸發器的攻擊可以采用網絡裁剪法、后門逆向法等后門防御技術。

智能數據安全，對惡意的訓練數據進行篩選剔除，保證訓練數據的純凈可用，實現數據投毒攻擊的防范。

對抗樣本防御 ，是對抗樣本嚴重威脅了深度神經網絡模型的安全。對抗樣本主動防御通過網絡蒸餾、對抗訓練等方式增強深度學習模型本身的魯棒性。

2.6　智能無人安全驗證平臺

構建包含智能無人測試方案庫、典型智能模型庫、典型智能威脅庫、安全性評估庫等測試驗證組件。模擬智能無人系統的應用場景、部署環境、運行使用過程，檢測智能無人系統安全脆弱性，并進行安全風險評估。采用可重構、體系化和模塊化的智能無人系統攻防驗證試驗技術，構建攻防演練平臺，以及面向攻防場景的安全對抗演示驗證環境。

３

智能無人系統安全防御關鍵技術

3.1　全生命周期安全評估體系構建技術

智能無人系統承載了不同類型的智能模型和應用，面對不同類型的安全攻擊和系統不可控行為，研究安全性測試方法，建立全周期安全等級量化評估方法。從智能無人模型對抗防御能力和行為表征兩個角度出發，建立智能無人系統的安全性標準體系，實現安全性的標準評價。

以多層次、多維度安全可信指標體系為基礎，研究智能無人系統安全可信屬性動態推理技術，分析安全可信指標在系統動態演化過程中的相互關聯與相互影響，建立智能無人系統安全可信屬性動態演變模型，實現由智能算法、組件、行為等孤立指標向系統綜合指標的轉變，進而構建跨領域智能無人系統的安全性評估理論體系。

在智能無人系統生命周期安全評估體系的基礎上，檢驗目標系統面對不同攻擊時的健壯性，從總體上評估深度學習系統的魯棒性，以制定更好的防御策略來應對對抗攻擊等安全威脅。

3.2　智能框架安全防護技術

以機器學習開源框架平臺和預訓練模型庫為代表的算法基礎設施，因開發者蓄意破壞或代碼實現不完善而面臨后門算法嵌入、代碼安全漏洞等風險。

以典型人工智能算法框架（如 Tensorflow 等）為研究對象，從第三方庫、內存分配、識別污染訓練數據、識別惡意樣本、軟件實現方面的漏洞、數據可控監測、程序執行監測等多個維度對常用的人工智能平臺進行安全性的檢測和增強。對框架本身的漏洞進行修復，實現框架缺少的實時監測報警等功能，從而最大限度地減少安全風險。

3.3　高對抗能力的模型投毒檢測防護技術

面向模型的防護主要檢測模型中是否含有后門，若含有，則將后門消除。后門消除主要利用剪枝、微調以及基于微調的剪枝 3 種方法。后門觸發器會在模型的神經元上產生較大的激活值，使得模型出現誤分類的現象。目前，通過剪枝操作刪除模型中與正常分類無關的神經元，以實現后門攻擊防御。提取正常數據在模型神經元上的激活值，根據從小到大的順序對神經網絡進行剪枝，直到剪枝后的模型在數據集上的正確率不高于預先設定的閾值為止。然而，若攻擊者意識到防御者可能采取剪枝防御操作，將后門特征嵌入到正常特征激活的相關神經元上，這種防御策略將會失效。研究應對這種高對抗性攻擊的防御能力，通過使用干凈數據集對模型進行微調便可以有效消除模型中的后門，結合剪枝和微調的防御方法能在多種場景下消除模型中的后門。

3.4　高泛化能力對抗樣本安全防護技術

對抗樣本攻擊主要是指在智能模型推理階段的攻擊，通過在原始樣本中加入精心構造的微小噪聲便能使深度學習模型識別出錯，主要包括白盒攻擊、防護遷移和模型邊界刻畫技術。高泛化能力對抗樣本安全防護技術通過產生新型對抗樣本的對抗網絡，不斷輸入人工智能算法模型，提高神經網絡的魯棒性，增強防護模型的泛化能力，形成演進協同的模型防護機制，構建具有擴展能力的魯棒性學習模型。

４

結　語

本文分析了智能無人系統的安全威脅，構建了融合傳統無人平臺安全防御和人工智能安全防御在內的全新智能無人防御體系，梳理了主要關鍵技術，積極推動傳統無人平臺的安全防護向智能無人系統的安全防御演進。下一步，將智能無人系統安全防御體系及關鍵技術應用于各類型無人系統的人工智能載荷，如人工智能光電系統、無人自主運動系統、無人智能決策系統等，將是深化落實智能無人安全防御研究的主要方向。