人工智能（AI）&網絡安全

前言

    網絡事件和數據泄露的頻率及規模都呈指數級增長，隨著公共部門和私營部門全面擁抱數字化轉型，新冠疫情加速向遠程工作方式轉變，攻擊者的手法變得更加復雜，網絡安全的漏洞也在擴大，給在線攻擊提供新的攻擊方式。埃森哲（Accenture）在2020年的一個分析中發現，商業電子郵件入侵每年增加50%，勒索軟件攻擊增加160%，第三方和供應鏈入侵增長三倍。

    但AI在緩解這些不斷增長的暴露方面，發揮了重要作用。這些新興技術非常適合彌補當前網絡防御中存在的一些重大差距，實現7*24小時的系統監控，改進威脅檢測工作，隨著時間獨立地提高效率。他們能提供組織以前缺失的多層級數據保護措施，建立網絡安全策略，緩解人為錯誤和保證合規。

    然而，部署AI提高網絡安全工作，并不意味著沒有挑戰。雖然前景誘人，在網絡環境中實施AI有其自身的風險。人類在理解這些高度復雜技術和他們的算法上的分歧、缺乏監管或成功的最佳實踐、組織之間（包括內部）不一致的應用、黑客出于自身目的增加使用AI，所有這些都帶來操縱和破壞數據的新方式。

    AI本身無法輕松搞定所有網絡風險，但在有效提高現有網絡安全和數據保護程序方面，它潛力無限。和人類的信息安全團隊一起配合，互相加強，帶來以往單獨一方無法實現的網絡防御的新水平。

    把AI技術和網絡安全程序及系統結合的過程中，各個行業都有寶貴的機會，解決組織面臨的最復雜和具有破壞可能性的風險因素。我們希望本報告有助于說明AI在防御網絡攻擊和數據泄露中扮演的重要角色，這些有前景的新工具不斷發展，部署之后能更好地保護組織和他們所服務的個人。

概要總結

    新冠疫情已經加速了各行業的數字化轉型，提高了效率。但因為采用更多的技術和越來越多的職員遠程工作，也暴露了組織新的網絡風險。從收集重要的商業和個人信息，到針對關鍵基礎設施的復雜攻擊，網絡攻擊的數量快速增加。同時，AI在各個行業的崛起，對組織使用技術改善網絡防御提供了機遇和挑戰。如果正確地使用和監控，AI能成為網絡安全程序成功關鍵的有差異化競爭優勢。

    本報告探討了AI和網絡安全重疊部分的認知。組織意識到了這個機會，但也清楚過度依賴AI保護自己潛在負面后果：

AI能提高網絡安全

    通過自動化威脅檢測，24小時處理大量數據，實時發現異常行為。盡管人類的支持仍然扮演重要角色，一起合作也許能實現強強聯合，然而，AI網絡安全系統控制權應該只提供給少數高度信任的人。

AI能引入網絡安全漏洞

    盡管很多優點，AI方案不是萬能鑰匙，因為組織治理和策略在加強網絡安全方面非常重要。部分由于在增長的威脅圖景中，惡意攻擊者使用AI滲透薄弱系統或利用依賴AI的網絡系統的復雜性。

監管合規走向前臺

    因為公司需要處理大量的法規，在客戶、監管機構和公眾中建立信任，數據隱私和透明不再是熱門詞匯。由于各州之間不同的規則，這會給美國公司帶來合規挑戰，如果在歐洲等區域運營，需采用國際慣例。

有關AI原則國際共識，將促進全球網絡安全協議

    長期以來，缺少網絡安全共同的規范和原則，一直難以達成全球認可的安全協議。AI可能改變這種情形，G20峰會已經在技術使用上達成共享原則，這一新的努力也許會為未來達成協議鋪平道路。

第一章   新的網絡安全范式

    多種因素的聚合效應已經凸顯網絡安全的重要性。首先，網絡攻擊正在增加，特別是由于新冠疫情，人們越來越多地在家工作，這是網絡犯罪分子利用網絡弱點的背景。來自國際刑警組織（International Criminal Police Organisation，INTERPOL）的研究表明，網絡犯罪的數量在新冠疫情期間增加，主要的公司、政府和關鍵基礎設施頻繁遭到攻擊。IBM估計2020年，數據入侵的平均成本達386萬美元。

    隨著網絡攻擊變得更加復雜和主要針對高價值組織及他們的數據，當公司為尋找競爭性優勢，會更加依賴數據和技術。舉一個最近的例子，黑客入侵了一家IT公司SolarWinds的軟件方案，允許攻擊者攻擊包括美國政府在內的多個實體。這個案例強調了在網絡安全生態系統中，“最弱環節”的重要性，在這個系統中，對一個公司的攻擊可能對其他網絡系統產生漣漪效果。

     在處理現代網絡安全挑戰的復雜性方面，AI被寄予厚望。最近的EIU調查中，接近一半的受訪者（48.9%）認為AI和機器學習作為新興技術，能夠抵御針對私人組織的國家級攻擊，隨后是云計算（47.5%）也被期望為能提高網絡安全。從2020年到2027年，AI在網絡安全的年復合增長率預料以23.6%的速度增加，2027年達到463億美元的市場規模。

     使用當前和新興的威脅情報，AI能實現事件檢測自動化。AI解決方案公司Beyond Limits的CEO AJ Abdallat說道：“AI能同時處理大量數據文件，顯然比人類快很多，這非常重要，另一個關鍵點是能7*24小時工作，AI不需要午休，它不會疲憊。”AI提供的持續監控是最主要的優勢之一，加上它能發現和監控系統中任何微小問題，標識異常。最近一項針對4500名企業高級決策者的調查表明，數據安全是實施AI的主要原因，超過流程自動化和業務流程優化等領域。

    MasterCard的安全&網絡創新部門執行副總裁John Gerber說：“AI是能真正解決這些復雜大數據問題的唯一方法。”這反過來描述了組織面臨的新挑戰，包括技術的融合和重要性，政府法規（例如在歐洲，修訂后的AI協調計劃）對公司有更多的影響。Gerber先生補充說：“如果修訂后的AI 協調計劃是全世界最強的相關法規，這就是我們在任何地方做任何事情都喜歡用的規范，在系統中有完整性。”加州伯克利分校長期網絡安全中心、AI安全倡議負責人Jessica Newman認為：“AI能支持網絡安全目標-例如對網絡罪犯的行為，生成新的洞察-但我們也被暴露出新的漏洞，既是因為AI系統本身的弱點，也是因為如何使用AI導致有問題的結果。”AI因此能同時加強和削弱安全，看它用來作為進攻性還是防御性工具。安永（EY）全球AI倫理和監管負責人，Ansgar Koene解釋道：“黑客也能訪問AI，利用它的能力發動攻擊。”

AI暴露了新的復雜性，漏洞

    Newman認為，AI主要在三個領域能帶來網絡安全風險。首先，引入AI能增加我們所依賴的產品、服務、基礎設施的復雜度和不透明性。她說：“令人震驚的是，保證AI系統實際上可靠、透明、強大和沒有偏見等方面，缺少行業最佳實踐或法規，我們正在增加行業中我們所依賴相當一部分系統的復雜度，不了解這些AI系統如何做出決策，以及是否應該信任他們。”

    其次，有一些獨特漏洞和安全考慮。Newman 女士解釋說：“當前AI技術難以抵御敵對攻擊，像數據中毒和輸入攻擊。而且，AI系統常用來優化特定目標或獎勵功能，他們最終完成目標的方法也許有問題或不安全。”

    最后，AI技術能夠實現大量合成媒介，Newman 繼續說：“AI通過大規模語言模型預測文本，生成虛假信息。”關于潛在的陷阱，斯坦福大學網絡策略中心、網絡和平學院主席和國際策略總監，Marietje Schaake補充道：“想像一下，用AI生成的語言，能使用一整套數據，生成非常可信、彼此相關文本，也許更容易欺騙人們，相信這是一個真郵件。”

     引入AI對系統增加的復雜度，AI本身容易受到攻擊，攻擊者能使用AI生成更復雜的攻擊，所有這些加到一起，都表明涉及到網絡安全，挑戰和機會一樣多。Gerber先生警告說：“AI已經被網絡罪犯用于打敗世界上的網絡安全措施，但在我們如何攻擊和解決網絡安全方面，AI必須是我們未來的一部分。”

定義AI

    AI、機器學習、深度學習和其他類似術語，常被互相借用，但實際上還是有所區別。機器學習是AI基礎算法的應用，而深度學習是機器學習的方法，因此，他們互相關聯，本報告使用AI作為一個代表他們整體的術語，發現他們在網絡安全中的作用。

    AI系統得到認可是因為他們的適用性和遞歸方法，他們解釋結果，根據輸入調節未來的行為。這是網絡安全一個新興但快速發展的領域，例如，認知計算系統，用來模擬人類思維的AI，結合機器學習算法和深度學習技術，自己學習，預測網絡威脅。

    AI解決方案公司Beyond Limits的 CEO AJ Abdallat解釋道：“AI和機器學習在識別行為、特征和異常行為時能做到的一切讓人驚訝。”匯豐銀行CISO，Monique Shivanandan補充說：“基于行為和洞察，AI和機器學習允許我們預測將要發生的事情，它允許我們消除噪音，關注真正發生的事情，以前幾年聞所未聞的速度和幅度關聯數據。”

第二章 AI&全球安全當務之急

    Monique Shivanandan說：“然而，這是硬幣的兩面，因為攻擊者也使用AI和機器學習工具，我們需要做到的是趕在壞人前面。我們有能力以光速評估大量數據，因此我們能檢測和快速響應可能發生的任何事。” 然而，為了網絡安全目的實施AI的組織也許更容易受攻擊，因為他們在防火墻后面引入了復雜的系統，除非他們了解這些系統。Newman說：“攻擊者能有更多的途徑侵入系統，獲得權限。”他也指出未來我們可能看到更多基于AI的網絡攻擊。

    通過提高信息意識和增強協調，來應對各種形式的網絡攻擊，國家一直依靠計算機應急準備小組（CERT）或計算機安全事件響應團隊（CSRIT）來跟蹤網絡攻擊信息。最近，歐盟網絡安全局（ENISA）已經強調了加強AI網絡安全生態系統的重要性，指出其在未來必須扮演的角色。生態系統的關鍵部分和AI教育的需求有關，根據斯坦福大學AI 指數報告，2019年，65%的北美AI博士進入這個行業，高于比10年前的44%，強調了商業AI發展日益重要-雖然需求仍然超過供給，Germer先生說：“人才仍然短缺，” Newman女士補充說：“組織正在爭搶他們所需要的各級能監控風險和技術實施的人才。”匯豐銀行Shivanandan女士同意，發現合適的人才是成功的關鍵。“不僅僅是建立模型，而是保持、成長、發展和理解他們，避免欺騙或其他風險。”

打造國際共識

     除了人才短缺，全球普遍缺乏對網絡安全和網絡犯罪的協議。盡管看到他們在企業里面的重要性日益提高，在這樣的討論中，像AI這種新興技術常常放在最后。Schaake 女士說：“新出現的服務表明，私人行業在制定規范方面，比任何立法機構或其他官方民主機構都先進得多。”

     因此全球的領袖們有必要在這個領域的世界標準最后達成一致。2019年，G20領導人歡迎基于經合組織（OECD）推薦的一系列原則。這個原則通過包容、以人為本、透明和問責制，尋求在AI方面推動信任和自信。Newman女士說：“這是個奇妙起點，提供共同的語言和目標，但顯然，原則僅僅是開始，因為我們希望看到真正遵守這些標準和原則，負有更多責任。”2021年4月，歐盟委員會也發布了首個關于AI的法律框架，解決各種使用情況的風險，同時推動這個領域的創新。

    AI及擴展數據相關國際協議達成一致的前景，也許能夠實現，對網絡安全有著巨大的影響。Schaake女士說：“如果在AI和相關領域，如網絡安全，達成國際上一致，我不會感到驚訝，”她補充說：“我認為存在這種勢頭，如果你看G7，都是民主國家，他們談論技術的角色，比去年有更多的可能性。”她將這一事實歸于快速發展的外交關系領域。“我認為有一個共識，在國家-國家的級別處理來自全球公司的傷害沒有意義，現在下一步是事實上達成新的協議，一種新的共同定義，為了真正做一些事。”

視角：歐盟的AI法案

    2021年4月，歐盟發布了AI 法案（AI Act，AIA）草案，制定了AI分類框架和潛在AI監管要求。就像數據法，業務需要小心推進AI，注意到有新的工作，像GDPR和數據，讓法律跟上并規范AI的使用。

    AI法案基于風險狀況尋求監管“AI 系統”。委員會強調“大多數”當前使用的系統考慮到“最小風險”將不會被正式監管。然而，新的AI法案鼓勵遵守由委員會和成員國規劃的行為準則。

     對于“有限風險”系統，AI法案引入透明義務，例如，聊天機器人和深度欺騙。對那些認為是“高風險”產品，將會實施特定監管義務，如獨立評估和申請“CE”標志，或修訂已有的監管領域（例如產品安全和醫療設備）。

     在實施之時，GDPR的罰款（2000萬歐元或每年收入4%，以較高為準）被認為“難以置信”。新的AI法案甚至會高達3000萬歐元或每年6%收入的罰款，會被打上什么樣的標簽還有待觀察。AI法案草案將可能像GDPR一樣，產生全球影響，加劇貿易集團之間的緊張，例如在美國和歐洲之間過度的數據傳輸。

    Rafi Azim-Khan

    Pillsbury 合伙人，

     網絡安全部門，數據保護&隱私實踐部門 領導人

第三章 執行AI：道德，隱私&人為因素

    遨游于AI網絡安全圖景中，公司面臨多種挑戰，從技術復雜度到人為因素。特別是現在非常關注機器和人類之間的平衡及道德考慮，以及遵守不同數據隱私法規的合規要求。

    AI已經引發對工作減少的擔心，同樣的邏輯也適用于網絡安全領域，因為異常檢測能被自動化。但當實施和輔助系統時，人類仍然在其中扮演重要角色。Abdallat 先生說：“我非常相信，AI的未來是人類和機器之間真正的合作，最終，我相信AI將創造更多的工作，因為AI能為我們打開一扇解決很多創造性問題的大門，允許我們解決僅靠人類自己無法完成的挑戰。”

    意識和培訓程序因此能轉變成組織能力，以建立成功的AI網絡安全主張。這樣的領域也包括正確的數據治理結構和數據策略，保證道德行為。有很多的例子，公司從海量的互聯網平臺抓取數據，把信息出售給執法機關和其他機構。Schaake 女士強調：“你必須從數據隱私和道德網絡安全的角度來問你自己，在商用數據庫中，關于個人數據的質量和錯誤對待。公司做出深遠卻無形的決策，對人類生活有重大影響。”Koene先生說：“我們在產業鏈的下游，看到越來越多的網絡安全漏洞，甚至在供應商，很難說你需要訪問每個人的個人數據，還認為這是符合GDPR方式。”制定公司策略，能在改善網絡安全的同時道德地做事。Newman女士說：“我希望，從現在起5年，會建立起治理和法律框架，對我們周圍正在實施的AI技術的安全和可靠給與更多信任，幫助實現公平和可持續的世界，我希望那是我們前進的方向，但我很擔心在能夠正確的控制這些系統和了解他們失敗的原因之前實施他們，增加各行業風險，對處于劣勢人民導致不成比例的傷害。”

全球數據隱私挑戰

    在歐盟和歐洲經濟區，數據隱私是一項基本的權利，許多其他司法管轄區緊隨其后。加利福尼亞在2018年通過《消費者隱私法》，成為美國最嚴格的司法管轄區之一。但美國，也包括國際上，不同法規的組合，對公司跨越境業務生成挑戰。Abdallat先生說：“目前和網絡安全有關的一個關鍵元素是數據隱私，所有公司主要的擔心。”

    數據法規，涉及到數據隱私，扮演重要角色。因為網絡安全的目的，組織不得不限制收集、使用和存儲數據的數量，特別像在加州和歐洲這樣嚴格地區。談到公司在美國各地遵守各種法規的困難，Abdallat說：“這絕對是一個劣勢，如果我們有一個全國性系統，將允許我們關注一個統一的系統，而現在，我們要投入資源，研究50套不同的協議和程序，那些資源能實際上可以用于創新和實施解決方案。”

AI在關鍵基礎設施上的角色和風險

    考慮到AI戰略性的重要性和他們生成的數據量，某些行業獲得了更多，但也失去了更多-這兩點都導致他們成為網絡入侵的更大目標。伯克利大學AI安全計劃的項目負責人Jessica Newman說：“現在的形勢非常可怕，把機器學習工具加入到許多業務流程中非常吸引人，事實上變得無所不在，但AI工具存在欺騙，攻擊的漏洞，缺乏解釋性。沒有正確地治理和監督，我們將把行業、人們和環境暴露于更多的風險中。”最近的黑客對Colonial 管道的勒索軟件攻擊-導致美國東南的天然氣供應不足，是網絡攻擊基礎設施，蔓延到物理世界的主要例子。

    例如在美國，有16個行業被定義關鍵基礎設施，如金融服務、能源和信息技術。因此這些行業使用威脅情報和AI提高他們對網絡攻擊的響應的可能性方面，需要比一般組織花費更多精力。然而，實施并不平衡，部分原因是由于缺少標準。AI 解決方案公司，Beyond Limits 公司的CEO，AJ Abdallat說：“我得說，行業之間各不相同，”Newman 女士補充道：“雖然全世界有很多AI治理草案和計劃在籌備，我們還沒有AI標準或總體監管來要求和保證我們對用戶或更廣泛的社會具有透明度，如果形式變壞時，任何形式的問責。”

安全之外：IoT，可視化和欺騙

    和網絡安全有關的AI含義，和技術基礎設施有關；人們認識到，這樣的系統支撐廣泛的應用，更普遍地增強網絡防御。例如物理安全非常重要，因為潛在入侵者能使用個人方法獲得對公司網絡的訪問，對某些行業特別重要-如能源、運輸和房地產-智慧城市的興起，依賴面部識別和各種傳感器的技術。

    西門子能源的全球工業網絡和數字安全部門副總裁，Leo Simonovich解釋說：“石油和天然氣、可再生用品正在經歷一場能源革命，能源系統變得更清潔，更分布和更有效，其轉變的核心就是數字化。轉型的關鍵部分是用于IoT的傳感器的實現，瑞典的跨國網絡和通訊公司愛立信表示，這樣的設備將從2020年的124億個，增長到2026年的264億。“每個這樣的設備都可能有潛在的漏洞，但AI提供了巨大的前景，因為需要解決的核心挑戰是可視化。”

可見或不可見

    因為企業既要了解用戶需求，也要更有效地應對用戶的競爭壓力，使用生物識別技術和其他形式敏感數據的機器學習系統的重要性與日俱增。這為欺騙、隱私入侵和其他瀆職行為開拓了新的路徑。Koene 先生說：“看起來AI 系統在圖像識別也許做得非常好，正在使用和人類看圖片完全不同的方法，原則上，那并不意味著使用這個系統有任何問題，但意味著你能以某種形式操縱圖像，雖然看起來和我們無關，但會觸發AI系統生成完全不同的結果，”導致新的風險。

    人臉識別策略和相關識別技術，例如指紋，對組織仍然非常重要，但在機器學習和AI算法中也面臨著潛在被欺騙的挑戰，也許和法規沖突，產生道德問題，帶來新的挑戰。

人為因素

    當前由于缺少在各種水平上系統復雜性的認知能力，讓AI自己成長不是一個好的做法。Newman女士說：“讓決策脫離人類控制，同時增加技術復雜性，對系統如何工作缺乏整體透明度，將更難以完全理解、控制和監控他們，我們很容易忘記人類在AI生命周期的每個階段的角色，做出如何訓練這些模型和如何優化他們的決策，以及出于何種目的，如何使用他們。”

    因此必須牢記AI在網絡安全方面成功地實施和使用中，人類的因素和決策。Abdallat說：“AI的問題是你將丟失掉我稱為人類直覺或感覺的能力,因為現在你更多地依賴算法和機器，”因此他的公司采取數據驅動AI的方法，輔以人類知識補充。他說：“我們采用AI混合方法，贏取用戶和管理層信任，因為得到一個可解釋的答案非常重要，”意味著需要知道如何得出結論。純數據驅動方法能提供答案，但不能解釋如何達成這些結論，并可審計，而這兩者都為最后的方案提供信心。西門子能源工業安全和數字安全的副總裁 Leo Simonovich同意這個觀點：“你需要合作伙伴方式，清晰和有說服力的用戶案例鼓勵使用，結合人力和專業知識，推動業務成果，”Abdallat 先生說：“你確信能真正處理好數據策略、知識管理策略及步驟，才能站得上風。在這個周期中保證人力參與非常重要，但同時還要最小化介入。”因此在成功的網絡安全中，AI和人力之間的平衡和互相依賴成為關鍵因素，信任、透明和問責制是對機器收益的補充。Shivanandan女士說：“我們不讓機器學習算法沒有人類的情況下運行，我們仍然需要人力基于實際和正在發生事情，去評估和調整我們的模型。”

第四章 從暫露頭角到不可或缺

    人們廣泛認可AI在網絡安全的重要角色，在未來的5-7年內，隨著組織認識到它的好處，會得到更多的采用。Abdallat說：“網絡安全因為AI得到快速成長，在這個領域，隨著采用更多的新技術，我們會看到驚人的增長。”例如，越來越多的方案提供商，使用機器學習工具提供持續監控和評估第三方廠商和供應商，告知他們的合作伙伴的安全情況，從而使公司更安全。Simonovich 說：“我們的能力取決于最弱的環節，我們需要合作伙伴應對行業層面的挑戰，創建集體防御，為了保護中小規模企業，AI必須成為核心，因為中小企業可能作為漏洞源而被利用。”

    同時，隨著系統復雜性提高，網絡攻擊者將快速利用他們，可能使用AI本身來滲透系統。Newman女士補充說：“第一個挑戰是我們沒有正確控制或檢查，增加了復雜性，把網絡安全目標復雜化，保護這些我們依賴的更廣泛系統。”

    情況正在快速變化，Schaake女士說：“在下一個五年，我認為我們將了解更多的漏洞，物聯網快速發展，更多設備易于接入和互聯，但非常缺少保護，我們將發現一個薄弱環節如何影響整個系統。”

    因此AI用來增強而不是替代人類。Newman女士說：“技術沒有達到把人類從過程中移除、將導致更好結果的信任點上，”混合方法利用AI 數據驅動模型，結合人類知識和工程，加上合適的策略，在改善網絡安全方面實現雙贏的局面。Simonovich說：“AI能幫助克服報警疲勞的想法，進行大規模分析，更快地得到答案，帶來上下文和深入了解，因為最后人類最終需要關注的是精準防御。”

    Adballat說：“我認為投資建立強大基礎設施，投資于培訓管理和人員的公司將獲得成功，而其他輕看基礎設施的公司則會吃虧，你想找到合適的平衡，最小化人類參與的數量，從而降低風險，但同時你有監督-你仍然需要人類的參與。”

關于pillsbury

    Pillsbury是一家國際律師事務所，專注于技術&生命科學、能源、金融和房地產&建筑行業。被金融時代雜志認為是最具創新的律師事務所之一，BTI 咨詢機構認為頂級客戶服務公司之一。Pillsbury及其律師以他們前瞻性思考方法、跨學科合作的熱情、商業意識的權威性而備受稱贊。

    Pillsbury幫助全世界的客戶，抓住AI帶來的獨特機會，從根本上改變和提高他們運維方式。我們多學科AI團隊為初創公司和全球化企業、所有行業、政府機關提供咨詢，幫助他們了解技術復雜度-日益出現的創新和不斷變化監管和法律標準，在機器學習、自然語言處理或神經網絡項目方面，我們和AI發明人、早期實踐者、投資人攜手合作，解決他們遇到的各種的商業、監管和責任問題。

    公司因為它提供的和網絡安全、數據防護及隱私法律問題敏銳的洞察和穩定指導贏得杰出的名聲。Pillsbury 律師為公共和私人部門所有形式的關鍵數據隱私問題，特別在技術、能源、金融、通訊、國防/政府合同、醫療健康行業、關鍵基礎設施提供咨詢。我們的跨國團隊由監管機構、訴訟律師、交易律師、知識產權咨詢、政府合同從業人員和立法戰略團隊組成，和全世界客戶緊密工作，監測快速變化的數據和網絡環境，應對相關安全挑戰。

（完）