基于大數據的安防體系建設研究和實踐
摘 要：
隨著大數據、人工智能和云計算等信息技術的發展，安全防護形勢也越來越嚴峻，IT 架構和服務模式不斷發生變化，傳統的安防體系面臨著諸多問題。在繼承傳統的安全防護體系的基礎上，提出了將大數據相關技術融入到安防體系中，并從數據接入層面、數據融合分析層面、數據服務層面出發，通過大數據等技術手段構建了安全數據中臺，完善了安全防護技術體系。實踐證明，該體系在結構上能夠有效彌補傳統安全防護架構的不足。
內容目錄：
1 安防體系設計思路
2 安防體系架構
2.1 安全大數據平臺架構
2.2 安防體系數據架構
2.2.1 數據采集層
2.2.2 數據計算層
2.2.3 數據服務層
2.2.4 數據應用層
3 數據安全中臺實踐
3.1 安全數據治理平臺
3.2 安全大數據湖
3.3 安全數據分析平臺
3.4 安全數據服務共享平臺
3.4.1 資源目錄與元數據管理
3.4.2 數據使用
3.4.3 數據服務管理
3.4.4 服務控制
3.4.5 調度管理
3.4.6 運行監控
3.4.7 統一運維維護
3.4.8 數據統計分析與展示
4 結 語
傳統的安防體系實現了終端、網絡設備、安防設備和應用系統的統一納管，但隨著云計算、大數據等新技術的發展，IT 架構和服務模式不斷發生變化，傳統的安防體系如今面臨著諸多問題：核心軟硬件基礎設施中存在多種安全漏洞，網絡設備預制后門也層出不窮；安防設備呈現“孤島化”，各自為戰；各類安全告警事件，數據量大、誤報率高；各類攻擊日益工具化、自動化、組織化，等等。傳統網絡安全防護體系以被動響應為主，缺乏對抗能力和相互關聯的分析能力，導致安全預判能力不足。此外，傳統的安防體系的安全防護重點大多集中在修補漏洞和加固安全基礎設施，但這種純粹的靜態防御措施無法阻止黑客的蓄意攻擊，更無法阻止漫無目的的隨機性攻擊。
在此背景下，本文提出了一種基于大數據的安全防護體系建設思路。在具體實踐的過程中，先通過數據采集、匯聚、清洗、轉換、加工、存儲、治理等流程，利用大數據的技術手段與方法，構建安全數據中臺，包括安全數據中臺和安全資源中臺。然后，通過數據挖掘與融合關聯分析，來實時感知網絡安全運行狀況和安全態勢，預測可能要發生的攻擊，監測和發現正在發生的攻擊，一旦發現攻擊就自動響應，協同分布在網絡中的網絡安全設備和軟件對攻擊進行處置，支撐應急響應指揮。
１安防體系設計思路
近年來，業界已經提出了多種大數據安防體系建設思路，但目前，仍然處于不斷地豐富和完善的階段。研究發現，大部分安防體系設計思路主要圍繞以下 4 點展開：（1）安全資源：安全策略的執行主體，對接信息通信技術（Information and Communications Technology，ICT）環境資源并提供策略執行的結果信息反饋。（2）安全資源管控系統：決策指令（安全策略）的執行傳達者，通過對安全資源的能力調度及策略下發，實現“風險可控”。（3）安全信息感知系統：接收安全資源的數據，提供決策依據和決策執行的反饋信息，實現“風險可知”。（4）安全運營決策系統：基于安全信息，通過安全運行進行安全決策，實現組織安全目標“風險可管”。
針對大數據安防體系設計思路分析，何健等人提出了構建適用于大數據環境的、立體動態的多層次安全防護體系；劉曉軍等人 從剖析大數據通用技術架構入手，總結了數據處理的相關流程，分析和對比了數據中臺并總結了其適用范圍和優缺點，最后聚焦多級架構模式下數據安全融合技術問題，提出了相應的解決辦法；張翠翠等人 提出了基于數據中臺的數據安全分級防護方案，給出了數據中臺“零信任”安全防護總體架構；賴新等人構建了基于云計算用戶層、數據傳輸層和云計算服務層的數據安全防護體系。經過匯總整理，本文給出了安防體系的參考框架，如圖 1 所示。
圖 1 安防體系參考框架
由圖 1 可以看出，基于大數據的安全防護體系建設理念包括以下幾點：（1）智能感知系統：由安防設備、網絡設備、物聯網（Internet of Things，IoT）設備等構成，采集與網絡安全相關的數據和信息，就像人類的眼睛、耳朵、鼻子，源源不斷地把脫敏后的安全數據傳輸到“安全大腦”，由“安全大腦”進行智能的分析和決策。（2）大數據湖：存儲網絡安全大數據的平臺，相當于人的記憶中樞。（3）安全知識體系：包括各種威脅情報、安全資源庫、安全分析模型等等，是用于檢測、識別、分析、溯源各類網絡安全威脅的知識庫。（4）智能分析系統：采用人工智能、數據挖掘、可視化計算等一系列分析技術，實現對安全威脅的分析研判和處置。（5）智能學習系統：具備自我學習、自我演進的能力，實現對新的網絡安全威脅、攻擊方法等的識別功能。（6）人機智能交互輔助決策系統：利用安全專家經驗，通過智能人機交互方式，實現對安全威脅檢測、分析、溯源等的輔助決策。
２安防體系架構
2.1 安全大數據平臺架構
在參考了上述關于安防建設體系的設計思路與建設理念后，結合實踐特性，本文有針對性地提出了安全大數據平臺的體系架構，如圖 2 所示。該體系架構從邏輯層次上劃分為安全底座、安全中臺、服務總線、安全應用 4 個層次。
圖 2 安全大數據平臺架構
總體而言，安全大數據平臺架構可概括為“一腦雙核，四輪驅動”，具體由安全數據中臺、安全資源中臺、數據治理、安全事件、國家標準和技術協會（National Institute of Standards and Technology，NIST）的網絡安全框架（Cyber Security Framework，CSF）、數據驅動 6 個部分組成。其中“一腦雙核”是指以安全數據中臺和安全資源中臺為核心構建的智能感知控制體系：數據中臺提供安全數據采集、處理、分析、組織和集成的通道；資源中臺則是以數據中臺為基礎，為各種安全應用提供數據基礎服務能力。智能感知控制體系以資產為核心構建，不斷流動的安全事件經過安全大腦分析判斷之后反饋給安全管控平臺，通過策略管控手段作用到資產上，形成了管理與控制的通道。
“四輪驅動”是指以數據治理為手段，以安全事件為中心，以 NIST 的 CSF 為指導，以場景化驅動豐富的安全應用：數據治理是指構建安全事件主數據體系，如資產、病毒、漏洞、行為、威脅情報庫、安全資源庫等；以安全事件為中心，持續動態檢測和響應，在所有感知層收集的數據進入事件中心后，在策略管控下，在安全主數據、威脅庫和安全知識庫指引下進行實時或離線處理，響應系統會做出各種符合相應場景的響應；以 NIST CSF 框架為指導，構建資源中臺，對外提供包括識別、保護、檢測、響應、恢復在內的完整的安全能力和功能的輸出；以數據驅動豐富的安全應用，通過各類安全應用融合聯動，促使安全從原來的被動、割裂走向融合、場景化且能夠統一管理。
由此可以看出，安全數據管控能力的集中性，多種應用場景的適應性，以及支撐業務發展的可持續性是該架構的核心思路。
2.2 安防體系數據架構
在本文建立了安全大數據平臺后，安全防護問題實質上就演變成了數據問題，如何采集、計算、存儲、融合分析數據，直至挖掘出安全威脅是整個安防體系需要考慮的核心問題。如圖 3 所示，安全大數據平臺的數據架構在設計上與安全大數據平臺的體系架構類似，主要由數據采集層、數據計算層、數據服務層和數據應用層 4 部分構成。
圖 3 安全大數據平臺數據架構
2.2.1 數據采集層
數據采集層利用大數據技術收集網絡安全信息 。從業務類型來劃分，接入的數據主要包括安防應用系統埋點日志類數據、流量類數據、安全資源類數據、安全知識情報類數據和安全告警類數據等。數據抽取工具和自定義程序實現對數據庫、文本文件、流數據的接入。通過構建數據引接系統，支持多源異構數據接入，引入 Kafka 數據高速傳輸組件，能夠實現流量削峰，建立高效數據傳輸通道，最大化數據吞吐率，實現數據高速采集傳輸，減少數據時延，滿足對實時性要求更高的應用場景。
2.2.2 數據計算層
對于安全數據分析場景，數據處理需要實現流批一體化。從數據處理實時性來看，對一些時延性要求不高的業務場景，一般采用批處理方式，而對于實時處理要求比較高的業務場景，較多采用流式處理引擎，其處理過程為：數據同步工具從業務系統庫實時增量同步數據到 Kafka；數據通過 Kafka傳輸，經過消費同步到安全數據平臺的數據湖中；另外數據經過實時計算引擎 Flink 處理后，直接推送到前端數據應用中，進行數據可視化展示。流式計算的具體處理流程如圖 4 所示。
圖 4 流式計算處理過程
本層引入離線和實時數倉。數據倉庫設計采用分層的設計，這樣設計的原因是對于海量安全數據，需要對數據進行組織規劃，使其具有清晰的數據結構，方便數據有秩序地流轉，并且在數據開發過程中，能夠減少重復開發，統一數據口徑。
2.2.3 數據服務層
經過數據計算后，主要輸出的數據服務能力包括數據資源目錄服務、主數據服務、數據標準、數據共享服務、數據質量服務、數據血緣分析服務和元數據管理服務。每一類數據服務都由一組服務接口組成。
2.2.4 數據應用層
通過數據服務層打通各類安全數據與安全應用的通道，實現無縫銜接，以數據驅動安全業務發展。
３數據安全中臺實踐
3.1 安全數據治理平臺
早期安全應用系統的建設思路是圍繞如何將業務 IT 化，而數據只是這個過程中自然而然產生的結果，即IT化的“副產品”。隨著數據處理技術（Data Technology，DT）時代的到來，越來越多的企業認識到了數據資產的重要性以及數據驅動業務決策和產品智能兩大方面的應用價值，其中數據治理是實現數據效能、數據驅動業務的關鍵步驟。
數據接入引擎從多個業務源系統收集了很多數據，包括流量、病毒、漏洞等多種數據。分析發現，這些數據種類多，字段名稱、字符大小不統一。為了能夠充分利用這些數據，需要對這些數據進行治理工作。數據治理是頂層設計、戰略規劃方面的內容，是數據管理活動的總綱和指導，指明數據管理過程中哪些決策要被制定，以及由誰來負責，更強調組織模式、職責分工和標準規范。數據治理的本質是組織對數據的可用性、完整性和安全性的整體管理。其中，可用性是指數據可用、可信且有質量保證，不會因為分析結果的準確性造成偏差，可以根據數據分析結果做業務決策；完整性指數據需覆蓋各類數據應用；安全性指治理和分享過程中安全可控。數據治理的整體方法論是先確定數據應用、數據資產的需求，接著確定需要哪些數據，之后確定從哪種數據源獲取數據。在具體實踐中，這種構建數據流的過程，能夠在很大程度上解決分布在 IT系統里各個不同子系統之間的數據孤島問題。用一條完整的數據流將不同子系統之間的數據孤島打通，同時應用于不同的應用場景，這和構建數據倉庫的流程很類似，從某種意義上講，構建數據倉庫本身就是一個數據治理的過程。
在實踐過程中，發現網絡安全數據具有以下特點：（1）數據量大，比如流量數據；（2）數據類型繁多，比如病毒數據、流量數據、漏洞數據等；（3）數據增長速度快，比如各種安防設備、網絡設備、安全應用系統每時每刻都在產生與安全相關的日志信息，比如用戶會話日志信息、用戶操作行為日志等；（4）數據價值密度低，潛在價值高，以流量數據為例，在連續不斷的流量會話數據中，可能有價值的數據僅僅就那么幾條，但是作為攻擊的某種特征，往往就具有很高的價值。
結合數據的特點，在數據倉庫模型建設階段，依靠分布式計算平臺作為支撐，以維度建模為核心理念，基于維度數據模型總線架構，構建一致性的維度和事實，從而構造公共數據模型架構體系。數據模型架構如圖 5 所示。
圖 5 數據模型架構
表數據模型主要分為操作數據（Operational Data Store，ODS）層、公共維度模型（Common Data Model，CDM）層和應用數據（Application Data Store，ADS）層 3 層。其中公共維度模型層包括明細數據（Data Warehouse Detail，DWD）層和數據服務（Data Warehouse Service，DWS）層。在 ODS 層，幾乎無處理地將業務源數據同步到數據倉庫系統中，根據業務需求及稽核和審計要求保存歷史數據、清洗數據，同時對數據進行打標簽處理。CDM 層用于存放明細事實數據、維表數據以及公共指標匯總數據，其中明細事實表數據包括事務性事實表、周期性快照事實表和累積快照事實表。明細事實數據、維表數據一般根據 ODS 層數據加工生成，公共指標匯總數據一般根據維表和明細事實數據加工而成。ADS層用于存放數據產品個性化的統計指標數據，根據CDM 層和 ODS 層加工生成。
在大數據環境下，數據治理包含了元數據管理、數據質量管理、主數據管理、數據標準管理和數據安全管理。通過數據治理平臺定義大數據平臺的數據結構、質量規則和數據標準，實現大數據平臺的數據管控和治理。同時，大數據平臺的分析結果也可以反哺數據治理平臺，形成更多樣的可信賴數據服務。
3.2 安全大數據湖
面對數據架構和數據應用建設的全新挑戰，隨著大數據生態與技術的融合發展，本文引入了安全大數據湖的概念。數據湖這一概念最早于 2010 年 由 James Dixon 在博客中提出。James Dixon 認為，如果將應用層數據比喻為瓶裝水，即它是經過凈化、過濾、消毒處理后能夠直接飲用的，與之相反，數據湖則管理從各類數據源引接匯聚的原生態數據。Gartner 對數據湖的正式定義：除了原始數據，還有各種數據資產的存儲實例的集合。
本文結合數據湖概念與網絡安全應用項目實踐，給出了安全大數據湖存儲組件示意圖，如圖 6所示。
圖 6 安全大數據湖存儲組件
從數據視角來看，安全大數據湖本質上是一種數據存儲策略。從存儲形式來看，安全大數據湖有基于 Hadoop 生態的分布式存儲環境，同時數據存儲方面擴展了 Elasticsearch 集群存儲、FastDFS 集群存儲、圖數據庫集群存儲和 TiDB 集群存儲。它們是分布式數據存儲系統，提供海量的數據存儲管理能力，支持海量結構化和非結構數據的混合存儲。搭配TiDB數據庫，實現混合事務和分析處理（Hybrid Transaction and Analytical Process，HTAP）場景下的高性能數據處理。從技術視角來看，安全數據湖架構不能替代現有信息基礎架構——安全數據平臺架構，相反，它們是現有基礎架構的重要補充。安全數據湖是一種現代化的支持數據管理、數據分析、應用創新的基礎架構，能夠實現新的信息訪問和數據處理機制，支持日益復雜、多樣化、分布式的工作負載。
3.3 安全數據分析平臺
隨著網絡攻擊日益增多，攻擊手段也越來越先進、復雜，危害程度也呈上升趨勢，行業開始尋求自動化網絡安全解決方案。大數據技術、機器學習等人工智能技術的快速發展，推動了網絡安全技術的不斷升級，現如今已經可以通過 AI 分析進行數據的挖掘和預測。
如圖 7 所示，本文給出了網絡安全數據挖掘分層示意圖，總共包括特征數據層、中間數據層和應用場景層 3 層。
圖 7 網絡安全數據挖掘分層
在基于收集匯聚安全數據的前提下，對全網數據進行分析，通過定義不同的分析場景建立相應的行為分析規則，如異常分析、流量分析、脆弱性分析等，在中間數據層，結合攻擊策略、技術和常 識（Adversarial Tactics，Techniques and Common Knowledge，ATT&CK）知識框架體系、威脅情報知識體系、安全資源知識體系、資產體系等，采用統計、碰撞、關聯、預測、機器學習、知識推理等手段將分析模型分別映射到攻擊階段和技戰術，從而建立系統內部的 ATT&CK 知識體系。結合 ATT&CK知識體系，對全網數據進行行為分析、脆弱性分析和網絡流量分析，將分析結果分別映射于 ATT&CK知識框架中的攻擊階段和技戰術，建立系統內部的ATT&CK 知識體系。依據 ATT&CK 知識體系追蹤攻擊者的活動軌跡，發現攻擊者當前所處的攻擊階段，從而進行有效地響應阻斷、追溯、行為確認等。同時為展示完整的攻擊鏈提供數據支撐，如攻擊者利用釣魚郵件、水坑等攻擊或使用帶毒外設讓內網主機反向連接，然后攻擊者利用持久化或提權等相關技術控制內網終端，進而啟動惡意軟件掃描內網中其他主機，最后利用相關掃描信息控制目標主機并造成數據泄露。整個 ATT&CK 的攻擊鏈路為初始訪問—持久化—權限升級—掃描發現—橫向移動—數據滲漏。
以安全事件溯源分析為例，安全事件溯源分析能夠基于海量異構數據進行威脅數據采集分析，支持從大量網絡安全數據及安全事件中找出存在的關系，并從這些數據中抽取出真正重要的少量數據。借助先進的智能事件關聯分析引擎，平臺能夠實時不間斷地對所有范式化后的日志流進行安全事件關聯分析。結合全網數據（流量數據、終端數據、脆弱性數據等）及分析結果數據（終端行為數據）對發現的威脅事件進行溯源分析，如追溯病毒的來源、傳播途徑、感染范圍等。外設接入、文件傳輸、網絡連接等行為結合終端病毒日志、網絡流量日志、威脅情報檢測結果日志等數據進行綜合分析并追溯病毒來源及發現疑似病毒傳播的行為，如在使用的外設中發現病毒，傳輸的文件中發現病毒，網絡病毒攻擊等。同時支持下鉆到原始數據來對攻擊事件進行分析取證，并對回溯到的攻擊源，利用威脅信息進行驗證。此外，支持攻擊鏈模型對攻擊事件進行溯源分析，通過將產生的安全事件按攻擊過程分為信息收集、網絡入侵、命令控制、橫向滲透、目標達成、痕跡清理等類別，在真實的攻擊事件發生后，通過攻擊鏈模型結合人工分析判斷，找到真實攻擊源。
3.4 安全數據服務共享平臺
安全中臺承載著整合分享內部所有數據的角色，它將所有的數據整合在一起，并通過權限控制，充分地實現數據共享，從而聚合所有業務部門去探索數據的應用。安全數據服務基于大數據架構提供統一的數據服務能力，是數據對外開放和“縱向貫通”“橫向互聯”的共享通道。它提供實時接口服務和批量作業服務，從數據定義、服務開發、服務消費、運行監控 4 個方面著手，實現數據資源的閉環管理。數據服務共享平臺包括資源目錄管理、數據使用、數據服務開發、服務控制、調度管理、運行監控、運行維護和數據分析與信息展現，平臺應用架構如圖 8 所示。
圖 8 數據服務共享平臺應用架構
3.4.1 資源目錄與元數據管理
資源目錄與元數據管理是可交換數據元數據的結構化展現。該應用支持數據庫、大數據、Web 服務等多類型數據資源技術元數據的采集和業務元數據的維護能力，支持面向消費者業務視圖（比如按主題劃分）的創建，提供資源注冊、維護和搜索等功能。
3.4.2 數據使用
數據使用應用主要面向消費方，消費者可通過平臺申請數據資源及數據管理方審批處理；消費者可通過注冊功能自行在平臺注冊，并可在瀏覽數據資源后提交資源申請（拉）和訂閱（推）；消費方可查看所有申請的狀態及歷史記錄，可查看申請的匯總情況。此外，該平臺支持單個或批量申請。
3.4.3 數據服務管理
數據服務管理應用主要面向開發人員，支持通過服務發布組件實現數據服務的快速開發，開發完成的 RESTFul 服務自動注冊在數據服務共享平臺中。開發人員可以在平臺中瀏覽查看開發完成的數據服務消費方。如果消費方需要使用數據服務，則需要在平臺中發起申請，審批通過后根據平臺中提供的服務信息使用數據。
3.4.4 服務控制
平臺提供用戶對數據服務過程中的權限控制，包含 IP 白名單、服務狀態、調用關系管理等。
3.4.5 調度管理
調度管理是作業運行的指揮中心。可通過調度管理配置任務的調度策略，以及配置任務運行的優先級及觸發方式等。
3.4.6 運行監控
運行監控對整個平臺運行過程中的狀態進行監控，包括物理資源、服務引擎、傳輸監控、故障告警、消費方等，同時提供查看日志和歷史記錄的功能。
3.4.7 統一運維維護
為方便平臺使用的功能，統一運維維護應用支持資源目錄、作業模板、服務接口的導入導出。
3.4.8 數據統計分析與展示
數據統計分析與展示功能能夠針對平臺作業執行情況、數據交換總量、數據接入態勢、數據消費等進行可視化分析和展示。
４結 語
本文提出了基于大數據的安防體系建設思路，并通過大數據等技術手段構建了安全數據中臺從而完善了安全防護技術體系。實踐證明，該體系在結構上能夠有效彌補傳統安全防護架構的不足。隨著大規模數據采集、數據治理、數據分析、數據服務的發展，以及智能化安全運營的長期深入應用，從安全中臺的體系來看，安全威脅識 別（Identification） — 保 護（Protection）—檢測（Detection）—響應（Response）這一過程執行將越來越及時，攻擊者可利用時間窗口將越來越短。在未來的研究中，可以通過與云終端的聯動實現網絡安全最大化。
引用本文：余文杰 , 馮中華 , 萬抒 . 基于大數據的安防體系建設研究和實踐 [J]. 通信技術 ,2021,55(1):106-115.
