金融機構網絡流量安全分析系統架構設計與應用實踐

隨著網絡和信息化、智能化技術的飛速發展，黑客破壞、數據篡改、信息泄露、間諜軟件等網絡攻擊事件層出不窮，網絡安全形勢正變得愈發嚴峻。當前，金融業應用和業務復雜多變，自身網絡規模不斷擴大，安全防御措施存在數據過載和失真問題。此外，由于大量基于規則的檢測技術本身存在滯后屬性，導致以“被動防護”“平衡風險”“適度安全”為主的傳統網絡安全防御措施受到挑戰，難以適應業務發展與監管的新要求。

Gartner和 CBInsights 的分析表明，網絡流量分析（Network Traffic Analysis，NTA）技術是目前網絡安全監測的重要技術發展方向，基于 NTA 技術的網絡安全監測系統將不同的威脅檢測重點和功能進行融合，既可以解決傳統監測手段的瓶頸問題，又可以擴展實現更多復雜的安全分析需求，具有重要的實用價值和現實意義。

金融機構在實施網絡安全監測的過程中，業務系統不斷集中、數據規模不斷增大，同時高級持續性威脅分析數據源存儲周期跨度變廣、分析時效要求也在逐步提高，針對這些情況，需要保障安全威脅檢測的及時性、有效性和可回溯性。本文結合 NTA 技術的特點，提出了一種以大數據技術為基礎，融入人工智能、數據挖掘的網絡流量安全監測體系設計方法，并依托金融機構特有的網絡環境和安全監測需求，構建出新一代以安全分析為核心的威脅檢測分析系統。該系統能夠采集、處理、轉換和存儲大規模實時流量協議數據，提高大規模網絡安全監測信息集中處理的效率，有效應對新形勢下復雜、動態、隱蔽的網絡攻擊。

系統架構設計

1.1　整體架構設計

網絡流量安全分析系統在架構上主要分為兩個部分，即大數據處理子系統和安全檢測分析子系統。

1.1.1　大數據處理子系統

大數據處理子系統基于大數據處理平臺，主要負責對數據進行采集、傳輸、處理與存儲。通過采集實時鏡像流量，將數據按照不同協議進行深度解析并歸一化處理，最后經過統一的消息隊列將數據存入數據倉庫。大數據處理子系統架構如圖 1 所示。

圖 1　大數據處理子系統架構

（1）流量采集。對網絡流量進行數據包捕獲、協議識別解析及元數據提取，形成原始流量數據。

（2）數據處理。對原始流量數據進行處理，包括標簽豐富、數據轉換，最后進行歸一化處理，并對流量數據中的文件進行捕獲提取。

（3）消息隊列。將經過處理的流量數據傳遞給消息隊列，系統其他組件通過消息隊列獲取數據。

（4）數據存儲。將消息隊列中的原始流量數據、歸一化后的協議數據、文件存入數據冷、熱倉庫中。

1.1.2　安全檢測分析子系統

大數據處理子系統將數據存儲至數據倉庫的同時，也將數據傳遞給安全檢測分析子系統進行檢測與分析，主要包括安全檢測、安全分析、數據存儲、展示平臺等功能模塊。安全檢測分析子系統架構如圖 2 所示。

（1）安全檢測。從消息隊列獲取結構化流量數據并進行簽名規則（特征）檢測、高級統計分析檢測、機器學習模型檢測、關聯分析模型檢測、威脅情報匹配，產生相應的風險告警事件。

（2）安全分析。對歷史風險告警數據及實時結構化流量數據進行分析與處理，實現高級安全問題深度分析，包括數據統計與查詢、調查畫布、交互式分析、自定義模型、基線檔案等分析過程。

（3）數據存儲。將前述步驟產生的數據按照不同的功能進行存儲。告警事件存儲至數據搜索引擎，系統日志及配置數據存儲至關系數據庫，圖表類數據存儲至圖形化數據庫。

（4）展示平臺。對最終的風險告警事件進行可視化展示，同時提供豐富的數據查詢、索引接口以及儀表盤、系統管理信息。

1.2　流量采集與數據處理

流量數據為整個系統的數據來源和入口，其采集是整個安全分析系統中最重要的環節之一。流量數據的安全檢測和分析功能要求數據結構統一，以利于系統理解。本系統采用鏡像的分布式方式獲取完整的流量數據，并基于數據包捕獲、協議解析、元數據提取 3 個方面進行采集處理。

1.2.1　數據包捕獲

數據包捕獲亦稱全量數據包捕獲（Full Packet Capture，FPC），是指對網絡流量以網絡數據包文件（Packet Capture，PCAP）等標準文件的格式進行保存。由于攻擊事件發生后對事件的調查分析依賴歷史流量數據，因此需要對流量進行完整記錄和保存，以便開展后續的全流量回溯分析。

安全分析系統在具備 FPC 功能的基礎上，增加數據包協議種類、大小、頭部字段等定制化選擇功能，用戶可以自主可控予以配置。

1.2.2　協議解析

協議解析亦稱深度數據包解析（Deep Packet Inspection，DPI），是指對網絡流量數據包按照開放式系統互聯模型（Open System Interconnection Model，OSI）網絡分層的第二層至第七層進行完整解析。由于安全檢測和分析建立在協議數據可理解的基礎上，解析出的數據結構會保持一致性以便進行統一化處理。將從流量中提取的協議結構化數據提交給消息隊列，供大數據處理子系統和安全檢測分析子系統獲取。同時，系統對特定時間段的結構化協議數據（原始協議數據）予以存儲，供用戶在安全事件調查分析時使用；并將從不同應用層協議傳輸中還原出來的文件進行存儲，用于后續開展基于文件的惡意樣本檢測。

1.2.3　元數據提取

元數據提取亦稱會話數據采集，是指系統按照不同協議對 IP 數據流信息進行元數據的提取（如五元組信息等），解析并記錄流量數據，將數據進行歸一化后推送至消息隊列。會話數據可以用于掃描探測類事件檢測與處理，降低安全檢測分析子系統的壓力；也可用于網絡會話統計、流分析，表述網絡環境整體情況。IP 數據流信息包括 IP 流信息輸出（IP Flow Information Export，IPFIX）信息和網絡流量監控（NetFlow）信息。

1.3　安全檢測與分析

當前，企業對網絡安全風險的監測大多基于服務器和網絡的入侵檢測技術。基于服務器的入侵檢測主要依靠審計數據和系統日志的準確性和完整性，若攻擊者設法逃避審計或進行攻擊痕跡清理，將導致這種檢測方式失效。基于網絡的入侵檢測主要依靠特定的檢測規則，存在規則被繞過和無法調查溯源的弱點。傳統檢測設備無法有效存儲大量的事件日志和網絡日志，導致攻擊事件發生后難以有效取證，同時造成《關鍵信息基礎設施安全保護條例》[3] 中相關規定難以落地。

伴隨機器學習和人工智能技術的發展，入侵檢測技術在網絡安全監測和防御領域得到越來越廣泛的應用，相關的理論體系和商業產品也不斷面世。基于機器學習和人工智能技術的網絡安全監測系統，能夠彌補傳統基于靜態簽名特征的檢測方式存在的短板，進一步提高系統的安全檢測可靠性。例如，神經網絡技術在分布式拒絕服務攻擊、蠕蟲病毒、垃圾郵件、僵尸網絡等多種威脅的檢測方法中具備較高的檢測效率和有效性。

基于此，本系統對分布采集來的數據進行集中安全關聯檢測，分為 5 個方面，分別為簽名規則檢測、統計分析檢測、機器學習模型檢測、關聯分析模型檢測、威脅情報關聯匹配。

在上述安全檢測的基礎上，系統提供對惡意攻擊事件和威脅行為的進一步分析、調查功能，這部分主要包括協議數據統計與查詢、可視化告警事件調查、交互式安全分析。

1.4　數據存儲

一套完整的安全分析系統需要具備對安全檢測分析子系統產生的結果數據、流量深度解析后的結構化數據等多種數據進行存儲的能力。本系統根據不同的數據需求場景集成了多種數據存儲方案。

1.4.1　分布式搜索引擎（數據庫）

安全檢測分析子系統產生的大量安全告警事件需具備快速響應、查詢和搜索的能力，針對這類數據的存儲，本系統選用了分布式搜索引擎，可以向用戶提供海量安全告警數據的快速檢索及熱數據（原始協議數據）的實時分析能力，提高系統的響應能力和使用體驗。

1.4.2　基于大數據平臺的數據倉庫

大數據處理子系統需要對歸一化后的原始協議數據進行長時間段的存儲，處理數據規模十分龐大，系統不僅需要存儲大規模數據，還需要實時安全檢測網絡流量數據、基于歷史數據開展規模訓練等業務，因此本系統選用了基于大數據平臺的數據倉庫，具備易擴展和函數式編程的特點，對數據的離線分析具有較好的支持，這與安全檢測分析子系統的使用需求相吻合。

1.4.3　輕量關系型數據庫

鑒于安全檢測分析子系統在展示安全告警事件時需存儲的用戶信息、風險描述信息、告警策略等數據之間存在相互關系且符合關系型數據庫特征，本系統選用了輕量關系型數據庫對其進行存儲，具備數據更新開銷小、數據一致性高的特點，能滿足系統對數據進行安全、可靠的復雜查詢需求。

1.4.4　圖形數據庫

安全檢測分析子系統提供基于可視化的交互式分析能力，對于圖形化數據及圖關系數據具有較大的存儲需求，并且性能要求較高。目前，圖形數據庫得到廣泛運用，其具有的快速圖形化數據存儲、檢索、處理能力可滿足分析系統使用需求。

關鍵檢測分析技術及應用場景

網絡流量安全分析系統的安全檢測分析能力主要體現在兩個方面，一是基礎安全能力，二是高級安全應用能力。基礎安全能力通過基于簽名規則、行為統計及智能模型的融合分析產生安全告警事件。高級安全應用能力則是以安全告警事件為基礎，通過運用科學的計算方法及可視化技術提供面向基線檔案、事件關聯分析、安全事件溯源等應用的安全能力。

2.1　基于簽名規則的安全檢測技術

本系統保留了傳統安全工具的檢測方式，利用簽名規則進行分析檢測，包括網絡攻擊特征檢測、入侵指標（Indicator of Compromise，IoC）信標檢測、超文本傳輸協議（Hypertext Transfer Protocol，HTTP）雙向內容檢測等。由于能夠進行快速地更新上線，簽名規則在漏洞爆發的第一時間可實現對攻擊行為的檢測和捕獲，避免檢測的滯后性。

2.2　基于統計分析的安全檢測技術

對于一些復雜場景的惡意攻擊行為，難以通過單一的簽名規則實現檢測，需要借助統計分析技術進行識別。基于統計分析的安全檢測技術通過對惡意行為予以統計，能夠有效識別離線特性的數據場景，彌補傳統簽名規則特征檢測的不足，實現對復雜行為的檢測。基于統計分析的安全檢測技術流程如圖 3 所示。

圖 3　基于統計分析的安全檢測技術流程

本系統通過基于統計分析的安全檢測技術，在暴力破解、端口掃描等攻擊行為的檢測上得到較好的應用效果，實現準確識別。另外，系統使用統計分析技術從攻擊者視角建立攻擊畫像，進一步協助安全管理人員進行調查分析。下述為用于構建惡意攻擊者用戶畫像的適配特征。

（1）攻擊行為：暴力破解行為、掃描行為（通用型、組件型）、數據獲取、提權行為、高危端口掃描、主機存活掃描、地址解析協議網絡掃描等。

（2）工具類型：攻擊者使用的工具特征、User-Agent 信息。

（3）活躍特征：攻擊者 IP、攻擊活動持續時長。

（4）資產信息：敏感文件、敏感數據。

（5）協議行為統計：HTTP 數據統計。

2.3　基于機器學習的安全模型檢測技術

基于簽名規則的檢測方法與基于統計分析的檢測方法均依賴于靜態的固定特征、有限的簡單攻擊行為模式，存在漏報和誤報的概率較大，無法預測相似的未知攻擊。為解決此問題，本系統使用基于機器學習的安全模型檢測方法，通過學習惡意攻擊行為特征，實現對未知攻擊的精準預測，在基線異常檢測（數據庫異常、資產異常、賬號異常等）、隱蔽隧道檢測、域名生成算法生成域名檢測、Web 網絡后門木馬檢測等方面得到較好的應用，對處于攻擊過程中的數據滲漏、系統控制階段具有顯著檢測效果。

基于機器學習的安全模型檢測方法主要包括在線實時檢測和離線檢測兩類。在線實時檢測是指通過已知特征進行模型訓練，利用可用模型直接對采集解析后的數據進行實時風險識別，輸出對應的安全告警事件，準確性較高。基于機器學習的安全模型檢測流程如圖 4 所示。離線檢測是指根據離線流量數據進行自學習，通過對行為基線的特征學習，尋找數據中的異常現象，如資產基線檔案異常檢測、結構化查詢語言（Structured Query Language，SQL）基線檔案檢測模型等。以數據庫異常檢測模型為例，從離線原始協議數據中獲取 SQL 語句，經過詞法分析、語法分析等技術形成 SQL 語法樹，再提取數據中的行為特征、結構特征及規范語法樹特征入庫形成基線，設置學習次數，最后通過反復學習實現檔案模型。

圖 4　基于機器學習的安全模型檢測流程

2.4　關聯分析模型檢測技術與威脅情報匹配

通過特征、統計、模型檢測出的事件往往都是獨立的事件點，而這些事件的準確性主要依賴于規則及模型的健壯性。本系統使用關聯分析模型檢測技術，采用由點及面的設計思路，將安全事件場景化，借助大數據平臺的計算效率，通過對不同檢測引擎產生的告警事件進行快速組合串聯，具備有效檢測出特定攻擊場景下的完整攻擊事件及攻擊鏈的能力。同時，可以將攻擊事件中體現出的戰術點進行劃分，并與 MITREATT&CK 攻擊矩陣進行對應展示，能夠對當前網絡的安全狀態提供科學有效的數據依據。

本系統進一步將威脅情報匹配納入關聯分析范疇，通過提取流量數據中的 IoC 信標信息，與系統內置的威脅情報庫信息比對進行安全檢測。威脅情報數據采用結構化威脅信息表達式的標準格式存儲，具備可擴展和自動化管理、應用的特點。

2.5　數據可視化與交互式安全分析技術

網絡安全可視化作為新興的交叉研究領域，為傳統的網絡安全數據分析方法注入了新的活力。海量的安全數據需要借助可視化交互式分析技術才能發揮更大的價值，使用戶能夠快速定位和理解網絡安全風險。

本系統通過交互式分析工具，可建立人與數據之間的圖像通信，借助人的視覺處理能力，進一步提高分析人員的感知、分析和理解網絡安全問題的能力。例如，基于 IoC 信標數據可以建立協助安全管理人員調查分析的調查畫布。對于流量中出現的異常連接，結合金融機構內外部地址轉換頻多的特點，使用桑基圖等圖形可有效體現異常連接的狀況，幫助安全人員快速確認是否為有效攻擊。傳輸控制協議（TransmissionControl Protocol，TCP）建連關系如圖 5 所示。

圖 5　傳輸控制協議建聯關系

系統部署與典型組網

網絡流量安全分析系統主要分為流量采集服務器（Sensor）與安全檢測分析服務器集群兩部分。

（1）流量采集服務器。通過旁路方式部署在網絡節點（路由器、交換機）處，對網絡流量進行鏡像，同時識別與解析流量信息，為安全檢測分析集群提供數據來源。另外，Sensor 還負責對采集解析后的流量信息進行數據處理，包括服務識別、資產識別、文件解析、流統計以及基于流的安全檢測等。

（2）安全檢測分析服務器集群。以多臺服務器構成集群的方式對采集的流量數據進行集中分析、處理，包括簽名規則引擎檢測、基于大數據平臺的高級統計分析、機器學習模型計算、關聯分析與匹配等，最后將檢測結果存儲至數據倉庫并通過 Web 應用服務進行統一數據展示。

對于網絡規模大的金融機構應用場景，推薦采用分布式集群的部署方式，由 N 臺 Sensor與分析服務器（檢測分析集群）組成，可以根據實際情況進行橫向擴容，網絡流量安全分析系統典型組網如圖 6 所示。如果網絡規模小，可以考慮 Sensor 與分析服務器簡化融合為單機版部署方式。

圖 6　網絡流量安全分析系統典型組網

結　語

縱觀當前企業的安全監測方案，大多通過網絡入侵檢測系統、網絡入侵防護檢測系統、Web 應用防護系統組合成在線防御體系，在互聯網飛速發展的大背景下，各金融機構積極投入并探索新型網絡安全防護監測系統，用于解決數據過載、數據失真、規則滯后問題。本文提出了一種適用于金融機構網絡環境的安全監測架構，在 NTA 流量分析技術的基礎上，引入大數據技術、機器學習模型，將不同的風險檢測重點和功能進行拆分融合，既解決了傳統監測手段的瓶頸問題，又滿足了更多復雜環境下的安全綜合分析需求。通過應用實踐，驗證了該架構的可行性及有效性，使得該架構設計具有重要的實用價值和現實意義。

引用格式：周恒磊 . 金融機構網絡流量安全分析系統架構設計與應用實踐 [J]. 信息安全與通信保密 ,2022(12):99-107.