數據中心流量整合及應用的研究與實踐

隨著金融科技的進步和金融業務的發展，網絡規模和網絡流量都有飛速的增長，網絡運維和網絡安全保障的復雜度與難度也日益提高。尤其在網絡流量管理和應用方面，如何實現全網流量的平臺化輸入輸出管理、如何實現流量的靈活分配和處理、如何采用較新技術實現流量的業務性能可視化和安全態勢可視化，都是非常值得研究和實踐的內容。本文結合工作實際，對以上內容進行分析研究，并介紹相關實踐。

網絡流量采集的難點及方法

網絡流量是業務性能及安全態勢分析的最重要“源數據”，大型銀行數據中心的網絡架構往往包含多個網絡邏輯分區，業務訪問路徑可能會跨多個網絡分區，同時網絡分區內部二層路徑多，在實現網絡流量采集與應用的過程中往往會遇到如下挑戰。

一是全量采集難實現。由于分析工具端口與性能的限制，通常無法實現多中心、全區域網絡流量采集，并因此無法實現端到端的全路徑流量采集。二是流量輸出不精準。受限于交換機端口鏡像功能，難以對采集的流量進行預處理（過濾、去重、截斷等），導致分析工具性能和端口消耗巨大。三是多視角并行分析難實現。多個分析系統存在流量使用沖突情況，難以實現基于網絡流量的網絡、應用、安全、審計等多視角實時分析。

因此，實現數據中心網絡流量的全量采集和集中管理非常必要。通過建立網絡流量管理平臺，將傳統架構網絡、SDN網絡、虛擬機、容器云等多種不同類型的網絡流量進行有機整合，實現多數據中心流量匯聚和統一調度，為后端的流量應用工具提供有效的源數據支持。

在常規網絡環境下，可通過端口鏡像技術、熔融拉錐或平面光波導無源分光技術、鏈路Bypass串接技術等來實現網絡流量采集。在云環境（如VMware虛擬機平臺、OpenStack虛擬機平臺或Docker容器環境）下，通過在云內部署軟采探針，利用DPDK流量監聽技術實現vSwitch流量采集，再結合流量預處理軟件，完成宿主機內部流量的采集和預處理，經過處理的采集報文通過GRE、VxLAN等隧道封裝發送至外部流量采集平臺。

以上的采集方式均屬于旁路采集，采集設備或采集軟件不參與通訊過程，只是通過技術手段獲取一份實時通訊報文。除此之外，還有另外一種鏈路串接流量采集模式，在串接模式下，流量采集設備串入網絡中，一方面可以進行流量監聽采集，另一方面可以對網絡異常通訊進行主動干預，配合諸如WAF、IPS等網絡安全工具的使用，進一步增強了網絡維護的手段。通過這類串接采集設備，可以將原有串接在網絡上的多個安全工具實現“物理并聯+邏輯串聯”功能，提高網絡的整體可靠性，避免了傳統串聯安全工具帶來的網絡瓶頸。

對于同城災備、兩地三中心等多數據中心場景，可通過裸光纖、DWDM專線或帶內隧道傳輸等多種方式實現網絡流量采集全覆蓋與統一調度。

圖 網絡流量管理及應用架構

網絡流量處理要點

在提供進一步使用之前，需要對網絡流量進行匯聚、復制與差異化處理。通過這些處理，可向各流量應用系統（如可視化分析和安全監控類系統）提供滿足其需求的網絡流量。流量處理的要點如下。一是實現標簽生成與寫入。通過自定義VLAN標簽、納秒級時間戳等方式，給采集到的原始報文增加額外的附加信息，后端分析工具進行流量應用過程中，可以利用這些附加信息，擴展分析深度和分析顆粒度。二是實現精細化流量過濾。原始報文中含有各種參數信息，如：五元組、MAC地址、VLAN ID、VxLAN VNI、應用協議、報文長度等，利用這些參數對報文進行篩選過濾，剔除無效流量，提高流量應用的總體效率。三是實現報文精細整形。根據流量應用的個性化需求，對經過過濾處理的原始流量進行“精加工”，如：去重剔除重復報文、切片刪除冗余字段、去掉報文頭部標簽或外部隧道等。四是實現敏感信息脫敏。網絡流量應用過程中，需要充分考慮到敏感數據的安全保護問題，生產網流量中攜帶的關鍵交易信息和用戶信息可能需要脫敏之后再送往分析工具，流量處理可利用掩碼和截短方式對報文中的關鍵信息進行擾碼或直接刪除。五是實現流量按需分配。在實際應用中，流量分配還應考慮實現流量復制、分片報文處理、按需分配、同源同宿負載均衡等技術，保證各流量應用工具可以獲取到最為有效的“關鍵源數據”。

網絡流量的多視角應用

在實現網絡流量的采集和處理之后，可將其輸出到不同目的的分析系統中，主流的三類應用為：網絡性能監控、業務性能監控、網絡安全監控。具體如下。

基于流量的網絡性能監控應用。此類應用分析網絡數據包交互過程，基于網絡協議規范，對流量進行精細化分析，生成每個會話、每個主機、每個應用、每條網絡鏈路的多維度上百種網絡性能指標，從而實現網絡層面的全局監控。通過對網絡數據包的存儲和檢索，還可進行更細致的數據挖掘，對網絡故障做出根因分析。

基于流量的業務性能監控應用。此類應用分析業務交易全過程。通過對交易全過程數據流的分析，對交易成功率、交易時延、交易類別等業務運行狀態提供快速準確的監控報警能力，特別是在業務促銷、大業務量突發等場景下具備實時監控能力；通過對業務數據流與交易的深度追蹤，可對異常業務進行深度分析，查找深層次原因；通過業務交易流量的統計，可建立業務性能基線，準確反映一個時間段內業務和應用的變化趨勢，并對未來的業務和應用發展態勢做出預測。

基于流量的網絡安全監控應用。此類應用關注于網絡安全監控，通過對網絡流量進行特征分析、行為分析、IP分析等多種方式，甄別出網絡攻擊和異常行為并報警。該類應用結合威脅情報、流量分析與日志分析，可實現高級威脅的偵測，發現網絡中潛在的異常威脅和安全隱患。此外，能夠利用網絡流量存儲，基于HTTP會話解析和文件還原，直觀還原攻擊現場，實現攻擊溯源。

開發銀行網絡流量管理實踐

國家開發銀行網絡流量匯聚平臺及相關流量應用系統，已經成為開發銀行金融生產網安全平穩運行的重要支撐平臺。

為捕獲完整的業務流量，開發銀行專門建設了獨立于生產網絡的數據分析網，由流量采集層、流量管理層與流量輸出層組成：流量采集層負責采集全網流量；流量管理層負責匯聚全網流量和部分預處理功能；流量輸出層負責流量的預處理與流量的輸出。對于云環境的網絡流量，通過軟探針方式進行采集，軟探針采集的流量一并發送至流量管理層進行統一管理與處理。對于跨數據中心的網絡流量，通過采用DWDM設備進行跨中心傳輸與流量匯聚，從而實現生產流量全量采集與統一管理。

網絡流量經過采集、匯聚后，通過復制與差異處理，分發給后臺多個分析系統，包括NPM（網絡性能分析系統）、APM（業務性能分析系統）、SOC（安全運營系統）、IDS（入侵檢測系統）、NTA（網絡威脅監測）等多個系統。NPM以數據包解碼、統計、分析為主，實現對網絡數據流量關鍵性能指標進行實時監控分析，對應用訪問質量監控分析，對網絡異常狀況分析；APM側重分析業務各節點的響應率、各節點響應時間等信息，實現業務端到端的服務質量分析。SOC、IDS、NTA等多類網絡安全工具側重分析網絡流量中的異常數據，尤其是安全掃描類報文、滲透測試類報文、惡意代碼類報文、隱蔽通信類報文等，通過對這些報文智能識別，結合威脅情報信息，發現安全異常并進行報警和進一步處置。

通過網絡流量的整合與應用，開發銀行建成基于網絡流量的NPM、APM、SOC等平臺，實現了全網絡區域和重要業務的性能監控，實現了內外網的全面安全監測，在助學貸款、網絡攻防演練等多個重點任務中發揮了重要作用。