基于大數據技術的測量平臺具有哪些功能

基于大數據技術的測量平臺具有以下功能：

• 分組流量采集：為支持網絡測量、網絡管理、網絡安全監控提供網絡流量原始數據，并為下一代互聯網核心網關鍵技術和運行管理技術研發提供網絡關鍵點的原始流量測量與分析數據，國家工程實驗室在CERNET2上部署了一套分組流量采集平臺。它針對大規模試驗網部署在核心節點核心路由器的萬兆接口，擁有8條10Gbit/s主干鏈路分組流量采集與分析能力，能支持網絡運行中的實時網絡流量采集與分析，并可存儲累積6小時長度的全報文和24小時的分組頭數據。

• Netflow流采集：為了給核心網技術的創新研究和網絡態勢評估提供基礎運行數據及網絡試驗環境，國家工程實驗室依托CNGI-CERNET2大規模試驗網絡部署的Netflow基礎設施，搭建了一套Netflow流采集平臺。平臺能支撐網絡研究人員從全網絡角度觀察和分析網絡行為，挖掘網絡發展與演進的規律，同時可為網絡優化和新型網絡體系結構研究提供網絡流量采樣數據。Netflow流采集平臺可支持大規模試驗網25個核心節點的Netflow流數據的采集、存儲與分析，可連續存儲12個月以上的數據，可支持未來持續不間斷的存儲容量擴充與分析能力升級。

• 數據分發：數據分發層的主要功能是將數據傳送到數據處理層或直接進入存儲層，同時能解耦數據采集層和數據處理層。這樣做的優點明顯，當出現新的采集工具或新的計算框架時，只需要關注它們與中間消息隊列的接口即可，消息隊列的另一端可以不必改動，降低升級帶來的開銷。另外由于我們的平臺有多個數據消費者（實時分析、標準數據集制作），為此引入消息隊列希望能做到一次采集多次讀取。這種選擇的一個缺點是，引入新的一層增加系統復雜性，同時如果消息隊列選取不合適將會造成兩頭瓶頸。因此我們在數據收集層的解決方案必須要求性能高效可靠。

• 數據處理：數據處理層是系統的核心部分，主要包括Storm流式處理，Hadoop離線處理以及數據脫敏處理。Storm主要負責實施流量監控，如鏡像流量的統計分析，Hadoop主要負責分析Netflow數據，以及用戶對歷史流量或流數據的查詢。所有分析的數據結果存儲在數據存儲層。由于Storm和Hadoop要分析的原始流量數據都來自數據采集設備，為了盡量保證Data Locality計算，減少數據復制帶來的額外存儲開銷，我們將Storm和Hadoop混合部署在同一個集群中。脫敏模塊負責從數據分發層獲取數據，并將數據中的敏感信息（如IP）通過算法抹去，保證用戶隱私不會被泄露。

• 數據存儲：原始數據包括鏡像流量和流數據以及它們匿名化之后的數據。對于鏡像流量數據我們并不能進行7×24小時的無止境存儲，大部分數據在實時分析之后被遺棄，只有特定采集計劃時間段內的流量數據才會被保存。流數據相較原始流量數據要小很多，我們將所有的流數據持續存儲以供歷史查詢。原始數據對網絡運行和研究都有非常重要的價值，因此為了保證數據可靠，我們將原始數據存儲在HDFS上。

回答所涉及的環境：聯想天逸510S、Windows 10。