大數據中間件層具備哪些功能

大數據中間件層具備以下這些功能：

• 負載均衡：負載均衡建立在現有網絡結構之上，它提供了一種廉價有效透明的方法擴展網絡設備和服務器的帶寬、增加吞吐量、加強網絡數據處理能力、提高網絡的靈活性和可用性。負載均衡（Load Balance）其意思就是分攤到多個操作單元上進行執行，例如Web服務器、FTP服務器、企業關鍵應用服務器和其它關鍵任務服務器等，從而共同完成工作任務。

• 訪問控制：訪問控制是給出一套方法，將系統中的所有功能標識出來，組織起來，托管起來，將所有的數據組織起來標識出來托管起來， 然后提供一個簡單的唯一的接口，這個接口的一端是應用系統一端是權限引擎。權限引擎所回答的只是：誰是否對某資源具有實施 某個動作（運動、計算）的權限。訪問控制是幾乎所有系統（包括計算機系統和非計算機系統）都需要用到的一種技術。訪問控制是按用戶身份及其所歸屬的某項定義組來限制用戶對某些信息項的訪問，或限制對某些控制功能的使用的一種技術，如UniNAC網絡準入控制系統的原理就是基于此技術之上。訪問控制通常用于系統管理員控制用戶對服務器、目錄、文件等網絡資源的訪問。

• 資源共享：在網絡中，多臺計算機或同一計算機中的多個用戶，同時使用硬件和軟件資源。通常多用戶同時需要的資源總是超過系統實際物理資源的數量，但采用邏輯（或虛擬）資源分配的方式，實現資源共享，可較好地處理這個矛盾，從而提高計算機的使用效率。但必須由操作系統進行協調管理，才能避免混亂。資源”是指網絡中所有的軟件、硬件和數據資源。共享”指的是網絡中的用戶都能夠部分或全部地享受這些資源。例如，某些地區或單位的機票、酒店可供全網使用；某些單位設計的軟件可供需要的地方有償調用或辦理一定手續后調用；一些外部設備如打印機，可面向用戶，使不具有這些設備的地方也能使用這些硬件設備。

• 業務處理：雖然采集端本身會有很多數據庫，但是如果要對這些海量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式數據庫，或者分布式存儲集群，并且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鐘的導入量經常會達到百兆，甚至千兆級別。

• 數據脫敏：數據脫敏是指對某些敏感信息通過脫敏規則進行數據的變形，實現敏感隱私數據的可靠保護。在涉及客戶安全數據或者一些商業性敏感數據的情況下，在不違反系統規則條件下，對真實數據進行改造并提供測試使用，如身份證號、手機號、卡號、客戶號等個人信息都需要進行數據脫敏。數據安全技術之一，數據庫安全技術主要包括：數據庫漏掃、數據庫加密、數據庫防火墻、數據脫敏、數據庫安全審計系統。

• 數據隔離：數據安全隔離技術是DSA源代碼防泄密的核心。其通過網絡加密、存儲隔離、端口隔離及磁盤加密，形成完整的四重底層安全機制。該安全機制在客觀上形成以加密子網為邊界的徹底物理隔離的堅實安全基礎。數據安全隔離技術原理并不是對某個應用進程的隔離，與上層應用進程無關。基于進程HOOK技術的隔離，只能形成應用層進程級源代碼防泄密效果，與數據安全隔離技術完全不同。

回答所涉及的環境：聯想天逸510S、Windows 10。