內存計算技術的主要特點有以下這些:
基于內存的高效數據讀取和處理:從數據庫中讀取數據因為磁盤I/O的性能限制而成為瓶頸,原因是傳統數據庫實際上是將數據以文件的形式存儲在磁盤上并為應用提供訪問數據的接口,從數據庫中讀取數據的本質是從磁盤上讀取文件。在過去幾十年的硬件發展中,內存和CPU的性能始終在飛速提升,只有磁盤I/O的性能提升并不明顯。從磁盤上讀取數據的速度是毫秒級,而從內存中讀取數據的速度是納秒級,基于內存的數據讀取比基于磁盤的數據讀取性能要快100萬倍。所以當基于數據倉庫進行報表分析時,如果從傳統數據庫中讀取海量數據需要數十分鐘的時間,那么從SAP HANA中讀取同樣的數據只需要不到一秒鐘的時間。
行存儲和列存儲的混合模式:傳統關系型數據庫是按照行的方式存儲數據的,能夠為交易系統即OLTP應用提供高效的支持。例如,一個零售商每當客戶購買產品時,需要在業務系統中創建一條數據記錄銷售的時間、地點、客戶、金額、地址等字段數據,當前端完成數據的錄入并提交后臺系統后,在數據庫中會在數據表中插入一行記錄,這條記錄中會包含本次銷售業務操作相關的數據。然而,基于行存儲的數據庫在支持數據分析應用即OLAP應用時則顯得低效和力不從心。
高效的并行處理機制:SAP HANA支持多服務器、多處理器的高效并行處理,能夠最高效、充分地利用多處理器的并發能力。能夠拆解數據模型,分成可以并行執行的步驟,也能夠將數據處理和運算拆分并部署到多個處理器。例如,計算引擎可以將數據模型拆解,將一些SQL腳本拆分成可以并行執行的步驟。這些操作將遞交給數據庫優化器來決定最佳的訪問行存儲和列存儲的方案。
高效的數據壓縮優化內存利用:SAP HANA的基本機制是將數據全部存儲到內存中,以進行高效的數據訪問和運算。雖然硬件包括內存的價格日趨低廉,但相比磁盤而言,內存仍是較貴的存儲設備。而在企業系統中數據增長迅速,達到數TB甚至數十TB的情況下,將所有數據原封不動地導入內存仍將帶來較大的硬件投資。為了幫助企業節省這一部分投資,SAP HANA中采取了基于智能數據字典等高效的數據壓縮機制,能夠將數據壓縮5~20倍,從而充分節約硬件投資。
虛擬建模減少數據冗余:在SAP HANA中,將源數據導入內存后,在HANA中的虛擬建模,一個屬性視圖可以被看作為一個數據立方體,屬性視圖不存儲任何數據,數據存儲在列存儲表中,系統只保存這些數據模型內表的構際關系以及數據的運算邏輯,當前端提交分析請求時,HANA會根據虛擬數據模型進行數據的計算并將結果提交給前端。這意味著HANA中不會存在冗余的數據,從而大大節約了硬件的投資和維護成本。
在數據庫層面進行數據密集型運算:SAP HANA除了提供完善的數據庫功能外,其內置的計算引擎可以將原本在應用層進行的運算轉移到數據庫層面進行處理,這在數據密集型運算的場景中,能夠優化應用層和數據庫層之間的數據交互,從而從整體上提升系統的效率。傳統上,數據密集型運算包括計劃、預測、模擬等,在HANA中首先將計劃(Planning)引擎植入計算引擎中,從而使得基于HANA的計劃應用的性能得到極大提升。
與SAP ERP緊密整合提供實時的數據可視性:SAP HANA能夠和SAP ERP緊密集成,將ERP中的數據利用SLT(SAP Landscape Transformation)技術實時地復制到HANA的內存中,并基于這些數據建立數據分析的應用,從而為業務帶來幾個主要的好處,一是充分利用HANA的內存計算技術,基于大數據量進行高效、高速的數據分析和處理;二是減少傳統的在ERP中直接分析這些數據給ERP系統帶來的額外性能壓力;三是利用基于HANA上的BI工具可以進行靈活的數據分析;四是基于實時數據進行分析,帶來實時的業務洞察力;五是利用觸發機制將SAP ERP中的數據能夠實時同步到HANA中。
與BOBJ Data Service整合提升數據質量:SAP HANA和BOBJ Data Service緊密整合,從第三方系統獲取數據。Data Service中提供可視化的數據抽取、清洗、加載以及數據質量管理的功能,能夠保證進入HANA的數據都是高質量的數據,從而確保基于HANA進行數據分析的準確性,為業務決策提供更好的支持。
回答所涉及的環境:聯想天逸510S、Windows 10。
內存計算技術的主要特點有以下這些:
基于內存的高效數據讀取和處理:從數據庫中讀取數據因為磁盤I/O的性能限制而成為瓶頸,原因是傳統數據庫實際上是將數據以文件的形式存儲在磁盤上并為應用提供訪問數據的接口,從數據庫中讀取數據的本質是從磁盤上讀取文件。在過去幾十年的硬件發展中,內存和CPU的性能始終在飛速提升,只有磁盤I/O的性能提升并不明顯。從磁盤上讀取數據的速度是毫秒級,而從內存中讀取數據的速度是納秒級,基于內存的數據讀取比基于磁盤的數據讀取性能要快100萬倍。所以當基于數據倉庫進行報表分析時,如果從傳統數據庫中讀取海量數據需要數十分鐘的時間,那么從SAP HANA中讀取同樣的數據只需要不到一秒鐘的時間。
行存儲和列存儲的混合模式:傳統關系型數據庫是按照行的方式存儲數據的,能夠為交易系統即OLTP應用提供高效的支持。例如,一個零售商每當客戶購買產品時,需要在業務系統中創建一條數據記錄銷售的時間、地點、客戶、金額、地址等字段數據,當前端完成數據的錄入并提交后臺系統后,在數據庫中會在數據表中插入一行記錄,這條記錄中會包含本次銷售業務操作相關的數據。然而,基于行存儲的數據庫在支持數據分析應用即OLAP應用時則顯得低效和力不從心。
高效的并行處理機制:SAP HANA支持多服務器、多處理器的高效并行處理,能夠最高效、充分地利用多處理器的并發能力。能夠拆解數據模型,分成可以并行執行的步驟,也能夠將數據處理和運算拆分并部署到多個處理器。例如,計算引擎可以將數據模型拆解,將一些SQL腳本拆分成可以并行執行的步驟。這些操作將遞交給數據庫優化器來決定最佳的訪問行存儲和列存儲的方案。
高效的數據壓縮優化內存利用:SAP HANA的基本機制是將數據全部存儲到內存中,以進行高效的數據訪問和運算。雖然硬件包括內存的價格日趨低廉,但相比磁盤而言,內存仍是較貴的存儲設備。而在企業系統中數據增長迅速,達到數TB甚至數十TB的情況下,將所有數據原封不動地導入內存仍將帶來較大的硬件投資。為了幫助企業節省這一部分投資,SAP HANA中采取了基于智能數據字典等高效的數據壓縮機制,能夠將數據壓縮5~20倍,從而充分節約硬件投資。
虛擬建模減少數據冗余:在SAP HANA中,將源數據導入內存后,在HANA中的虛擬建模,一個屬性視圖可以被看作為一個數據立方體,屬性視圖不存儲任何數據,數據存儲在列存儲表中,系統只保存這些數據模型內表的構際關系以及數據的運算邏輯,當前端提交分析請求時,HANA會根據虛擬數據模型進行數據的計算并將結果提交給前端。這意味著HANA中不會存在冗余的數據,從而大大節約了硬件的投資和維護成本。
在數據庫層面進行數據密集型運算:SAP HANA除了提供完善的數據庫功能外,其內置的計算引擎可以將原本在應用層進行的運算轉移到數據庫層面進行處理,這在數據密集型運算的場景中,能夠優化應用層和數據庫層之間的數據交互,從而從整體上提升系統的效率。傳統上,數據密集型運算包括計劃、預測、模擬等,在HANA中首先將計劃(Planning)引擎植入計算引擎中,從而使得基于HANA的計劃應用的性能得到極大提升。
與SAP ERP緊密整合提供實時的數據可視性:SAP HANA能夠和SAP ERP緊密集成,將ERP中的數據利用SLT(SAP Landscape Transformation)技術實時地復制到HANA的內存中,并基于這些數據建立數據分析的應用,從而為業務帶來幾個主要的好處,一是充分利用HANA的內存計算技術,基于大數據量進行高效、高速的數據分析和處理;二是減少傳統的在ERP中直接分析這些數據給ERP系統帶來的額外性能壓力;三是利用基于HANA上的BI工具可以進行靈活的數據分析;四是基于實時數據進行分析,帶來實時的業務洞察力;五是利用觸發機制將SAP ERP中的數據能夠實時同步到HANA中。
與BOBJ Data Service整合提升數據質量:SAP HANA和BOBJ Data Service緊密整合,從第三方系統獲取數據。Data Service中提供可視化的數據抽取、清洗、加載以及數據質量管理的功能,能夠保證進入HANA的數據都是高質量的數據,從而確保基于HANA進行數據分析的準確性,為業務決策提供更好的支持。
回答所涉及的環境:聯想天逸510S、Windows 10。