配置數據倉庫設置
當前,僅支持PostgreSQL 9.4或更高版本的數據庫作為倉庫目標。
您可以配置安全控制臺以將數據導出到外部數據倉庫中。您可以使用此功能來獲取更豐富的數據集,以與您自己的內部報告系統(例如商業智能工具)集成。導出使用維度模型將數據提取,轉換和加載(ETL)到目標倉庫中。
您可以在此處查看此模型的架構。
排程
在配置ETL到外部倉庫的過程時,應考慮到您的報告需求。導出頻率與可使用歷史事實表進行趨勢分析的數據點的粒度相匹配。由于可以導出的數據量很大,因此倉儲過程可能需要一些時間才能完成。建議的時間表設置是每1周一次。在非關鍵掃描窗口期間應謹慎安排此導出,以最大程度地減少影響。
組態
數據倉庫可由全局管理員配置。在配置安全控制臺設置之前,請確保已配置目標倉庫數據庫服務器(有關更多信息,請參閱部署和配置倉庫)。要配置數據倉庫導出設置:
- 點擊管理旁的數據倉庫中的管理頁面。
- 在“ 數據庫”頁面上輸入數據庫服務器設置。
- 啟用導出 -指示當前是否啟用導出。
- 數據模型 -指示要使用的倉庫模式的類型。建議使用尺寸標注,不建議使用舊版模型。
- 服務器地址 -目標倉庫的IP或主機名。
- 服務器端口 -目標倉庫接受其外部連接的端口。
- 數據庫名稱 -要導出到模型的數據庫的名稱。
- 用戶/密碼 -執行導出為的用戶憑據。該用戶必須具有對數據庫的寫訪問權。
- 加密傳輸中的數據 -如果啟用,將在ETL過程中使用與目標數據庫的SSL連接。這樣可以確保傳輸到倉庫的所有數據在傳輸過程中都經過加密(注意:默認情況下,倉庫在靜止狀態下不進行加密)。建議設置已啟用。
- 驗證服務器身份 -如果啟用,則在同時啟用“加密傳輸中的數據”時驗證服務器身份。如果服務器證書未簽名并且啟用了此選項,則導出過程將無法正常運行。禁用此設置將允許信任自簽名證書,但不再阻止中間人(MitM)攻擊。建議設置已啟用。
- 使用“ 測試連接”按鈕測試連接。這將嘗試與目標倉庫數據庫建立連接。將會出現任何錯誤,您可以適當地重新配置設置或目標倉庫數據庫,直到連接成功。
- 轉到“ 計劃”頁面以配置導出頻率。
- 選擇日期和時間以開始導出過程
- 選擇一個重復此過程的時間間隔。推薦的設置是每1周一次。如果您確實希望更頻繁地運行它,我們建議不要每24小時運行一次。
- 點擊保存。
從舊版模型升級
如果已有數據倉庫配置,則建議執行以下操作:
- 將數據模型從傳統更改為維度:這會將輸出模式的結構更改為更易于使用和更全面支持的數據模型。您將需要更新倉庫的所有使用者以使用新模型。使用新模型時,現有架構元素將保持不變,但在以后的ETL過程中將不再更新。
- 啟用加密和身份驗證:以前不支持這些設置,這意味著在導出過程中未加密任何傳輸中的數據。建議繼續加密傳輸中的數據,因此建議您啟用“ 加密傳輸中的數據和驗證服務器身份”設置。這些更改將需要在目標倉庫數據庫中重新配置SSL。有關更多信息,請參見“部署和配置倉庫”部分。
模式變更
進行更改時,維倉庫架構可以保證向后兼容。由安全控制臺執行的ETL流程可能會定期向架構中添加其他數據元素,但是將來不會導致對該架構的任何報告或查詢中斷。以下內容將不會在架構中更改:
- 可用的表,列和函數,包括它們的名稱
- 列和函數數據類型
在ETL流程的將來迭代中將進行以下更改:
- 其他列將添加到現有表中
- 添加了新表或函數
對模型進行更改后,應用產品升級并執行新的ETL流程將升級目標倉庫中的模型。
倉庫報告
導出過程完成后,可以使用以下任何一種方式立即使用數據倉庫進行報告:1)直接連接;2)商業智能工具;和/或3)任何其他自定義工具/腳本或現成的軟件。在導出(ETL)過程中,將執行許多操作倉庫狀態的DDL和DML查詢。因此,在此時間段內不應訪問倉庫。
部署和配置倉庫
數據倉庫是運行PostgreSQL 9.4或更高版本數據庫服務器的主機。數據倉庫服務器的管理和配置必須手動執行。必須將倉庫配置為支持PostgreSQL數據庫端口上的外部連接,并允許來自安全控制臺的入口網絡流量。為了獲得最佳性能,倉庫的配置會根據所需的同時連接數,磁盤速度和可用內存而變化。
硬件要求:
- 2 GHz +處理器(推薦四核處理器)
- 32 GB RAM(最低),72 GB + RAM(推薦)
- 1 TB HDD(最小),2 TB + HDD(推薦)
- 100 Mbps網絡接口(最低),1 Gbps(推薦)
請按照以下步驟安裝和配置新的數據倉庫:
- 安裝PostgreSQL 9.4或更高版本,確保已應用所有可用補丁
- 使用以下建議的最低設置配置postgresql.conf(您可以相應地重新配置硬件和連接要求):
所有PostgreSQL版本:
| 設置 | 32 GB內存 | 72 GB內存 |
|---|---|---|
| max_connections | 10 | 20 |
| shared_buffers | 8 GB | 18 GB |
| work_mem | 419兆字節 | 471兆字節 |
| maintenance_work_mem | 2 GB | 2 GB |
| checkpoint_segments | 128 | 256 |
| Effective_cache_size | 24 GB | 54 GB |
| checkpoint_completion_target | 0.9 | 0.9 |
| wal_buffers | 16兆字節 | 32兆字節 |
| auto_vacuum | 關 | 關 |
PostgreSQL 9.6+:
| 設置 | 32 GB或72 GB RAM |
|---|---|
| min_parallel_relation_size | 8兆字節 |
| force_parallel_mode | 上 |
| max_worker_processes | CPU核心數* 2 |
| max_parallel_workers_per_gather | CPU核心數/ 2 |
- 要啟用SSL(以及傳輸中的數據加密),請獲取證書并在postgresql.conf文件中啟用以下功能:
ssl = onssl_ciphers = 'HIGH
+3DES:!aNULL'ssl_cert_file = 'server.crt'ssl_key_file = 'server.key'password_encryption = on
- 啟動postgreSQL進程。
Nexpose安裝中文使用教程
推薦文章: