<menu id="guoca"></menu>
<nav id="guoca"></nav><xmp id="guoca">
  • <xmp id="guoca">
  • <nav id="guoca"><code id="guoca"></code></nav>
  • <nav id="guoca"><code id="guoca"></code></nav>

    配置數據倉庫設置

    當前,僅支持PostgreSQL 9.4或更高版本的數據庫作為倉庫目標。

    您可以配置安全控制臺以將數據導出到外部數據倉庫中。您可以使用此功能來獲取更豐富的數據集,以與您自己的內部報告系統(例如商業智能工具)集成。導出使用維度模型將數據提取,轉換和加載(ETL)到目標倉庫中。

    您可以在此處查看此模型的架構。

    排程

    在配置ETL到外部倉庫的過程時,應考慮到您的報告需求。導出頻率與可使用歷史事實表進行趨勢分析的數據點的粒度相匹配。由于可以導出的數據量很大,因此倉儲過程可能需要一些時間才能完成。建議的時間表設置是每1周一次。在非關鍵掃描窗口期間應謹慎安排此導出,以最大程度地減少影響。

    組態

    數據倉庫可由全局管理員配置。在配置安全控制臺設置之前,請確保已配置目標倉庫數據庫服務器(有關更多信息,請參閱部署和配置倉庫)。要配置數據倉庫導出設置:

    1. 點擊管理旁的數據倉庫中的管理頁面。
    2. 在“ 數據庫”頁面上輸入數據庫服務器設置。
      • 啟用導出 -指示當前是否啟用導出
      • 數據模型 -指示要使用的倉庫模式的類型。建議使用尺寸標注,不建議使用舊版模型。
      • 服務器地址 -目標倉庫的IP或主機名。
      • 服務器端口 -目標倉庫接受其外部連接的端口。
      • 數據庫名稱 -要導出到模型的數據庫的名稱。
      • 用戶/密碼 -執行導出為的用戶憑據。該用戶必須具有對數據庫的寫訪問權。
      • 加密傳輸中的數據 -如果啟用,將在ETL過程中使用與目標數據庫的SSL連接。這樣可以確保傳輸到倉庫的所有數據在傳輸過程中都經過加密(注意:默認情況下,倉庫在靜止狀態下不進行加密)。建議設置已啟用。
      • 驗證服務器身份 -如果啟用,則在同時啟用“加密傳輸中的數據”時驗證服務器身份。如果服務器證書未簽名并且啟用了此選項,則導出過程將無法正常運行。禁用此設置將允許信任自簽名證書,但不再阻止中間人(MitM)攻擊。建議設置已啟用。
    3. 使用“ 測試連接”按鈕測試連接。這將嘗試與目標倉庫數據庫建立連接。將會出現任何錯誤,您可以適當地重新配置設置或目標倉庫數據庫,直到連接成功。
    4. 轉到“ 計劃”頁面以配置導出頻率。
      • 選擇日期和時間以開始導出過程
      • 選擇一個重復此過程的時間間隔。推薦的設置是每1周一次。如果您確實希望更頻繁地運行它,我們建議不要每24小時運行一次。
    5. 點擊保存

    從舊版模型升級

    如果已有數據倉庫配置,則建議執行以下操作:

    1. 將數據模型從傳統更改為維度這會將輸出模式的結構更改為更易于使用和更全面支持的數據模型。您將需要更新倉庫的所有使用者以使用新模型。使用新模型時,現有架構元素將保持不變,但在以后的ETL過程中將不再更新。
    2. 啟用加密和身份驗證:以前不支持這些設置,這意味著在導出過程中未加密任何傳輸中的數據。建議繼續加密傳輸中的數據,因此建議您啟用“ 加密傳輸中數據驗證服務器身份”設置。這些更改將需要在目標倉庫數據庫中重新配置SSL。有關更多信息,請參見“部署和配置倉庫”部分。

    模式變更

    進行更改時,維倉庫架構可以保證向后兼容。由安全控制臺執行的ETL流程可能會定期向架構中添加其他數據元素,但是將來不會導致對該架構的任何報告或查詢中斷。以下內容將不會在架構中更改:

    • 可用的表,列和函數,包括它們的名稱
    • 列和函數數據類型

    在ETL流程的將來迭代中將進行以下更改:

    • 其他列將添加到現有表中
    • 添加了新表或函數

    對模型進行更改后,應用產品升級并執行新的ETL流程將升級目標倉庫中的模型。

    倉庫報告

    導出過程完成后,可以使用以下任何一種方式立即使用數據倉庫進行報告:1)直接連接;2)商業智能工具;和/或3)任何其他自定義工具/腳本或現成的軟件。在導出(ETL)過程中,將執行許多操作倉庫狀態的DDL和DML查詢。因此,在此時間段內不應訪問倉庫。

    部署和配置倉庫

    數據倉庫是運行PostgreSQL 9.4或更高版本數據庫服務器的主機。數據倉庫服務器的管理和配置必須手動執行。必須將倉庫配置為支持PostgreSQL數據庫端口上的外部連接,并允許來自安全控制臺的入口網絡流量。為了獲得最佳性能,倉庫的配置會根據所需的同時連接數,磁盤速度和可用內存而變化。

    硬件要求:

    • 2 GHz +處理器(推薦四核處理器)
    • 32 GB RAM(最低),72 GB + RAM(推薦)
    • 1 TB HDD(最小),2 TB + HDD(推薦)
    • 100 Mbps網絡接口(最低),1 Gbps(推薦)

    請按照以下步驟安裝和配置新的數據倉庫:

    1. 安裝PostgreSQL 9.4或更高版本,確保已應用所有可用補丁
    2. 使用以下建議的最低設置配置postgresql.conf(您可以相應地重新配置硬件和連接要求):

    所有PostgreSQL版本:

    設置 32 GB內存 72 GB內存
    max_connections 10 20
    shared_buffers 8 GB 18 GB
    work_mem 419兆字節 471兆字節
    maintenance_work_mem 2 GB 2 GB
    checkpoint_segments 128 256
    Effective_cache_size 24 GB 54 GB
    checkpoint_completion_target 0.9 0.9
    wal_buffers 16兆字節 32兆字節
    auto_vacuum

    PostgreSQL 9.6+:

    設置 32 GB或72 GB RAM
    min_parallel_relation_size 8兆字節
    force_parallel_mode
    max_worker_processes CPU核心數* 2
    max_parallel_workers_per_gather CPU核心數/ 2
    1. 要啟用SSL(以及傳輸中的數據加密),請獲取證書并在postgresql.conf文件中啟用以下功能:
      • ssl = on
      • ssl_ciphers = 'HIGH:MEDIUM:+3DES:!aNULL'
      • ssl_cert_file = 'server.crt'
      • ssl_key_file = 'server.key'
      • password_encryption = on
    2. 啟動postgreSQL進程。

    本文章首發在 網安wangan.com 網站上。

    上一篇 下一篇
    討論數量: 0
    只看當前版本


    暫無話題~
    亚洲 欧美 自拍 唯美 另类