日志管理與分析系統的基本功能有什么

日志管理與分析系統的基本功能有：

• 日志采集：日志采集一般有兩種模式日志推送和日志拉取。在生產環境中，一般采用日志推送模式，即在日志產生端部署一個Agent（日志采集代理程序），由Agent發送數據。這種做法的好處是能夠最大限度地控制采集過程。例如，當網絡帶寬比較小時，為了防止日志傳輸占用生產環境的大量帶寬，可以對日志采集進行限速處理；如果需要節省流量，還可以通過Agent進行壓縮發送，一次性發送更多的數據等。

• 數據清洗：日志數據本質上是字符串，字符串通常需要經過預處理才能從中分析出有用結果。數據清洗就是將字符串按照一定的規則處理成結構化數據的過程，這樣能使后面的數據分析更加容易。數據清洗不只是數據修剪，有時也需要增加額外的數據來進行標識。例如，可以在數據清洗過程中增加所在的主機環境、主機負責人、業務系統等數據，為后續的精細化分析做準備。

• 日志存儲：對日志數據進行清洗之后，下一步就是日志存儲，即將日志按照一定的規則進行存儲，以便在搜索時能夠非常迅速地給出結果。日志存儲需要選擇存儲引擎。常見的開源技術方案有HBase和Elasticsearch。

• 日志告警：日志告警是日志管理與分析系統的重要功能之一，可以幫助運維人員監控數據。日志告警是指按預設計劃周期性執行搜索語句，當監控數據結果滿足觸發條件時，就通過指定的告警方式及時通知運維人員。通用的告警方式是電子郵件，也有Syslog和HTTP轉發、微信、短信等其他方式，可根據需要靈活選擇。監控所需信息一般包括常規信息、告警類型、告警閾值和告警方式。

• 日志分析：經過數據清洗、日志存儲流程，可以將非結構化數據存儲為結構化數據。接下來，需要將這些結構化數據取出來進行分析。例如，通過日志分析可以獲取網站每類頁面的 PV（PageView，頁面訪問量）值、獨立IP數（去重之后的IP數量）；稍微復雜一些的，可以計算得出用戶所檢索的關鍵詞排行榜、用戶停留時間最長的頁面等；更復雜的分析還有構建廣告點擊模型、分析用戶行為特征等。此外，還可以分析某個故障是應用程序問題還是主機或網絡問題導致的。

• 日志可視化：在數據分析要求不高的情況下，輸出一個類似Excel文件的數據表格即可。但是，隨著技術進步及數據分析要求日益增加，BI報表應運而生。BI（Business Intelligence）即商業智能，它是一個完整的解決方案，可以有效地集成企業現有數據，快速準確地生成報表，為企業決策提供依據。

• 日志智能分析：日志智能分析是指將機器學習和人工智能算法應用到日志分析中，常見的有 KPI異常檢測、大數據智能分析、收斂和抑制告警、大數據智能預測故障、基于數據挖掘的故障診斷、應用性能預測及優化、智能安全態勢感知、運維知識庫智能檢索回復，以及計算、存儲、網絡容量的預測等。KPI 異常檢測中的KPI 指的是關鍵性能指標，一般包括服務KPI和機器KPI，服務KPI如網頁響應時間、網頁訪問量、連接錯誤數量等，機器KPI如CPU利用率、內存利用率等。KPI存儲形式為按時間排列的數列，也就是時間序列。

• 用戶與權限管理：在一個日志管理與分析系統中，不同類型的數據往往由不同部門的不同人員進行管理，非本部門的人是無權查看數據的，甚至某些脫敏的數據連本部門初級人員也無權查看，這就需要鑒權這一必不可少的功能來支持。

• 系統管理：系統管理是日志管理與分析系統的重要功能之一。

回答所涉及的環境：聯想天逸510S、Windows 10。