網絡業務日志的監控系統有以下功能:
日志采集:它存在于業務服務器上,針對服務器產生的日志數據進行實時采集上報,一般日志采集的組件有Filebeat、Logstash等。
日志清洗:針對采集的日志數據進行過濾清洗,去除無效或者殘缺的日志數據,這個階段的組件一般采用的是Logstash。
日志傳輸:數據清洗之后一般采用消息隊列進行日志傳輸以及削峰處理,也可以依據日志類型在消息隊列中新建不同的主題傳輸,拆分出不同緊急程度的日志數據,避免緊急的日志數據因共享傳輸通道導致擁塞。時下多采取Kafka進行傳輸和分類。
日志轉發:對接日志傳輸和日志存儲,可以自行寫消息隊列的消費者進行接收,并寫入日志存儲服務器,一般沒有太多的邏輯處理。也可采用比較成熟的組件(如Logstash)來對接。
日志存儲:對清洗過后的日志數據進行存儲,它需要提供基于內容的檢索和查詢功能,一般選擇使用Elasticsearch。
查詢及可視化分析:需要對日志數據進行查詢結果的可視化分析和展示,例如Kibana,操作簡便,基于瀏覽器的用戶界面可以快速創建儀表盤,并實時顯示Elasticsearch查詢動態。
回答所涉及的環境:聯想天逸510S、Windows 10。
網絡業務日志的監控系統有以下功能:
日志采集:它存在于業務服務器上,針對服務器產生的日志數據進行實時采集上報,一般日志采集的組件有Filebeat、Logstash等。
日志清洗:針對采集的日志數據進行過濾清洗,去除無效或者殘缺的日志數據,這個階段的組件一般采用的是Logstash。
日志傳輸:數據清洗之后一般采用消息隊列進行日志傳輸以及削峰處理,也可以依據日志類型在消息隊列中新建不同的主題傳輸,拆分出不同緊急程度的日志數據,避免緊急的日志數據因共享傳輸通道導致擁塞。時下多采取Kafka進行傳輸和分類。
日志轉發:對接日志傳輸和日志存儲,可以自行寫消息隊列的消費者進行接收,并寫入日志存儲服務器,一般沒有太多的邏輯處理。也可采用比較成熟的組件(如Logstash)來對接。
日志存儲:對清洗過后的日志數據進行存儲,它需要提供基于內容的檢索和查詢功能,一般選擇使用Elasticsearch。
查詢及可視化分析:需要對日志數據進行查詢結果的可視化分析和展示,例如Kibana,操作簡便,基于瀏覽器的用戶界面可以快速創建儀表盤,并實時顯示Elasticsearch查詢動態。
回答所涉及的環境:聯想天逸510S、Windows 10。