跨網日志審計及用戶行為溯源研究

隨著網絡安全法、等級保護 2.0 及國家、行業相關安全標準、規范的頒布和實施，信息系統安全審計的作用越來越重要。日志審計系統可詳細記錄信息系統中網絡設備、安全設備、軟件系統的日志加以分析，及時發現系統異常情況并預警處置。安全日志審計系統不但能為信息系統的穩定運行保駕護航，也可在安全事件發生后對事件原因進行溯源追責。但傳統日志審計系統也存在一些問題，如應用系統之間的關聯性不強，將同一用戶在不同應用系統的操作軌跡進行關聯較為困難；在跨網應用環境中，傳統日志審計系統在各網收集的日志數據相互獨立，無法以統一視角對網絡實體在多個網絡域中的行為進行跟蹤和溯源，而溯源能力薄弱是網絡安全問題難以根治的根本原因之一 。因此，需針對跨網場景下的跨應用域、跨網絡域日志審計、行為分析及追蹤溯源新需求進行研究，補齊傳統日志審計系統的短板。

1

需求分析

1.1　跨應用域日志審計需求

傳統日志審計系統中，各個應用系統間的身份賬戶獨立，用戶針對應用系統操作的日志關聯較弱，需借助外部統一身份管理系統建立統一的網絡實體身份資源體系，通過網絡實體標識關聯不同應用域的用戶操作，基于用戶唯一網絡實體標識進行跨應用域日志審計。

1.2　跨網絡域日志審計需求

傳統日志審計系統只能審計本網絡域內的用戶操作，無法跨越網絡邊界對用戶操作行為進行審計。隨著信息化的不斷發展，跨網數據交換和業務協同場景越來越普遍，需打破網絡域的限制，將用戶和應用的網絡實體標識信息在多個網絡域之間同步共享，以全網統一視角對數據跨網交換過程中的用戶行為進行安全審計。

1.3　用戶行為分析及溯源需求

傳統日志審計系統的主要功能包括收集系統日志進行關聯分析，并在展示平臺中展示分析結果或根據設定的策略告警，但在用戶行為追蹤溯源方面較為薄弱。跨網日志審計系統中，需針對用戶行為分析及溯源技術進行深入研究，對網絡實體在異構網絡域中的行為進行跟蹤和追溯。

2

技術途徑

跨應用域日志審計、跨網絡域日志審計和用戶行為分析及溯源等技術是本文研究的重點，跨應用域日志審計和跨網絡域日志審計重點解決應用系統和異構網絡的日志孤島問題，用戶行為溯源在前兩者的基礎上，基于全網統一實體身份實現用戶行為追溯。

2.1　跨應用域日志審計

針對跨應用域日志審計需求，需建立統一的網絡實體身份資源體系，同一用戶在不同的業務系統中以唯一的身份實體標識呈現，通過唯一身份實體標識關聯不同應用域的用戶操作行為，可實現跨應用域的用戶操作安全審計。安全審計系統須和資源服務、統一身份認證等外部系統協同實現該目標。跨應用域日志審計框架如圖 1 所示。

圖 1　跨應用域日志審計框架

統一身份認證系統從資源服務系統獲取用戶實體身份標識，并基于實體身份標識完成用戶注冊。用戶訪問應用系統時，首先需通過身份認證獲取令牌后訪問業務應用，業務應用成功驗證令牌后即可允許用戶登錄。業務系統寫日志時，將從認證令牌中解析得到的用戶實體身份標識作為用戶行為操作主體，多個應用之間通過統一的用戶實體身份標識即可實現跨應用域的操作日志關聯審計。

2.2　跨網絡域日志審計

數據跨網交換業務場景中，較常見的是應用和應用之間的數據交換和共享，以電子郵件跨網交換為例，如 A 網用戶張三通過郵件系統向 B 網用戶李四發送郵件，其示意圖如圖 2 所示。

圖 2　具備本網審計能力的跨網郵件交換場景

跨網郵件交換場景中，本網應用只能寫本網用戶和應用的操作日志，用戶通過 A 網郵件系統發送跨網郵件，其操作日志審計始于身份認證，止于跨網隔離交換系統。日志審計系統對用戶和應用行為的追溯范圍限定在本網范圍內，無法基于全網行為鏈條對用戶和應用在內的 A 網行為進行審計溯源。

針對上述問題，需擴大日志審計的作用范圍，通過跨網隔離交換系統匯集日志信息，在網絡中呈現全量日志，其示意圖如圖 3 所示。

圖 3　具備全網審計能力的跨網郵件交換場景

兩網資源服務系統需針對用戶和應用產生全網唯一的實體身份標識，并在 A、B 網之間進行實體身份標識同步，實體身份標識在兩網同步是設置用戶和應用跨網訪問權限的前提條件。A 網日志審計系統定期將跨網應用交換日志同步至 B 網日志審計系統，這樣 B 網日志審計系統擁有全量日志信息，可基于實體身份標識對用戶和應用在兩網的行為進行追溯。

2.3　用戶行為分析及溯源

2.3.1　用戶行為分析

用戶行為分析是指基于用戶操作日志，利用數據挖掘分析技術對用戶既有行為及其趨勢進行分析研究，主要采用算法或模型構建等方式完成。用戶行為分析技術主要包括聚類分析、關聯分析、序列模式挖掘分析和行為特征庫生成等。

（1）聚類分析。用戶聚類分析首先采用基于用戶相似度矩陣的用戶事務聚類算法進行初始聚類，然后利用基于用戶訪問興趣的聚類算法對初始聚類進行再聚類，從而得到最終的用戶聚類。

（2）關聯分析。用戶關聯分析基于上述日志信息聚類分析的結果，進一步處理得到網絡實體身份標識主體與操作模式、操作行為之間的聯系，進而提取實體資源行為之間的關聯特征。

（3）序列模式挖掘分析。基于 PrefixSpan算法對各簇集進行序列模式挖掘分析，通過計算簇集中各序列模式的有用性度量值對模式進行判別，輸出高效用的序列模式集。

（4）行為特征庫生成 。行為特征庫生成包括初始特征庫建立、模糊數據關聯挖掘等步驟。通過專家經驗定義和日志數據關聯規則挖掘等途徑對異常行為規則進行定義，對上述經過聚類、關聯、序列挖掘分析形成的數據進行模糊關聯規則挖掘，從而生成用戶行為特征庫。

2.3.2　用戶行為溯源

通過提取用戶行為操作日志，基于數據分析方法將實體身份標識在一段時間內的操作行為歸集為基于時序的行為序列，并以此為基礎完成用戶操作溯源。在具體設計中，可將用戶操作行為詳細定義為操作者、操作時間、操作位置、操作類型、操作內容等數據，基于數據分析引擎對多方數據統一關聯分析，對用戶在網絡中的行為進行追溯。

3

跨網日志審計系統設計

3.1　系統架構設計

針對跨網日志審計需求并結合上述關鍵問題的研究成果，以 A 網和 B 網為例，設計跨網日志審計系統架構如圖 4 所示。

圖 4　跨網日志審計系統架構

跨網日志審計系統中，日志采集子系統采集安全設備、網絡設備、主機設備和應用系統的日志，并對日志數據進行預處理后存儲到日志存儲及交換子系統，行為分析及溯源子系統從日志存儲庫中獲取預處理之后的日志信息，基于實時關聯分析和用戶行為溯源技術實現用戶行為分析和溯源操作。

資源服務系統和統一身份認證系統作為外部支撐系統，實現資源管理和用戶統一身份認證等功能，并基于統一實體身份標識為跨網日志審計系統提供基礎標識支撐。兩網實體身份標識和日志數據需定期同步，跨網日志審計系統基于實體身份標識和兩網完整日志對用戶在兩網的操作行為進行審計和溯源。

3.2　日志采集子系統設計

3.2.1　日志格式設計

日志是指安全設備、操作系統或應用系統對指定對象的操作和其操作結果按時間有序的集合，用于監控系統資源運行情況、發現異常行為、確定安全問題來源、提供電子證據及對用戶行為進行審計。本研究中，通過將用戶、應用等資源映射成實體身份標識，根據該標識可以對用戶在網絡空間的行為進行分析和追蹤。參考syslog 日志格式，設計系統日志格式如圖 5 所示。

圖 5　系統日志格式定義

應用系統在寫日志時，需將實體身份標識作為消息體關鍵字寫入日志，通過全網統一的實體身份標識對用戶、應用在本網和異網的行為進行審計溯源。

3.2.2　日志數據采集

日志數據采集子系統模型結構如圖 6 所示。

圖 6　日志數據采集子系統模型結構

本研究中，日志數據有兩種來源：一是通過簡單網絡管理協議（Simple Network Management Protocol，SNMP）、網絡流（NetFlow）、系統日志或系統記錄（Syslog）等標準協議采集的網絡設備、安全設備日志；二是日志代理收集的應用系統、跨網節點系統日志。網絡設備、安全設備通過系統配置將日志主動上報至日志采集平臺，在業務服務器和跨網交換節點設備上安裝日志采集代理，將用戶、應用在數據跨網交換與信息共享各個環節中的操作日志上傳到日志采集平臺，日志數據采集平臺對日志數據經過清洗、轉換、規約等預處理后傳輸到后端存儲服務器進行存儲。

3.2.3　日志數據預處理

原始日志數據存儲在日志數據存儲系統中，通過數據預處理流程后，將處理后的數據存儲于日志數據庫，供數據分析引擎提取數據進行分析。數據預處理基本流程包括數據清洗、數據轉化和數據規約等流程。對數據中重復、多余部分的數據進行篩選并清除；把缺失部分補充完整，并將不正確的數據糾正或者刪除。

（1）數據清洗。數據清洗是對日志數據進行篩選、填充和清除，其原理是對不完整或者異常的數據進行特征分析，分別采取數據補全或數據清除的方式進行處理，使數據滿足質量要求。

（2）數據轉換。將原始數據轉換為挖掘模式要求的格式，數據轉換主要有平滑、數據泛化、規范化、特征構造等方法。

（3）數據歸約。通過對原始數據的處理得到數據集的歸約表示，實現數據集明顯變小，但基本保持數據特征的完整性，對挖掘的效果影響極小。數據歸約的策略主要有數據維規約、數值規約等。

3.3　日志數據存儲及交換子系統設計

本研究中，基于分布式數據存儲技術存儲應用操作日志和設備、系統、應用的日志數據，利用分布式數據存儲技術多副本的特性，可提供更高級別的日志處理和存儲安全。日志數據存儲及交換子系統結構如圖 7 所示。

圖 7　日志數據存儲及交換系統結構

數據存儲層采用分布式存儲系統實現，在各網數據中心分別布置一套分布式存儲系統，通過元數據服務器主備和數據分片存儲機制，提升日志數據存儲和處理的容錯性。在數據交換層中，提供日志查詢接口，為網內其他系統提供精確或模糊日志查詢能力，提供日志數據導入、導出接口，為日志跨網匯集提供支撐。

3.4　行為分析及溯源子系統設計

3.4.1　用戶行為分析

用戶行為分析子系統基于日志數據進行數據采集及特征值分析，以實體身份標識為特征值對信息流中的數據進行聚類分析和關聯分析，構建用戶行為序列及用戶行為模式，將用戶行為特征及行為模型存儲到數據庫中，為用戶行為建模和統計分析提供支撐。用戶行為分析框架如圖 8 所示。

圖 8　用戶行為分析框架

用戶行為分析以數據分析引擎為主體，基于全網統一實體身份標識對經過預處理的日志數據進行統計分析，采用聚類、關聯、序列模式挖掘、行為特征庫生成等數據分析方法建立可持續更新的用戶正常行為模型，將用戶當前行為序列與用戶正常行為模型比較，以行為模式的差異程度來識別用戶異常行為，并支持對用戶異常行為進行統計分析及告警。

3.4.2　用戶行為溯源

用戶行為溯源通過提取用戶行為操作日志，基于數據挖掘和行為分析技術完成行為序列模式挖掘，將實體身份標識在一段時間內的操作行為歸集為基于時序的行為序列，在此基礎上完成針對用戶行為的溯源操作。用戶行為溯源分析模型如圖 9 所示。

圖 9　用戶行為溯源分析模型

在行為溯源模型中，用戶操作行為被詳細定義為操作者、操作時間、操作位置、操作類型、操作內容等數據，以用戶操作行為為基準，詳細追溯用戶行為從狀態 i 到狀態 j 的轉換過程，基于數據分析引擎對用戶實體身份標識、用戶操作行為和狀態轉換過程統一關聯分析，最終呈現用戶在網絡中的行為軌跡，并將與安全事件相關的行為追溯記錄存入證據數據庫，為責任認定提供輔助決策支撐。

4

跨網日志審計系統主要流程

跨網日志審計系統流程主要包括日志收集及跨網匯總、跨網用戶行為溯源等流程，在進行日志收集和行為溯源之前，需在各網資源服務系統生成身份實體標識并完成身份標識跨網同步，基于全網統一實體身份標識方可實現用戶行為跨網追溯。

4.1　日志收集及跨網匯總流程

以 A 網向 B 網匯集日志為例，描述日志收集及跨網匯總流程如圖 10 所示。

圖 10　日志收集及跨網匯總流程

日志收集及跨網匯總流程如下：

（1）資源服務系統生成實體身份標識并發布給業務系統。

（2）用戶通過身份認證后訪問業務系統進行業務處理。

（3）業務系統上部署的日志采集代理將用戶操作日志上報給日志采集子系統，日志中包括用戶和應用的實體身份標識。

（4）日志采集子系統將日志存儲到日志存儲及交換子系統。

（5）日志存儲及交換子系統發起日志跨網交換。

（6）日志數據經跨網隔離交換系統導入到 B網跨網日志審計系統中，B 網擁有全量日志數據。

4.2　跨網用戶行為溯源流程

B 網匯集全網日志后，針對全量日志數據的跨網用戶行為溯源流程如圖 11 所示。

圖 11　跨網用戶行為溯源流程

跨網用戶行為溯源流程如下：

（1）管理員訪問跨網日志審計系統，發起跨網用戶行為溯源。

（2）行為分析子系統從日志數據存儲及交換子系統中獲取日志數據。

（3）行為分析子系統根據日志信息中的實體身份標識從資源服務系統中查詢該標識具體對應的用戶身份。

（4）基于用戶行為分析及溯源模型進行溯源分析，形成分析結果并展示。

5

結　語

本研究針對傳統安全審計系統中存在的問題，基于異構網絡實體身份標識和網絡實體操作日志，重點研究跨應用 / 網絡域日志審計、用戶行為分析、用戶行為溯源等技術，提出了適用于跨網應用場景下的安全審計及行為溯源技術框架，解決了傳統日志審計系統中的多應用域日志關聯弱、多網絡域下用戶行為溯源難等問題，可有效提升信息系統跨網審計預警、行為追蹤和事后追責的能力和水平。