1  需求描述

在中國(guó)人民銀行、中國(guó)銀監(jiān)會(huì)的監(jiān)管要求下，各銀行對(duì)信息化的安全建設(shè)不斷加大投入,部署的安全防護(hù)設(shè)備也日益增多，各類安全設(shè)備每天產(chǎn)生海量的告警日志，所存儲(chǔ)的日志量每天可達(dá)到GB數(shù)量級(jí)。

針對(duì)這些龐大的運(yùn)維告警日志，存在難以有效地進(jìn)行管理和分析的問(wèn)題，對(duì)于當(dāng)前的安全運(yùn)營(yíng)管理人員和團(tuán)隊(duì)來(lái)說(shuō)亟待解決。銀行數(shù)據(jù)中心，IT運(yùn)維領(lǐng)域涉及的運(yùn)維數(shù)據(jù)涵蓋應(yīng)用日志、系統(tǒng)日志、性能數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、流量數(shù)據(jù)、資產(chǎn)配置數(shù)據(jù)、數(shù)據(jù)庫(kù)日志、漏洞管理數(shù)據(jù)等。上述信息的數(shù)據(jù)量大，格式差異大且分散在不同的服務(wù)器中，如何搭建日志智能分析平臺(tái)，將數(shù)據(jù)集中整合、加工處理并應(yīng)用和展現(xiàn)在運(yùn)維管理中，進(jìn)而提升安全運(yùn)維能力、提高運(yùn)維服務(wù)質(zhì)量和效率，是本文探索研究的重點(diǎn)。

2  技術(shù)路線選型

傳統(tǒng)SOC/SIEM雖都具備日志審計(jì)與分析的功能，但是隨著攻防對(duì)抗的加劇，其架構(gòu)已經(jīng)不能滿足目前的需要，下面就傳統(tǒng)SOC/SIEM與基于大數(shù)據(jù)日志智能分析平臺(tái)在架構(gòu)、功能方面進(jìn)行對(duì)比，如表1所示。

因此，基于大數(shù)據(jù)的日志智能分析平臺(tái)是目前主流的解決方案，在架構(gòu)、性能、功能、擴(kuò)展性上都具有明顯的優(yōu)勢(shì)。

3  日志智能分析平臺(tái)的設(shè)計(jì)實(shí)現(xiàn)

日志智能分析平臺(tái)邏輯架構(gòu)上分為資源層、數(shù)據(jù)采集管控層、大數(shù)據(jù)層、服務(wù)層、業(yè)務(wù)層，如圖1所示。

資源層主要包括各采集對(duì)象的網(wǎng)絡(luò)設(shè)備、安全設(shè)備、應(yīng)用系統(tǒng)、主機(jī)系統(tǒng)、數(shù)據(jù)庫(kù)和服務(wù)器等。

數(shù)據(jù)采集管控層主要負(fù)責(zé)多渠道獲取數(shù)據(jù)，并支持?jǐn)?shù)據(jù)預(yù)處理，將采集來(lái)的數(shù)據(jù)分區(qū)分塊進(jìn)行存儲(chǔ)。

大數(shù)據(jù)層分為數(shù)據(jù)存儲(chǔ)模塊和數(shù)據(jù)分析模塊。數(shù)據(jù)存儲(chǔ)模塊主要負(fù)責(zé)將采集的數(shù)據(jù)以索引方式存儲(chǔ)，同時(shí)對(duì)常用的查詢分析的結(jié)果進(jìn)行緩存。數(shù)據(jù)分析包括數(shù)據(jù)分析模塊、數(shù)據(jù)處理模塊、平臺(tái)管理模塊等；數(shù)據(jù)分析模塊支持對(duì)數(shù)據(jù)進(jìn)一步的加工處理，并支持結(jié)構(gòu)和非結(jié)構(gòu)化的數(shù)據(jù)處理、關(guān)聯(lián)分析查詢、深度學(xué)習(xí)。服務(wù)層可以提供對(duì)各類的應(yīng)用服務(wù)，如資產(chǎn)管理、情報(bào)處理、工單管理、告警處理、響應(yīng)管理、任務(wù)管理、數(shù)據(jù)管理等，服務(wù)層提供的管理模塊還涵蓋了用戶認(rèn)證、數(shù)據(jù)權(quán)限控制等內(nèi)容，保障數(shù)據(jù)訪問(wèn)的安全可控。

業(yè)務(wù)層包括業(yè)務(wù)功能模塊和數(shù)據(jù)呈現(xiàn)功能，包括態(tài)勢(shì)感知、行為分析、風(fēng)險(xiǎn)管理、情報(bào)預(yù)警等模塊，并提供圖形、表格、報(bào)表等不同的展現(xiàn)方式進(jìn)行組合與鉆取分析。

大數(shù)據(jù)日志智能分析平臺(tái)普遍使用了基于Hadoop的大數(shù)據(jù)架構(gòu)，分布式部署的方式以及非關(guān)系數(shù)據(jù)庫(kù)技術(shù)的應(yīng)用，滿足了每秒數(shù)十萬(wàn)的日志采集和處理的需求，可以為大規(guī)模、超大規(guī)模網(wǎng)絡(luò)提供高性能的日志采集存儲(chǔ)功能。

ElasticSearch大數(shù)據(jù)分布式彈性搜索引擎模塊可以實(shí)現(xiàn)海量數(shù)據(jù)秒級(jí)的快速在線檢索分析。

通過(guò)使用Spark技術(shù)，在并發(fā)內(nèi)存內(nèi)處理機(jī)制方面能夠帶來(lái)數(shù)倍于其他采用磁盤(pán)訪問(wèn)方式的解決方案，借助離線計(jì)算引擎在小時(shí)級(jí)別內(nèi)，即可完成對(duì)PB數(shù)量級(jí)的數(shù)據(jù)挖掘。例如：6個(gè)月內(nèi)的安全事件之間的相關(guān)性、安全事件之間的影響程度、安全事件之間的規(guī)律性等并以報(bào)表形式進(jìn)行輸出。

大數(shù)據(jù)日志智能分析平臺(tái)基于業(yè)務(wù)場(chǎng)景結(jié)合機(jī)器學(xué)習(xí)、基線梳理、關(guān)聯(lián)分析、威脅情報(bào)等多種分析引擎，以實(shí)現(xiàn)高效、準(zhǔn)確的智能日志分析，可極大地提高安全運(yùn)維的分析效率與準(zhǔn)確性。

4  日志智能分析在運(yùn)維管理中的應(yīng)用

4.1  基于攻擊鏈的告警事件定位分析

日志智能分析平臺(tái)對(duì)安全設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)、主機(jī)系統(tǒng)等進(jìn)行日志采集和索引分析后，運(yùn)用多種分析引擎，對(duì)日志進(jìn)行智能的歸并和處理分析，提煉出當(dāng)前網(wǎng)絡(luò)的攻擊事件，使得一線及二線運(yùn)維人員可以一次性對(duì)多臺(tái)安全設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)、主機(jī)系統(tǒng)上的日志進(jìn)行事件查詢分析；使得安全攻擊行為和事件查詢變得簡(jiǎn)單高效，這也是目前主流日志分析平臺(tái)的主要使用場(chǎng)景。

在上述傳統(tǒng)日志下鉆或多源關(guān)聯(lián)分析基礎(chǔ)上，為了進(jìn)一步提升告警分析定位能力，引入了攻擊鏈模型，參照該模型將攻擊分為攻擊和攻陷兩個(gè)階段，運(yùn)維人員可以重點(diǎn)聚焦失陷階段的告警事件，及時(shí)止損。

通過(guò)日志智能分析平臺(tái)的數(shù)據(jù)存儲(chǔ)層，可以對(duì)該事件相關(guān)的數(shù)據(jù)進(jìn)行記錄，并基于IP、時(shí)間、攻擊手法重新構(gòu)建攻擊的逐步過(guò)程，安全分析人員可以清晰地了解和查詢攻擊時(shí)間和位置、提權(quán)以及安裝特征等，安全分析師可以快速地構(gòu)建惡意攻擊的概要信息，并通過(guò)鏈條式分析將注入路徑銜接起來(lái)，識(shí)別出第一感染源頭和其他被感染者，或下一步預(yù)判，使安全團(tuán)隊(duì)提前發(fā)現(xiàn)威脅，能夠快速補(bǔ)救損害，將損失降到最低。使用攻擊鏈分析模型，可以幫助安全運(yùn)維人員聚焦在對(duì)業(yè)務(wù)影響較大的攻擊事件上，如圖2所示。

(1)攻擊鏈高危攻擊告警。通過(guò)告警界面的攻擊鏈視圖發(fā)現(xiàn)不同階段的攻擊告警事件，并從中選

擇威脅最大的攻陷階段告警。

(2)分析攻擊源與目標(biāo)。通過(guò)下鉆式分析，鎖定安全事件的攻擊源與攻擊目標(biāo)。

(3)攻擊手法、時(shí)間分析。通過(guò)對(duì)組成告警事件的原始日志下鉆式分析，確認(rèn)攻擊手法與時(shí)間，為進(jìn)一步的處置提供技術(shù)輸入。

4.2基于網(wǎng)絡(luò)流量的異常行為分析

通過(guò)采集防火墻或DPI類設(shè)備的網(wǎng)絡(luò)訪問(wèn)日志以及NetFlow等方式，借助機(jī)器學(xué)習(xí)的手段，實(shí)現(xiàn)對(duì)網(wǎng)內(nèi)網(wǎng)絡(luò)流量互聯(lián)動(dòng)態(tài)基線的建立，從而發(fā)現(xiàn)異常網(wǎng)絡(luò)訪問(wèn)行為，如圖3、圖4所示。

(1)發(fā)現(xiàn)防火墻策略配置問(wèn)題。由于完成了安全域邊界的網(wǎng)絡(luò)訪問(wèn)基線梳理，一旦有防火墻配置不當(dāng)導(dǎo)致非正常訪問(wèn)就可以觸發(fā)告警。

(2)發(fā)現(xiàn)非法外聯(lián)。無(wú)論是在互聯(lián)網(wǎng)還是第三方專網(wǎng)接入邊界，可以通過(guò)外聯(lián)訪問(wèn)基線篩選出異常的非法外聯(lián)行為。

(3)發(fā)現(xiàn)內(nèi)部流量異常。包括內(nèi)部的惡意掃描、ARP欺騙攻擊、內(nèi)部違規(guī)訪問(wèn)等行為。

(4)發(fā)現(xiàn)資產(chǎn)變化。通過(guò)網(wǎng)絡(luò)流量提取的資產(chǎn)信息，發(fā)現(xiàn)未報(bào)備IT資產(chǎn)，避免出現(xiàn)通過(guò)主動(dòng)掃描發(fā)現(xiàn)資產(chǎn)時(shí)間窗口過(guò)長(zhǎng)的問(wèn)題。

4.3  運(yùn)維日志管理與行為分析

根據(jù)銀行內(nèi)部安全控制要求，運(yùn)維人員只能通過(guò)審計(jì)系統(tǒng)(堡壘機(jī))間接訪問(wèn)生產(chǎn)服務(wù)器，其在生產(chǎn)環(huán)境的操作行為和結(jié)果以文件形式保存，最終采集到日志智能分析平臺(tái)中?；谏鲜霾僮餍袨閿?shù)據(jù)，結(jié)合一些配置數(shù)據(jù)，平臺(tái)實(shí)現(xiàn)了多維度的操作行為分析和審計(jì)：

(1)實(shí)現(xiàn)了機(jī)構(gòu)用戶維度的操作行為分析。使得管理層用戶了解各部門(mén)用戶的運(yùn)維習(xí)慣(如上午9:00是應(yīng)用運(yùn)維部門(mén)的訪問(wèn)高峰，主要是運(yùn)維人員進(jìn)行巡檢及處理昨日非緊急問(wèn)題)，基于時(shí)間建立訪問(wèn)基線，從而發(fā)現(xiàn)在非核心時(shí)段的可疑登錄、多IP交互登錄、休眠賬號(hào)的異常登錄等行為。

(2)實(shí)現(xiàn)了應(yīng)用維度的權(quán)限行為分析。通過(guò)對(duì)應(yīng)用的實(shí)際訪問(wèn)賬號(hào)與實(shí)際管理權(quán)限的對(duì)比，直觀展示不合規(guī)訪問(wèn)情況。

(3)實(shí)現(xiàn)了賬號(hào)維度的操作行為分析。通過(guò)對(duì)比實(shí)際管理要求，找到非授權(quán)用戶使用root類高權(quán)限賬號(hào)進(jìn)行生產(chǎn)操作的情況。

(4)實(shí)現(xiàn)了命令維度的操作行為分析。例如Top10用戶統(tǒng)計(jì)等，對(duì)高危險(xiǎn)命令的使用合理性進(jìn)行審查和通報(bào)，有效降低了用戶操作風(fēng)險(xiǎn)。

4.4  威脅情報(bào)關(guān)聯(lián)分析

日志智能分析平臺(tái)支持外部開(kāi)源和第三方情報(bào)數(shù)據(jù)，利用威脅情報(bào)提高安全運(yùn)維分析的準(zhǔn)確度和時(shí)效性。

利用大數(shù)據(jù)分析平臺(tái)將本地?cái)?shù)據(jù)、資產(chǎn)數(shù)據(jù)與情報(bào)數(shù)據(jù)按照多個(gè)維度進(jìn)行關(guān)聯(lián)分析，即可快速感知威脅，通過(guò)平臺(tái)安全規(guī)則的篩選和過(guò)濾最終形成漏斗效應(yīng)，保證威脅告警更加精準(zhǔn)和有效。為運(yùn)維管理人員提供異常的情報(bào)分析和威脅情報(bào)的預(yù)警如圖5所示，其主要場(chǎng)景如下：

(1)實(shí)現(xiàn)快速漏洞定位預(yù)警。嚴(yán)重漏洞爆發(fā)時(shí)，基于日志智能分析平臺(tái)積累的資產(chǎn)信息(主要是資產(chǎn)的版本信息)與漏洞影響的版本進(jìn)行比對(duì)，快速鎖定漏洞影響的資產(chǎn)范圍。

(2)實(shí)現(xiàn)日志與信譽(yù)庫(kù)實(shí)時(shí)關(guān)聯(lián)分析。威脅情報(bào)提供的惡意IP、URL、C&C、文件信譽(yù)庫(kù)以及行業(yè)與客戶情報(bào)標(biāo)簽與告警日志進(jìn)行關(guān)聯(lián)定位，有助于管理員及時(shí)發(fā)現(xiàn)高危特別是針對(duì)金融行業(yè)的攻擊行為。

(3)實(shí)現(xiàn)基于情報(bào)的多維度下鉆式分析。利用威脅情報(bào)的內(nèi)在聯(lián)系，實(shí)現(xiàn)對(duì)可疑信息進(jìn)一步的深入挖掘分析，以發(fā)現(xiàn)更多攻擊者線索，有助于完成攻擊者的行為畫(huà)像。

4.5  實(shí)現(xiàn)可視化的安全態(tài)勢(shì)感知

在攻擊鏈分析等多種引擎處理的基礎(chǔ)上，可以針對(duì)整體范圍或某一特定時(shí)間與環(huán)境，基于這樣的條件進(jìn)行因素理解與分析，最終形成攻擊者的畫(huà)像、歷史的整體態(tài)勢(shì)以及對(duì)未來(lái)短期的預(yù)測(cè)，如圖6所示。

將分析結(jié)果按照入侵、異常流量、病毒、系統(tǒng)漏洞，網(wǎng)站安全態(tài)勢(shì)進(jìn)行多維度可視化呈現(xiàn)，形成各種類型的安全態(tài)勢(shì)分析趨勢(shì)，能夠很好地洞察銀行內(nèi)部整體安全狀態(tài)，并通過(guò)量化的評(píng)判指標(biāo)直觀地理解當(dāng)前態(tài)勢(shì)情況。

日志智能分析平臺(tái)就是基于以上方法論從海量數(shù)據(jù)中分析統(tǒng)計(jì)出目前存在的風(fēng)險(xiǎn)，通過(guò)趨勢(shì)圖、占比圖、滾動(dòng)屏等方式清晰展示網(wǎng)絡(luò)安全態(tài)勢(shì)，協(xié)助安全分析人員快速聚焦全網(wǎng)高風(fēng)險(xiǎn)點(diǎn)。

5  日志智能分析的實(shí)踐

5.1  威脅情報(bào)定位惡意攻擊IP

威脅情報(bào)系統(tǒng)會(huì)定期下發(fā)IP、URL、僵尸網(wǎng)絡(luò)的情報(bào)信息，日志智能分析平臺(tái)會(huì)與這些活躍數(shù)據(jù)進(jìn)行關(guān)聯(lián)匹配。

日志智能分析平臺(tái)捕獲到89.45.10.18的IP正在進(jìn)行攻擊，該IP是最近正在活躍的一個(gè)羅馬尼亞惡意IP，與日志智能分析平臺(tái)的事件成功匹配，意味著這個(gè)事件威脅可信度較高。

此外，點(diǎn)擊此事件對(duì)此IP進(jìn)行溯源，能夠查看歷史行為，可以看到情報(bào)監(jiān)控到它是Botnet客戶端，說(shuō)明很可能是黑客利用該IP作為跳板在對(duì)該用戶本地資產(chǎn)進(jìn)行攻擊。

5.2  通過(guò)流量日志的行為互訪統(tǒng)計(jì)發(fā)現(xiàn)掃描

在某客戶內(nèi)部網(wǎng)絡(luò)中一臺(tái)惡意主機(jī)掃描網(wǎng)絡(luò)主機(jī)的所有端口，進(jìn)行系統(tǒng)掃描，會(huì)觸發(fā)日志分析平臺(tái)的流量行為分析視圖出現(xiàn)如下特征（如圖7所示），基于該特征運(yùn)維管理員就能快速定位惡意主機(jī)。

5.3  基于攻擊鏈模型發(fā)現(xiàn)失陷主機(jī)

基于可視化的攻擊鏈呈現(xiàn)，使運(yùn)維管理人員可以直觀、快速地定位到被黑客攻陷的IT系統(tǒng)，并支持下鉆分析。

通過(guò)該視圖查看主機(jī)192.168.x.x的攻擊詳情，發(fā)現(xiàn)該主機(jī)相關(guān)的事件為木馬事件，連接的可疑IP是兩個(gè)DNS服務(wù)器(8.8.8.8/208.67.y.y)，并且對(duì)公網(wǎng)其他IP進(jìn)行了攻擊。

繼續(xù)下鉆查看對(duì)應(yīng)的木馬事件日志詳情，發(fā)現(xiàn)該主機(jī)請(qǐng)求的域名為暗云木馬對(duì)應(yīng)的域名，從而確定失陷主機(jī)為目前流行的暗云木馬所控制。

6  結(jié)論

基于大數(shù)據(jù)分析架構(gòu)的日志智能分析平臺(tái)，相對(duì)于傳統(tǒng)的日志分析技術(shù)，技術(shù)復(fù)雜度和學(xué)習(xí)處理能力更為先進(jìn)。能夠提供更為快速的處理分析和展現(xiàn)，適用于當(dāng)下大數(shù)據(jù)的存儲(chǔ)與分析應(yīng)用，能夠幫助銀行業(yè)在關(guān)鍵業(yè)務(wù)系統(tǒng)及內(nèi)部系統(tǒng)實(shí)現(xiàn)全面的智能關(guān)聯(lián)分析，提高運(yùn)維人員在IT運(yùn)維管理過(guò)程中的工作效率及安全態(tài)勢(shì)的感知能力。 

（收稿日期：2018-06-20）

作者簡(jiǎn)介：

孫惟皓（1979-），男，本科，高級(jí)副總裁，信息安全治理體系與風(fēng)險(xiǎn)管理。

凌宗南（1981-），男，本科，信息安全顧問(wèn)，大數(shù)據(jù)日志管理分析。

陳煒忻（1973-），男，本科，高級(jí)安全咨詢顧問(wèn)，安全運(yùn)營(yíng)支撐平臺(tái)建設(shè)。