《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 通信與網(wǎng)絡(luò) > 設(shè)計(jì)應(yīng)用 > 基于機(jī)器學(xué)習(xí)和規(guī)則的網(wǎng)絡(luò)異常流量檢測(cè)研究
基于機(jī)器學(xué)習(xí)和規(guī)則的網(wǎng)絡(luò)異常流量檢測(cè)研究
網(wǎng)絡(luò)安全與數(shù)據(jù)治理
尤剛1，徐蕾2，李美鵬1，劉文杰1，張鵬1，陸振奎2
1.96941部隊(duì)，北京100085；2.中國(guó)航天時(shí)代電子有限公司，北京100094
摘要： 網(wǎng)絡(luò)異常流量檢測(cè)的主流方法有基于機(jī)器學(xué)習(xí)的和基于規(guī)則匹配的，前者可以檢測(cè)未知異常流量，后者可以精準(zhǔn)指出攻擊類型。結(jié)合兩者優(yōu)勢(shì)，采用混合的方式實(shí)現(xiàn)網(wǎng)絡(luò)異常流量檢測(cè)系統(tǒng)。該系統(tǒng)設(shè)置了兩道過(guò)濾器，第一道過(guò)濾器采用流聚類算法進(jìn)行初步過(guò)濾，第二道過(guò)濾器采用開(kāi)源工具Suricata進(jìn)行精細(xì)識(shí)別?；贒enStream算法提出了一種可以根據(jù)網(wǎng)絡(luò)中異常流量比例變化而動(dòng)態(tài)確定半徑閾值的流聚類算法DenStream-DRT，此外，為改進(jìn)Suricata存在無(wú)法識(shí)別未知異常流量的問(wèn)題,提出了基于Apriori的含有效負(fù)載約束規(guī)則的生成算法PCRG-Apriori，最后將基于規(guī)則的網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)Suricata與DenStream-DRT分類器進(jìn)行了整合，形成了一個(gè)全新的網(wǎng)絡(luò)異常流量檢測(cè)系統(tǒng)。實(shí)驗(yàn)證明，集成系統(tǒng)在速率和準(zhǔn)確性方面都有較好的表現(xiàn)。
中圖分類號(hào)：TP309文獻(xiàn)標(biāo)識(shí)碼：ADOI:10.19358/j.issn.2097-1788.2025.02.001
引用格式：尤剛，徐蕾，李美鵬，等. 基于機(jī)器學(xué)習(xí)和規(guī)則的網(wǎng)絡(luò)異常流量檢測(cè)研究［J］.網(wǎng)絡(luò)安全與數(shù)據(jù)治理，2025，44（2）：1-9.
Research on abnormal network traffic detection based on machine learning and rule-based methods
You Gang1，Xu Lei2，Li Meipeng1，Liu Wenjie1，Zhang Peng1，Lu Zhenkui2
1.Unit 96941 of PLA; 2.China Aerospace Times Electronics Co., Ltd.
Abstract： The mainstream methods of network abnormal traffic detection are machine learning-based and rule matching-based. The former can detect unknown abnormal traffic, and the latter can accurately point out the type of attack. In order to combine the advantages of the two, this paper uses a hybrid method to realize the network abnormal traffic detection system. The system is equipped with two filters. The first filter uses the stream clustering algorithm for preliminary filtering, and the second filter uses the open source tool Suricata for fine identification. Based on DenStream algorithm, this paper proposes a flow clustering algorithm DenStream-DRT, which can dynamically determine the radius threshold according to the change of the proportion of abnormal traffic in the network. In addition, in order to improve the problem that Suricata cannot recognize unknown abnormal traffic, this paper proposes a generation algorithm PCRG-Apriori with payload constraint rules based on Apriori. Finally, the rule-based network intrusion detection system Suricata is integrated with the DenStream-DRT classifier to form a new network abnormal traffic detection system. Experimental results show that the integrated system has good performance in speed and accuracy.
Key words : network security; flow clustering algorithm; Apriori algorithm; Suricata; abnormal traffic detection system

引言

在網(wǎng)絡(luò)安全領(lǐng)域，網(wǎng)絡(luò)異常流量檢測(cè)至關(guān)重要。當(dāng)前網(wǎng)絡(luò)異常流量檢測(cè)方法主要有基于機(jī)器學(xué)習(xí)、基于規(guī)則以及兩者混合的。

機(jī)器學(xué)習(xí)中的有監(jiān)督學(xué)習(xí)方法依賴標(biāo)注好的數(shù)據(jù)，在數(shù)據(jù)集質(zhì)量高時(shí)能實(shí)現(xiàn)較好的檢測(cè)效果。例如，Hu［1］等人提出了魯棒性的SVM算法，展現(xiàn)出對(duì)噪聲處理的強(qiáng)大能力，增強(qiáng)了模型的穩(wěn)定性；Kabir等人［2］提出了一個(gè)改進(jìn)的SVM方法LS-SVM，實(shí)驗(yàn)結(jié)果證明該方法在準(zhǔn)確性和效率方面有了顯著提升。

機(jī)器學(xué)習(xí)中的半監(jiān)督學(xué)習(xí)介于監(jiān)督和無(wú)監(jiān)督之間，通過(guò)結(jié)合已標(biāo)注正例與未標(biāo)注數(shù)據(jù)訓(xùn)練模型，可實(shí)現(xiàn)較好分類性能。Jabbar等人［3］提出了一個(gè)以迭代的方式進(jìn)行聚類的半監(jiān)督學(xué)習(xí)器，實(shí)驗(yàn)結(jié)果顯示該方法可以實(shí)現(xiàn)較高的準(zhǔn)確率和較低的誤報(bào)率。

機(jī)器學(xué)習(xí)中的無(wú)監(jiān)督學(xué)習(xí)算法不依賴標(biāo)注數(shù)據(jù)集，適應(yīng)性強(qiáng)，但準(zhǔn)確性不如有監(jiān)督學(xué)習(xí)，且誤報(bào)率較高。Syarif等人［4］研究對(duì)比了常用的聚類和有監(jiān)督學(xué)習(xí)方法，實(shí)驗(yàn)結(jié)果顯示無(wú)監(jiān)督的聚類算法誤報(bào)率較高，約為20%。

基于規(guī)則的網(wǎng)絡(luò)異常流量檢測(cè)通過(guò)將專家定義的規(guī)則與流量進(jìn)行匹配來(lái)識(shí)別異常流量。Suricata是一個(gè)開(kāi)源的網(wǎng)絡(luò)入侵檢測(cè)和阻止引擎，其在多方面表現(xiàn)出色，但存在無(wú)法檢測(cè)未知流量、實(shí)時(shí)性差等局限。

混合網(wǎng)絡(luò)異常流量檢測(cè)有串行和并行兩大方向。并行檢測(cè)中基于規(guī)則的工具和基于機(jī)器學(xué)習(xí)的分類器同步運(yùn)作。例如，Shah等人［5］提出了一個(gè)并行處理框架，將Snort與SVM同時(shí)運(yùn)作，實(shí)驗(yàn)顯示該系統(tǒng)具有較好的檢測(cè)精度。串行檢測(cè)則順序運(yùn)用兩者。例如，Chiba［6］等人介紹了一種以Suricata和隔離森林算法為核心的檢測(cè)框架，其中Suricata作為初步過(guò)濾器，由隔離森林算法進(jìn)行進(jìn)一步的異常流量識(shí)別，實(shí)現(xiàn)了對(duì)未知攻擊的有效檢測(cè)。

考慮到系統(tǒng)的效率，本文選擇構(gòu)建串行的檢測(cè)系統(tǒng)，即將基于機(jī)器學(xué)習(xí)的檢測(cè)方法作為第一道過(guò)濾器，將基于規(guī)則的工具作為第二道過(guò)濾器。然而，現(xiàn)行的流聚類算法存在準(zhǔn)確率較低的問(wèn)題，導(dǎo)致過(guò)多可疑流量被傳遞至Suricata系統(tǒng)；此外，Suricata存在無(wú)法識(shí)別未知異常流量的問(wèn)題。本文對(duì)上述問(wèn)題進(jìn)行了改進(jìn)研究：

（1）針對(duì)流聚類算法準(zhǔn)確率較低的問(wèn)題，提出了一種可以動(dòng)態(tài)確定半徑閾值的流聚類算法，并進(jìn)行了對(duì)比實(shí)驗(yàn)；（2）針對(duì)Suricata系統(tǒng)僅能識(shí)別已知的異常流量問(wèn)題，提出了基于Apriori的含有效負(fù)載約束的規(guī)則生成算法；（3）將基于規(guī)則的Suricata系統(tǒng)和基于機(jī)器學(xué)習(xí)的流聚類算法集成，并進(jìn)行了消融實(shí)驗(yàn)［7］。


本文詳細(xì)內(nèi)容請(qǐng)下載：

http://theprogrammingfactory.com/resource/share/2000006336


作者信息：

尤剛1，徐蕾2，李美鵬1，劉文杰1，張鵬1，陸振奎2

（1.96941部隊(duì)，北京100085；

2.中國(guó)航天時(shí)代電子有限公司，北京100094）


Magazine.Subscription.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。