文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.2016.11.032
中文引用格式: 馬文海,胡平. 基于概率的并行粒子群AKO-RVM入侵檢測[J].電子技術(shù)應用,2016,42(11):119-121,125.
英文引用格式: Ma Wenhai,Hu Ping. Intrusion detection using automatic kernel width optimization RVM based on probabilistic parallel PSO[J].Application of Electronic Technique,2016,42(11):119-121,125.
0 引言
隨著網(wǎng)絡信息量的爆炸式增長,網(wǎng)路攻擊手段層出不窮,入侵檢測在保護網(wǎng)絡安全方面起著至關(guān)重要的作用,如何高效準確地對大量數(shù)據(jù)進行處理成為目前急需解決的問題。因此,先進的智能分類技術(shù)在入侵檢測領域的應用研究具有重要的現(xiàn)實意義[1-2]。相對向量機(RVM)具有SVM良好非線性處理能力與泛化能力,能夠有效解決非線性、小樣本問題等優(yōu)勢[3]。但RVM核函數(shù)參數(shù)的選擇太依賴經(jīng)驗性,學者們提出一種相對向量機自動優(yōu)化核寬(AKO-RVM)的算法[4],它可以有效減少RVM對其內(nèi)核初始參數(shù)選擇的依賴,提高分類精度,但在收斂速度與計算復雜度方面的優(yōu)化有明顯不足之處。本文提出一種基于概率的并行粒子群優(yōu)化AKO-RVM的方法[5-6],首先通過AKO-RVM算法對樣本分組并進行訓練,其次使用并行主輔式粒子群(PSO)算法[7]對分組后的核寬進行優(yōu)化,在保證AKO-RVM算法進度的同時有效提高了其收斂速度并降低了其計算復雜度,進而探索相關(guān)向量機的快速算法,提高入侵檢測的精度。
1 自動優(yōu)化相關(guān)向量機核寬算法
1.1 相關(guān)向量機
相關(guān)向量機(RVM)是建立在支持向量機(SVM)上的稀疏概率學習模型。給定訓練樣本集目標值tk∈R與xk∈RN都相互獨立分布,式(1)給出兩者關(guān)系:
其中w=[w0,w1,…,wN]T為線性模型的權(quán)重因子,K(x,xk)為訓練樣本預先設定的核函數(shù),由線性加權(quán)模型可得估計函數(shù)y(xk),雖然RVM模型對核函數(shù)的選擇沒有任何限制,但在RVM模型中應用最為廣泛的是高斯核函數(shù),其核函數(shù)模型定義為:
其中b為核函數(shù)核寬。而在實際應用中,由于訓練數(shù)樣本是隨著時間動態(tài)變化的,因此固定的核寬可能會導致RVM模型性能的下降。據(jù)此根據(jù)AKO-RVM算法提出一種動態(tài)改變RVM核寬的方法。
若想求得式(1),即對樣本集進行分組訓練,就必須了解RVM邊緣似然函數(shù)的對數(shù)模型,其模型為:
由以上可以看出對RVM樣本集訓練分類過程就是迭代求解α的過程,并最終通過RVM邊緣似然函數(shù)的模型求得式(1),之后根據(jù)式(1)對樣本進行分類。
1.2 AKO-RVM算法
AKO-RVM算法根據(jù)訓練樣本的不同自動改變高斯核函數(shù)的核寬,保證了RVM訓練結(jié)果與RVM核寬的初始值設定無關(guān),因此式(2)可改寫為:
之后通過將自變量bk與λ對Γ1進行微分計算,并結(jié)合式(7)來計算核寬的迭代公式。
由以上可以看出AKO-RVM算法主要是針對不同的訓練樣本迭代出適合的核寬,進而迭代求解α,最終求得式(1),并根據(jù)式(1)對樣本進行分類。
2 基于概率的主輔式并行粒子群AKO-RVM優(yōu)化算法
其中τ1、τ2為(0,1)之間的隨機數(shù),Pbest與Gbest分別為粒子群的當前局部最優(yōu)解與全局最優(yōu)解。由文獻[8]可知,當θ取隨機數(shù),且Lmax為最大迭代次數(shù),C1=2.5-2l/Lmax,C2=3-C1時,可以使PSO算法性能得到增強。
標準粒子群算法采取串行比較方式,局限性較大。為獲得更好的性能,本文提出一種基于概率的主輔式并行粒子群AKO-RVM模型(P2AKO-RVM)。
如圖1所示,P2AKO-RVM算法首先對訓練樣本進行分組,分組后的樣本根據(jù)式(7)分別求出核寬b,然后將其分別送入輔處理器中,輔處理器將粒子個體最優(yōu)信息通過概率計算后發(fā)送給主處理器,主處理器尋找概率適應度最大的核寬粒子,將其作為新的全局最優(yōu)解,輔處理器接收新的全局最優(yōu)解,并使用其進行下一次的速度更新與適應度的計算。文中定義ξ為概率系數(shù),且P2AKO-RVM的適應度值Ffitness的公式定義如下:
其中,T為當前輸入的訓練樣本的信號長度,zt為每組中的粒子個數(shù),Mt為訓練樣本分組的個數(shù),q3為加速比。
P2AKO-RVM算法具體步驟如下:
(1)對總訓練樣本進行分組,每組訓練樣本的數(shù)目為m,文中選取m為3,若存在剩余訓練樣本,則舍棄。
(2)通過式(7)對分組后的訓練樣本分別計算RVM核寬粒子b。
(3)將核寬粒子b均分為m組,并將分組后的RVM核寬粒子b發(fā)送至對應的m個輔處理器,若存在剩余粒子,則舍棄。
(4)在m組并行輔處理器中對RVM核寬粒子群初始化,隨機給出每個粒子的初始速度與位置,確定其迭代精度、加速系數(shù)等參數(shù)。
(5)在m組并行輔處理器中根據(jù)式(10)計算RVM核寬粒子b的適應度。
(6)并行輔處理器進行尋優(yōu)并將其個體最優(yōu)信息發(fā)送至主處理器中。
(7)主處理器尋找概率適應度最大的RVM核寬粒子b并將其作為新的全局最優(yōu)解發(fā)送回m個并行輔處理器。
(8)并行輔處理器判斷迭代是否滿足設置的精度要求或者粒子已完成迭代,若滿足則終止迭代,否則將主處理器發(fā)送的新的核寬粒子跟新為的全局最優(yōu)解,重復步驟(6)。
(9)將優(yōu)選出的最優(yōu)RVM核寬粒子代入式(3)進行相關(guān)向量機的訓練與檢測。
2.1 P2AKO-RVM算法主處理器流程
(1)接收輔處理器發(fā)送的概率適應度。
(2)在接收的所有的m個粒子中找到其概率適應度最大的Ffitness。
(3)若當前全局極值的適應度值大于所選Ffitness,則將Ffitness對應的粒子位置作為新的全局極值。
(4)將新的全局極值送至輔處理器中。
2.2 P2AKO-RVM算法輔處理器流程
(1)接收主處理器發(fā)送的全局極值,并判斷核寬粒子是否達到預設精度要求或者已完成迭代,若是輔處理器結(jié)束迭代,否則進行步驟(2)。
(2)由式(8)與(9)更新當前粒子的速度與位置信息,并將其發(fā)送至主處理器。
3 實際應用
本文實驗樣本選取kddcup_data_10precent入侵檢測數(shù)據(jù)包作為實驗樣本,共選取4種模式進行實驗驗證:normal、ipsweep、neptune、smurf,分別定義為1、2、3、4。除Normal外都為異常的入侵模式。每種模式各自選取500組數(shù)據(jù),其中選取各模式的前100組數(shù)據(jù)作為訓練樣本其余的為檢測樣本,即共計400組訓練樣本,以及1 600組訓練樣本。文章分別采用RVM、AKO-RVM、P2AKO-RVM進行入侵檢測,如圖2所示。
圖2中P2AKO-RVM算法選用3個并行輔處理器(m=3)對400組樣本進行訓練,由此可知每個輔處理器最多迭代45次,每次迭代都會選取一個最優(yōu)核寬,大幅縮減了AKO-RVM算法的迭代次數(shù)。
圖3為AKO-RVM、P2AKO-RVM兩種算法的邊緣似然變量隨迭代次數(shù)的變化曲線。
由圖3可看出,P2AKO-RVM算法大幅度縮短訓練迭代次數(shù)的同時保證了內(nèi)核寬度的最大化。在一定程度上,其最大化速度快于AKO-RVM。
表1為分別基于3種算法的入侵檢測性能方面的比較,文中使用了檢測準確率、檢測誤報率以及檢測用時3種種指標進行衡量。定義分別為:
由表1可看出在相同的實驗條件下,相對于RVM,AKO-RVM與P2AKO-RVM算法在入侵檢測上的檢測精度得到較大提高,尤其是P2AKO-RVM算法,相對于AKO-RVM,在保證了較高檢測精度的同時大幅度降低了訓練迭代次數(shù),并減少了一定的檢測時間。
4 結(jié)論
本文提出一種基于概率的主輔式并行粒子群AKO-RVM的網(wǎng)絡入侵檢測方法(P2AKO-RVM),P2AKO-RVM可以在保證了AKO-RVM算法分類精度的同時,快速優(yōu)化出適合當前訓練樣本集的核寬參數(shù)。通過實驗驗證表明,P2AKO-RVM方法不僅減少了RVM初始化值對訓練與檢測精度的影響,而且在保證了較高檢測精度的同時大幅度降低了訓練迭代次數(shù),在入侵檢測領域應用更優(yōu)于RVM與AKO-RVM算法,具有較好的應用前景,后續(xù)還可以針對RVM多核函數(shù)等方向進行一定研究。
參考文獻
[1] RAMAN S,HARISH K,SINGLA R K.An intrusion detection system using network traffic profiling and online sequential extreme learning machine[J].Expert Systems with Applications,2015,42(22):8609-8624.
[2] 吳良海.基于粒子群優(yōu)化相關(guān)向量機的網(wǎng)絡入侵檢測[J].微電子學與計算機,2010(5):181-184.
[3] TIPPING M E.Sparse Bayesian learning and the relevance vector machine[J].Journal of Machine Learning Research,2001,1(3):211-244.
[4] YALDA M,HAMID S.Gaussian kernel width optimization for sparse Bayesian[J].IEEE Transactions on Neural Networks and Learning Systems Learning,2015(4):709-719.
[5] 李國棟,胡建平,夏克文.基于云PSO的RVM入侵檢測[J].控制與決策,2015(4):698-702.
[6] SABAN G,HALIFE K.A novel parallel multi-swarm algorithm based on comprehensive learning particle swarm optimization[J].Engineering Applications of Artificial Intelligence,2015(10):33-45.
[7] MALIK A J,SHAHZAD W,KHAN F A.Network intrusion detection using hybrid binary PSO and random forests algorithm[J].Security and Communication Networks,2015,8(16):2646-2660.
[8] CHEN S.An efficient predistorter design for compensating nonlinear memory high power amplifiers[J].IEEE Trans.on Broadcasting,2011(4):856-865.