文獻(xiàn)標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.172267
中文引用格式: 蘇巧,魏以民,沈越泓. 基于神經(jīng)網(wǎng)絡(luò)的含噪動(dòng)態(tài)源分離算法[J].電子技術(shù)應(yīng)用,2018,44(2):88-91,96.
英文引用格式: Su Qiao,Wei Yimin,Shen Yuehong. The separation algorithm for dynamic sources in the noisy case based on neural network[J]. Application of Electronic Technique,2018,44(2):88-91,96.
0 引言
盲源分離(Blind Source Separation,BSS)[1]技術(shù)旨在從M個(gè)混合信號中恢復(fù)出N個(gè)統(tǒng)計(jì)獨(dú)立的源信號,這里的“盲”是指源信號和混合信道的先驗(yàn)知識未知。由于這種“盲”的特性,BSS被廣泛的應(yīng)用于數(shù)字通信、陣列信號處理、語音和圖像處理等領(lǐng)域中。線性瞬時(shí)混合模型是BSS問題中最常見的模型之一,適用于遠(yuǎn)程通信等環(huán)境,該模型同時(shí)也是其他混合模型(如卷積混合)的基礎(chǔ)模型,其數(shù)學(xué)描述如下:
其中A為未知混合矩陣,t為采樣時(shí)刻,s(t)=[s1(t),…,sN(t)]T為N個(gè)未知的統(tǒng)計(jì)獨(dú)立的源信號組成的矢量,x(t)=[x1(t),…,xM(t)]T由M個(gè)可獲取的混合信號組成,n(t)=[n1(t),…,nM(t)]T包含M路加性高斯白噪聲。此時(shí),BSS問題轉(zhuǎn)化為尋找一個(gè)解混矩陣W,使得輸出y(t)=Wx(t)為輸入s(t)的估計(jì),且允許存在幅度和排列次序的不確定性。
為解決上述問題,很多有效的方法被提出,如基于獨(dú)立成分分析[2]、非線性主成分分析[3]的方法等,但是這些方法大部分都需要已知源信號的數(shù)目,而且一般都假設(shè)源信號的數(shù)目與混合信號的數(shù)目相等,即M=N。在實(shí)際應(yīng)用中,這樣的設(shè)定往往是不成立的,因?yàn)樵葱盘枖?shù)目作為源端信息常常是不可直接獲取的,甚至有可能動(dòng)態(tài)變化,例如在無線通信系統(tǒng)中,接入系統(tǒng)的用戶數(shù)目可能隨時(shí)都在改變??梢?,實(shí)際應(yīng)用中,M=N很難滿足,當(dāng)設(shè)定接收混合信號的傳感器數(shù)目足夠多時(shí),往往出現(xiàn)M>N的超定情況。對于源數(shù)目未知且在超定假設(shè)下的BSS問題,文獻(xiàn)[4]首先在白化階段估計(jì)出源數(shù)目,然后將混合信號維度M降低到,利用自然梯度算法解決上述BSS問題,但是當(dāng)混合矩陣為病態(tài)時(shí)或者源信號之間幅值比例失調(diào)嚴(yán)重時(shí),這種算法可能會(huì)失效。文獻(xiàn)[5]從理論上證明了最小互信息準(zhǔn)則能夠用在超定的情況下,并提出一種適用于未知源數(shù)目的改進(jìn)的自然梯度算法。文獻(xiàn)[6]利用自組織結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)對瞬時(shí)源信號數(shù)目進(jìn)行估計(jì),并調(diào)整神經(jīng)網(wǎng)絡(luò)大小進(jìn)行混合信號的分離。文獻(xiàn)[7]提出一種自適應(yīng)神經(jīng)網(wǎng)絡(luò)算法(Adaptive Neural Algorithm, ANA)進(jìn)一步提高了收斂的穩(wěn)定性,但是收斂速度較慢。文獻(xiàn)[8]在ANA算法的基礎(chǔ)上加入了動(dòng)量項(xiàng),提出了一種基于神經(jīng)網(wǎng)絡(luò)和動(dòng)量項(xiàng)的動(dòng)態(tài)源恢復(fù)算法(Neual Network with Momentum for Dynamic Source Number,NNM-DSN),該算法收斂速度更快且穩(wěn)態(tài)誤差更小。但是上述算法通常都不考慮噪聲,算法的實(shí)用化程度不高。
本文針對含噪動(dòng)態(tài)源條件下的BSS問題,提出了一種新型在線盲源分離算法,該算法包括兩部分:第一部分是基于最小描述長度(Rissanen’s Minimum Description Length,MDL)[9]的一種動(dòng)態(tài)源數(shù)目估計(jì)算法,該算法能實(shí)時(shí)精確地估計(jì)信道中的瞬時(shí)信源數(shù)目;第二部分是基于偏差去除的變步長神經(jīng)網(wǎng)絡(luò)算法,該算法采用前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),在學(xué)習(xí)準(zhǔn)則中加入了由噪聲引起的偏差去除項(xiàng),并在此基礎(chǔ)上給出了變步長策略。仿真實(shí)驗(yàn)表明,本文算法在含噪靜態(tài)源和動(dòng)態(tài)源情況下能實(shí)現(xiàn)源信號的準(zhǔn)確恢復(fù),相比于含噪情況下的ANA算法以及NNM-DSN算法,本文算法在靜態(tài)源和動(dòng)態(tài)源情況下性能都更加優(yōu)異,收斂速度更快,且穩(wěn)態(tài)分離性能接近無噪情況下NNM-DSN算法的性能。
1 算法介紹
對于含噪動(dòng)態(tài)源條件下的BSS問題,首先必須要確定瞬時(shí)源信號數(shù)目,然后將混合信號矢量的維度降低到維,其中M-個(gè)高度相關(guān)的成分將被去除,以此來調(diào)整神經(jīng)網(wǎng)絡(luò)的大小,使得問題變成源信號數(shù)目和混合信號數(shù)目相等的含噪BSS問題,利用本文提出的基于偏差去除的變步長神經(jīng)網(wǎng)絡(luò)算法即可得到源信號的估計(jì)。圖1所示為算法的框架圖,其中神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)算法共同作用可實(shí)現(xiàn)混合信號的分離。下面將分別介紹源數(shù)目估計(jì)和混合信號分離方法。
1.1 源數(shù)目估計(jì)
對于動(dòng)態(tài)源的瞬時(shí)源數(shù)目估計(jì),文獻(xiàn)[7]采用改進(jìn)的交叉驗(yàn)證(cross-validation)算法;文獻(xiàn)[8]對混合信號協(xié)方差進(jìn)行特征分解,利用特征值的結(jié)構(gòu)對源信號數(shù)目進(jìn)行估計(jì),但是上述算法均用于無噪聲的條件下。一些經(jīng)典的批處理源數(shù)目估計(jì)算法(如MDL)可以用在有噪聲的情況下,因此本文基于MDL提出一種動(dòng)態(tài)源數(shù)目估計(jì)算法,能實(shí)時(shí)精確地估計(jì)信道中的信源數(shù)目。
選用當(dāng)前時(shí)刻和前B-1時(shí)刻的混合信號值對當(dāng)前時(shí)刻的源信號數(shù)目進(jìn)行估計(jì),定義t時(shí)刻的瞬時(shí)協(xié)方差矩陣為:
其中,上標(biāo)H代表共軛轉(zhuǎn)置操作,t≥B。當(dāng)t<B時(shí),瞬時(shí)協(xié)方差矩陣按文獻(xiàn)[7]中給出的遞歸方式獲得。對瞬時(shí)協(xié)方差矩陣進(jìn)行特征值分解得到M個(gè)特征值如下(降序排列):
其中,σ2為噪聲的功率,則利用MDL檢測準(zhǔn)則即可估計(jì)出當(dāng)前時(shí)刻的瞬時(shí)源信號數(shù)目。
利用上述方法進(jìn)行瞬時(shí)源信號數(shù)目估計(jì)存在一個(gè)問題,即在源信號數(shù)目變化處,會(huì)出現(xiàn)一小段過估計(jì)的情況。如圖2所示為源信號數(shù)目變化處的示意圖,N1為源信號數(shù)目變化前的信號個(gè)數(shù),N2為變化后的信號個(gè)數(shù),t1時(shí)刻為源信號數(shù)目變化的臨界點(diǎn),可以看出此時(shí)刻的前B-1個(gè)時(shí)刻處,源信號數(shù)目保持穩(wěn)定不變,因此利用上述方法能準(zhǔn)確地估計(jì)出源信號數(shù)目為N1。t2時(shí)刻滿足t2-B+1=t1,且前B-1個(gè)時(shí)刻處,源信號數(shù)目保持穩(wěn)定,因此同理可準(zhǔn)確估計(jì)出源信號數(shù)目為N2。在t1和t2之間的時(shí)刻如t′處,源信號數(shù)目可能會(huì)過估計(jì),但由于t1和t2的時(shí)間差小于B,所以這種過估計(jì)的持續(xù)時(shí)間不會(huì)超過B。
為解決上述問題,算法在檢測到源數(shù)目變化的時(shí)刻開始記錄當(dāng)前估計(jì)源數(shù)目值,在此后的γB(1<γ≤1.5)時(shí)間內(nèi),若估計(jì)源信號發(fā)生變化,則將第一次變化與第二次變化之間的源數(shù)目值更改為第一次變化之前的源數(shù)目值,再從第二次源數(shù)目變化的時(shí)刻開始記錄,重復(fù)上述的檢測,直到在記錄開始時(shí)刻后的γB時(shí)間段內(nèi)估計(jì)源數(shù)目值不發(fā)生變化,則停止記錄,等待下一次估計(jì)源數(shù)目變化。采用這種方法即可消除源信號數(shù)目變換處的過估計(jì)問題。
1.2 混合信號的分離
一般地,解混矩陣的元素wij被認(rèn)為是神經(jīng)網(wǎng)絡(luò)的權(quán)值,可以通過梯度下降法對其進(jìn)行調(diào)整。本文考慮基于前饋神經(jīng)網(wǎng)絡(luò)的穩(wěn)健的學(xué)習(xí)準(zhǔn)則,表達(dá)式如下:
將式(6)代入到式(4)中可得到基于偏差去除的神經(jīng)網(wǎng)絡(luò)算法,但是算法中步長μ(t)必須適當(dāng)進(jìn)行選擇,μ(t)太小則收斂速度過慢;反之,則穩(wěn)態(tài)波動(dòng)太大。為克服上述問題,引入變步長策略,參照文獻(xiàn)[11],μ(t)可以按下列遞推式進(jìn)行調(diào)整:
2 仿真實(shí)驗(yàn)
為驗(yàn)證本文提出算法在含噪動(dòng)態(tài)源條件下的性能,本文將與文獻(xiàn)[7]中的ANA算法和文獻(xiàn)[8]中的NNM-DSN算法進(jìn)行對比。源信號的選取與文獻(xiàn)[7-8]中一致,設(shè)置采樣率為1 kHz,則源信號波形示意圖如圖3所示,混合矩陣A隨機(jī)生成,只要滿足列滿秩即可。本文采用PI指數(shù)(performance index)[2]來評價(jià)算法的分離性能,PI越小代表分離性能越好。
仿真實(shí)驗(yàn)包括兩種情況,一種是靜態(tài)源的情況,另一種是動(dòng)態(tài)源的情況。所有實(shí)驗(yàn)將進(jìn)行100次Monte Carlo試驗(yàn),在下面的實(shí)驗(yàn)中,n=k(k≤6)的意思是取圖3中前k個(gè)信號作為源信號,設(shè)置B=200,γ=1.2。
2.1 靜態(tài)源的情況
本小節(jié)考慮靜態(tài)源的情況,設(shè)n=5保持不變,接收傳感器數(shù)為8,取10 000個(gè)樣值點(diǎn),信噪比(Signal-to-Noise Ratio,SNR)設(shè)置為10 dB。圖4所示為靜態(tài)源情況下采用本文算法得到的源數(shù)目的估計(jì)圖,可以看到算法很快得到了準(zhǔn)確的源數(shù)目。圖5為靜態(tài)源情況下采用本文算法得到的輸出信號的波形圖,圖中顯示的是最后500個(gè)輸出樣值點(diǎn),由圖可知,輸出信號完成了源信號的恢復(fù),僅存在幅度和排列次序的不確定性。圖6為有噪聲存在時(shí)ANA算法、NNM-DSN算法、本文算法以及無噪聲時(shí)NNM-DSN算法在靜態(tài)源情況下的平均PI性能對比圖,其中無噪聲時(shí)的NNM-DSN算法用來作性能參照,由圖可知,當(dāng)噪聲存在時(shí),ANA算法和NNM-DSN算法性能惡化且穩(wěn)定性降低,而本文算法平均PI性能優(yōu)于含噪情況下的ANA算法和NNM-DSN算法,且接近無噪聲時(shí)的NNM-DSN算法性能,與含噪情況下的ANA算法和NNM-DSN算法相比,本文算法也具有更快的收斂速度。
2.2 動(dòng)態(tài)源的情況
本小節(jié)考慮動(dòng)態(tài)源的情況,設(shè)n=3,6,2,取15 000個(gè)樣值點(diǎn),具體設(shè)置方式如下:
設(shè)信噪比為10 dB,接收傳感器數(shù)為8,圖7所示為動(dòng)態(tài)源情況下本文算法進(jìn)行源數(shù)目估計(jì)的示意圖,可以看到源數(shù)目得到了快速準(zhǔn)確的估計(jì)。圖8為動(dòng)態(tài)源情況下采用本文算法得到的輸出信號波形圖,取3種不同源數(shù)目情況下的分離信號最后300個(gè)樣值點(diǎn),其中空白框表示無輸出,由此可見,混合信號被成功地分離,僅存在幅度和排列次序的不確定性。圖9為有噪聲存在時(shí)ANA算法、NNM-DSN算法、本文算法以及無噪聲時(shí)NNM-DSN算法的在動(dòng)態(tài)源情況下的平均PI性能對比圖,同樣,無噪聲時(shí)的NNM-DSN算法用來作性能參照,當(dāng)源數(shù)目動(dòng)態(tài)變化時(shí),所有算法都能調(diào)整至收斂,ANA算法與NNM-DSN算法在有噪聲情況下平均PI定性變差,與有噪聲情況下的ANA算法與NNM-DSN算法比較,本文算法平均PI性能更優(yōu),收斂速度更快,并且穩(wěn)態(tài)時(shí)的平均PI性能接近無噪聲時(shí)的NNM-DSN算法的性能。
3 結(jié)論
本文針對含噪動(dòng)態(tài)源的情況提出了一種新型在線盲源分離算法,包括兩部分,即:基于MDL的動(dòng)態(tài)源數(shù)目估計(jì)算法和基于偏差去除的變步長神經(jīng)網(wǎng)絡(luò)算法。新型算法能實(shí)時(shí)準(zhǔn)確地估計(jì)出瞬時(shí)源信號的數(shù)目,并在含噪條件下對混合信號進(jìn)行成功分離。仿真實(shí)驗(yàn)表明,本文算法在含噪靜態(tài)源和動(dòng)態(tài)源情況下都能準(zhǔn)確地恢復(fù)出源信號,相比于含噪情況下的ANA算法和NNM-DSN算法,本文算法具有更好的分離性能和更快的收斂速度,且分離性能接近無噪情況下的NNM-DSN算法性能。
參考文獻(xiàn)
[1] COMON P,CHRISTIAN J.Handbook of blind source separation:independent component analysis and applications[M].New York:Academic Press,2010.
[2] HYVARINEN A,KARHUNEN J,OJA E.Independent component analysis[M].[S.l.]:John Wiley & Sons,2001.
[3] KARHUNEN J,JOUTSENSALO J.Representation and separation of signals using nonlinear PCA type learning[J].Neural Network,1994,7(1):113-127.
[4] CICHOCKI A,KARHUNEN J,KASPRZAK W,et al.Neural networks for blind separation with unknown number of sources[J].Neruocomputing,1999,24(1-3):55-93.
[5] YE J M,ZHU X L,ZHANG X D.Adaptive blind source separation with an unknown number of sources[J].Neural computation,2004,16(8):1641-1460.
[6] SUN T Y,LIU C C,HSIEH S T,et al.Blind separation with unknown number of sources based on auto-trimmed neural network[J].Neurocomputing,2008,17(10-12):2271-2280.
[7] SUN T Y,LIU C C,TSAI S J,et al.Blind source separation with dynamic source number using adaptive neural algorithm[J].Expert System With Application,2009,36(5):8855-8861.
[8] LI H,SHEN Y,XUN K.Neural network with momentum for dynamic source separation and its convergence analysis[J].Journal of Networks,2011,6(5):791-798.
[9] SCHWARZ G.Estimating the dimension of a model[J].Annu. Stat.,1987,6(2):461-464.
[10] DOUGLAS S C,CICHOCKI A,AMARI S.A bias removal technique for blind source separation with noisy measurements[J].Electronics Letters,1998,34(14):1379-1380.
[11] YUAN L,WANG W,CHAMBERS J A.Variable step-size sign natural gradient algorithm for sequential blind source separation[J].IEEE Signal Processing Letters,2005,12(8):589-592.
[12] 趙偉,沈越泓,王建功,等.一種長時(shí)長混合通信信號的分離重建方法[J].軍事通信技術(shù),2013,34(1):62-68.