《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 通信與網(wǎng)絡(luò) > 設(shè)計(jì)應(yīng)用 > 基于神經(jīng)網(wǎng)絡(luò)的含噪動(dòng)態(tài)源分離算法
基于神經(jīng)網(wǎng)絡(luò)的含噪動(dòng)態(tài)源分離算法
2018年電子技術(shù)應(yīng)用第2期
蘇 巧,魏以民,沈越泓
解放軍理工大學(xué) 通信工程學(xué)院,江蘇 南京210007
摘要: 針對含噪聲且源信號數(shù)目動(dòng)態(tài)變化條件下的混合信號分離問題進(jìn)行了研究,提出了一種新型在線盲源分離算法,該算法包括兩部分:一是基于最小描述長度(MDL)的動(dòng)態(tài)源數(shù)目估計(jì)算法,該算法能實(shí)時(shí)精確地估計(jì)出瞬時(shí)源數(shù)目;另一個(gè)是基于偏差去除的變步長神經(jīng)網(wǎng)絡(luò)算法,該算法采用前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),在學(xué)習(xí)準(zhǔn)則中加入了相應(yīng)于噪聲的偏差去除項(xiàng),并在此基礎(chǔ)上給出了變步長策略。仿真實(shí)驗(yàn)表明,新型算法在含噪靜態(tài)源和動(dòng)態(tài)源中都具有優(yōu)異的分離性能,并且優(yōu)于現(xiàn)存的針對動(dòng)態(tài)源的盲源分離算法。
中圖分類號: TN911
文獻(xiàn)標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.172267
中文引用格式: 蘇巧,魏以民,沈越泓. 基于神經(jīng)網(wǎng)絡(luò)的含噪動(dòng)態(tài)源分離算法[J].電子技術(shù)應(yīng)用,2018,44(2):88-91,96.
英文引用格式: Su Qiao,Wei Yimin,Shen Yuehong. The separation algorithm for dynamic sources in the noisy case based on neural network[J]. Application of Electronic Technique,2018,44(2):88-91,96.

The separation algorithm for dynamic sources in the noisy case based on neural network
Su Qiao,Wei Yimin,Shen Yuehong
College of Communication Engineering,PLA University of Science and Technology,Nanjing 210007,China
Abstract: In view of the dynamic sources in the noisy case, this paper proposes a novel online blind source separation(BSS) algorithm which contains two parts. One is a dynamic source number estimation algorithm based on Rissanen’s minimum description length(MDL). It can estimate the instantaneous source number accurately. The other is a variable step-size neural network algorithm based on bias removal. It employs the structure of feed-forward neural network, introduces the bias removal term corresponding to the noise into the learning criterion and provides the variable step-size scheme for the new learning criterion. Simulation results show that the proposed algorithm has the superior separation performance for both static sources and dynamic sources in the noisy case in comparison with the existing BSS algorithm for the dynamic sources.
Key words : BSS;dynamic sources in the noisy case;adaptive neural network; bias removal

0 引言

    盲源分離(Blind Source Separation,BSS)[1]技術(shù)旨在從M個(gè)混合信號中恢復(fù)出N個(gè)統(tǒng)計(jì)獨(dú)立的源信號,這里的“盲”是指源信號和混合信道的先驗(yàn)知識未知。由于這種“盲”的特性,BSS被廣泛的應(yīng)用于數(shù)字通信、陣列信號處理、語音和圖像處理等領(lǐng)域中。線性瞬時(shí)混合模型是BSS問題中最常見的模型之一,適用于遠(yuǎn)程通信等環(huán)境,該模型同時(shí)也是其他混合模型(如卷積混合)的基礎(chǔ)模型,其數(shù)學(xué)描述如下:

    tx6-gs1.gif

其中A為未知混合矩陣,t為采樣時(shí)刻,s(t)=[s1(t),…,sN(t)]T為N個(gè)未知的統(tǒng)計(jì)獨(dú)立的源信號組成的矢量,x(t)=[x1(t),…,xM(t)]T由M個(gè)可獲取的混合信號組成,n(t)=[n1(t),…,nM(t)]T包含M路加性高斯白噪聲。此時(shí),BSS問題轉(zhuǎn)化為尋找一個(gè)解混矩陣W,使得輸出y(t)=Wx(t)為輸入s(t)的估計(jì),且允許存在幅度和排列次序的不確定性。

    為解決上述問題,很多有效的方法被提出,如基于獨(dú)立成分分析[2]、非線性主成分分析[3]的方法等,但是這些方法大部分都需要已知源信號的數(shù)目,而且一般都假設(shè)源信號的數(shù)目與混合信號的數(shù)目相等,即M=N。在實(shí)際應(yīng)用中,這樣的設(shè)定往往是不成立的,因?yàn)樵葱盘枖?shù)目作為源端信息常常是不可直接獲取的,甚至有可能動(dòng)態(tài)變化,例如在無線通信系統(tǒng)中,接入系統(tǒng)的用戶數(shù)目可能隨時(shí)都在改變??梢?,實(shí)際應(yīng)用中,M=N很難滿足,當(dāng)設(shè)定接收混合信號的傳感器數(shù)目足夠多時(shí),往往出現(xiàn)M>N的超定情況。對于源數(shù)目未知且在超定假設(shè)下的BSS問題,文獻(xiàn)[4]首先在白化階段估計(jì)出源數(shù)目tx6-gs1-x1.gif,然后將混合信號維度M降低到tx6-gs1-x1.gif,利用自然梯度算法解決上述BSS問題,但是當(dāng)混合矩陣為病態(tài)時(shí)或者源信號之間幅值比例失調(diào)嚴(yán)重時(shí),這種算法可能會(huì)失效。文獻(xiàn)[5]從理論上證明了最小互信息準(zhǔn)則能夠用在超定的情況下,并提出一種適用于未知源數(shù)目的改進(jìn)的自然梯度算法。文獻(xiàn)[6]利用自組織結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)對瞬時(shí)源信號數(shù)目進(jìn)行估計(jì),并調(diào)整神經(jīng)網(wǎng)絡(luò)大小進(jìn)行混合信號的分離。文獻(xiàn)[7]提出一種自適應(yīng)神經(jīng)網(wǎng)絡(luò)算法(Adaptive Neural Algorithm, ANA)進(jìn)一步提高了收斂的穩(wěn)定性,但是收斂速度較慢。文獻(xiàn)[8]在ANA算法的基礎(chǔ)上加入了動(dòng)量項(xiàng),提出了一種基于神經(jīng)網(wǎng)絡(luò)和動(dòng)量項(xiàng)的動(dòng)態(tài)源恢復(fù)算法(Neual Network with Momentum for Dynamic Source Number,NNM-DSN),該算法收斂速度更快且穩(wěn)態(tài)誤差更小。但是上述算法通常都不考慮噪聲,算法的實(shí)用化程度不高。

    本文針對含噪動(dòng)態(tài)源條件下的BSS問題,提出了一種新型在線盲源分離算法,該算法包括兩部分:第一部分是基于最小描述長度(Rissanen’s Minimum Description Length,MDL)[9]的一種動(dòng)態(tài)源數(shù)目估計(jì)算法,該算法能實(shí)時(shí)精確地估計(jì)信道中的瞬時(shí)信源數(shù)目;第二部分是基于偏差去除的變步長神經(jīng)網(wǎng)絡(luò)算法,該算法采用前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),在學(xué)習(xí)準(zhǔn)則中加入了由噪聲引起的偏差去除項(xiàng),并在此基礎(chǔ)上給出了變步長策略。仿真實(shí)驗(yàn)表明,本文算法在含噪靜態(tài)源和動(dòng)態(tài)源情況下能實(shí)現(xiàn)源信號的準(zhǔn)確恢復(fù),相比于含噪情況下的ANA算法以及NNM-DSN算法,本文算法在靜態(tài)源和動(dòng)態(tài)源情況下性能都更加優(yōu)異,收斂速度更快,且穩(wěn)態(tài)分離性能接近無噪情況下NNM-DSN算法的性能。

1 算法介紹

    對于含噪動(dòng)態(tài)源條件下的BSS問題,首先必須要確定瞬時(shí)源信號數(shù)目tx6-gs1-x1.gif,然后將混合信號矢量的維度降低到tx6-gs1-x1.gif維,其中M-tx6-gs1-x1.gif個(gè)高度相關(guān)的成分將被去除,以此來調(diào)整神經(jīng)網(wǎng)絡(luò)的大小,使得問題變成源信號數(shù)目和混合信號數(shù)目相等的含噪BSS問題,利用本文提出的基于偏差去除的變步長神經(jīng)網(wǎng)絡(luò)算法即可得到源信號的估計(jì)。圖1所示為算法的框架圖,其中神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)算法共同作用可實(shí)現(xiàn)混合信號的分離。下面將分別介紹源數(shù)目估計(jì)和混合信號分離方法。

tx6-t1.gif

1.1 源數(shù)目估計(jì)

    對于動(dòng)態(tài)源的瞬時(shí)源數(shù)目估計(jì),文獻(xiàn)[7]采用改進(jìn)的交叉驗(yàn)證(cross-validation)算法;文獻(xiàn)[8]對混合信號協(xié)方差進(jìn)行特征分解,利用特征值的結(jié)構(gòu)對源信號數(shù)目進(jìn)行估計(jì),但是上述算法均用于無噪聲的條件下。一些經(jīng)典的批處理源數(shù)目估計(jì)算法(如MDL)可以用在有噪聲的情況下,因此本文基于MDL提出一種動(dòng)態(tài)源數(shù)目估計(jì)算法,能實(shí)時(shí)精確地估計(jì)信道中的信源數(shù)目。

    選用當(dāng)前時(shí)刻和前B-1時(shí)刻的混合信號值對當(dāng)前時(shí)刻的源信號數(shù)目進(jìn)行估計(jì),定義t時(shí)刻的瞬時(shí)協(xié)方差矩陣為:

    tx6-gs2.gif

其中,上標(biāo)H代表共軛轉(zhuǎn)置操作,t≥B。當(dāng)t<B時(shí),瞬時(shí)協(xié)方差矩陣按文獻(xiàn)[7]中給出的遞歸方式獲得。對瞬時(shí)協(xié)方差矩陣進(jìn)行特征值分解得到M個(gè)特征值如下(降序排列):

    tx6-gs3.gif

其中,σ2為噪聲的功率,則利用MDL檢測準(zhǔn)則即可估計(jì)出當(dāng)前時(shí)刻的瞬時(shí)源信號數(shù)目。

    利用上述方法進(jìn)行瞬時(shí)源信號數(shù)目估計(jì)存在一個(gè)問題,即在源信號數(shù)目變化處,會(huì)出現(xiàn)一小段過估計(jì)的情況。如圖2所示為源信號數(shù)目變化處的示意圖,N1為源信號數(shù)目變化前的信號個(gè)數(shù),N2為變化后的信號個(gè)數(shù),t1時(shí)刻為源信號數(shù)目變化的臨界點(diǎn),可以看出此時(shí)刻的前B-1個(gè)時(shí)刻處,源信號數(shù)目保持穩(wěn)定不變,因此利用上述方法能準(zhǔn)確地估計(jì)出源信號數(shù)目為N1。t2時(shí)刻滿足t2-B+1=t1,且前B-1個(gè)時(shí)刻處,源信號數(shù)目保持穩(wěn)定,因此同理可準(zhǔn)確估計(jì)出源信號數(shù)目為N2。在t1和t2之間的時(shí)刻如t′處,源信號數(shù)目可能會(huì)過估計(jì),但由于t1和t2的時(shí)間差小于B,所以這種過估計(jì)的持續(xù)時(shí)間不會(huì)超過B。

tx6-t2.gif

    為解決上述問題,算法在檢測到源數(shù)目變化的時(shí)刻開始記錄當(dāng)前估計(jì)源數(shù)目值,在此后的γB(1<γ≤1.5)時(shí)間內(nèi),若估計(jì)源信號發(fā)生變化,則將第一次變化與第二次變化之間的源數(shù)目值更改為第一次變化之前的源數(shù)目值,再從第二次源數(shù)目變化的時(shí)刻開始記錄,重復(fù)上述的檢測,直到在記錄開始時(shí)刻后的γB時(shí)間段內(nèi)估計(jì)源數(shù)目值不發(fā)生變化,則停止記錄,等待下一次估計(jì)源數(shù)目變化。采用這種方法即可消除源信號數(shù)目變換處的過估計(jì)問題。

1.2 混合信號的分離

    一般地,解混矩陣的元素wij被認(rèn)為是神經(jīng)網(wǎng)絡(luò)的權(quán)值,可以通過梯度下降法對其進(jìn)行調(diào)整。本文考慮基于前饋神經(jīng)網(wǎng)絡(luò)的穩(wěn)健的學(xué)習(xí)準(zhǔn)則,表達(dá)式如下:

tx6-gs4-6.gif

    將式(6)代入到式(4)中可得到基于偏差去除的神經(jīng)網(wǎng)絡(luò)算法,但是算法中步長μ(t)必須適當(dāng)進(jìn)行選擇,μ(t)太小則收斂速度過慢;反之,則穩(wěn)態(tài)波動(dòng)太大。為克服上述問題,引入變步長策略,參照文獻(xiàn)[11],μ(t)可以按下列遞推式進(jìn)行調(diào)整:

tx6-gs7-10.gif

tx6-gs7-10-x1.gif

2 仿真實(shí)驗(yàn)

    為驗(yàn)證本文提出算法在含噪動(dòng)態(tài)源條件下的性能,本文將與文獻(xiàn)[7]中的ANA算法和文獻(xiàn)[8]中的NNM-DSN算法進(jìn)行對比。源信號的選取與文獻(xiàn)[7-8]中一致,設(shè)置采樣率為1 kHz,則源信號波形示意圖如圖3所示,混合矩陣A隨機(jī)生成,只要滿足列滿秩即可。本文采用PI指數(shù)(performance index)[2]來評價(jià)算法的分離性能,PI越小代表分離性能越好。

tx6-t3.gif

    仿真實(shí)驗(yàn)包括兩種情況,一種是靜態(tài)源的情況,另一種是動(dòng)態(tài)源的情況。所有實(shí)驗(yàn)將進(jìn)行100次Monte Carlo試驗(yàn),在下面的實(shí)驗(yàn)中,n=k(k≤6)的意思是取圖3中前k個(gè)信號作為源信號,設(shè)置B=200,γ=1.2。

2.1 靜態(tài)源的情況

    本小節(jié)考慮靜態(tài)源的情況,設(shè)n=5保持不變,接收傳感器數(shù)為8,取10 000個(gè)樣值點(diǎn),信噪比(Signal-to-Noise Ratio,SNR)設(shè)置為10 dB。圖4所示為靜態(tài)源情況下采用本文算法得到的源數(shù)目的估計(jì)圖,可以看到算法很快得到了準(zhǔn)確的源數(shù)目。圖5為靜態(tài)源情況下采用本文算法得到的輸出信號的波形圖,圖中顯示的是最后500個(gè)輸出樣值點(diǎn),由圖可知,輸出信號完成了源信號的恢復(fù),僅存在幅度和排列次序的不確定性。圖6為有噪聲存在時(shí)ANA算法、NNM-DSN算法、本文算法以及無噪聲時(shí)NNM-DSN算法在靜態(tài)源情況下的平均PI性能對比圖,其中無噪聲時(shí)的NNM-DSN算法用來作性能參照,由圖可知,當(dāng)噪聲存在時(shí),ANA算法和NNM-DSN算法性能惡化且穩(wěn)定性降低,而本文算法平均PI性能優(yōu)于含噪情況下的ANA算法和NNM-DSN算法,且接近無噪聲時(shí)的NNM-DSN算法性能,與含噪情況下的ANA算法和NNM-DSN算法相比,本文算法也具有更快的收斂速度。

tx6-t4.gif

tx6-t5.gif

tx6-t6.gif

2.2 動(dòng)態(tài)源的情況

    本小節(jié)考慮動(dòng)態(tài)源的情況,設(shè)n=3,6,2,取15 000個(gè)樣值點(diǎn),具體設(shè)置方式如下:

     tx6-gs11.gif

    設(shè)信噪比為10 dB,接收傳感器數(shù)為8,圖7所示為動(dòng)態(tài)源情況下本文算法進(jìn)行源數(shù)目估計(jì)的示意圖,可以看到源數(shù)目得到了快速準(zhǔn)確的估計(jì)。圖8為動(dòng)態(tài)源情況下采用本文算法得到的輸出信號波形圖,取3種不同源數(shù)目情況下的分離信號最后300個(gè)樣值點(diǎn),其中空白框表示無輸出,由此可見,混合信號被成功地分離,僅存在幅度和排列次序的不確定性。圖9為有噪聲存在時(shí)ANA算法、NNM-DSN算法、本文算法以及無噪聲時(shí)NNM-DSN算法的在動(dòng)態(tài)源情況下的平均PI性能對比圖,同樣,無噪聲時(shí)的NNM-DSN算法用來作性能參照,當(dāng)源數(shù)目動(dòng)態(tài)變化時(shí),所有算法都能調(diào)整至收斂,ANA算法與NNM-DSN算法在有噪聲情況下平均PI定性變差,與有噪聲情況下的ANA算法與NNM-DSN算法比較,本文算法平均PI性能更優(yōu),收斂速度更快,并且穩(wěn)態(tài)時(shí)的平均PI性能接近無噪聲時(shí)的NNM-DSN算法的性能。

tx6-t7.gif

tx6-t8.gif

tx6-t9.gif

3 結(jié)論

    本文針對含噪動(dòng)態(tài)源的情況提出了一種新型在線盲源分離算法,包括兩部分,即:基于MDL的動(dòng)態(tài)源數(shù)目估計(jì)算法和基于偏差去除的變步長神經(jīng)網(wǎng)絡(luò)算法。新型算法能實(shí)時(shí)準(zhǔn)確地估計(jì)出瞬時(shí)源信號的數(shù)目,并在含噪條件下對混合信號進(jìn)行成功分離。仿真實(shí)驗(yàn)表明,本文算法在含噪靜態(tài)源和動(dòng)態(tài)源情況下都能準(zhǔn)確地恢復(fù)出源信號,相比于含噪情況下的ANA算法和NNM-DSN算法,本文算法具有更好的分離性能和更快的收斂速度,且分離性能接近無噪情況下的NNM-DSN算法性能。

參考文獻(xiàn)

[1] COMON P,CHRISTIAN J.Handbook of blind source separation:independent component analysis and applications[M].New York:Academic Press,2010.

[2] HYVARINEN A,KARHUNEN J,OJA E.Independent component analysis[M].[S.l.]:John Wiley & Sons,2001.

[3] KARHUNEN J,JOUTSENSALO J.Representation and separation of signals using nonlinear PCA type learning[J].Neural Network,1994,7(1):113-127.

[4] CICHOCKI A,KARHUNEN J,KASPRZAK W,et al.Neural networks for blind separation with unknown number of sources[J].Neruocomputing,1999,24(1-3):55-93.

[5] YE J M,ZHU X L,ZHANG X D.Adaptive blind source separation with an unknown number of sources[J].Neural computation,2004,16(8):1641-1460.

[6] SUN T Y,LIU C C,HSIEH S T,et al.Blind separation with unknown number of sources based on auto-trimmed neural network[J].Neurocomputing,2008,17(10-12):2271-2280.

[7] SUN T Y,LIU C C,TSAI S J,et al.Blind source separation with dynamic source number using adaptive neural algorithm[J].Expert System With Application,2009,36(5):8855-8861.

[8] LI H,SHEN Y,XUN K.Neural network with momentum for dynamic source separation and its convergence analysis[J].Journal of Networks,2011,6(5):791-798.

[9] SCHWARZ G.Estimating the dimension of a model[J].Annu. Stat.,1987,6(2):461-464.

[10] DOUGLAS S C,CICHOCKI A,AMARI S.A bias removal technique for blind source separation with noisy measurements[J].Electronics Letters,1998,34(14):1379-1380.

[11] YUAN L,WANG W,CHAMBERS J A.Variable step-size sign natural gradient algorithm for sequential blind source separation[J].IEEE Signal Processing Letters,2005,12(8):589-592.

[12] 趙偉,沈越泓,王建功,等.一種長時(shí)長混合通信信號的分離重建方法[J].軍事通信技術(shù),2013,34(1):62-68.

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。