《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 通信與網(wǎng)絡(luò) > 設(shè)計應(yīng)用 > 基于改進(jìn)遺傳算法的神經(jīng)網(wǎng)絡(luò)手寫體數(shù)字識別
基于改進(jìn)遺傳算法的神經(jīng)網(wǎng)絡(luò)手寫體數(shù)字識別
來源:微型機(jī)與應(yīng)用2012年第18期
魏衡華,彭 飛
(中國科學(xué)技術(shù)大學(xué) 自動化系,安徽 合肥230027)
摘要: BP網(wǎng)絡(luò)作為人工神經(jīng)網(wǎng)絡(luò)的重要分支,已經(jīng)廣泛應(yīng)用于手寫數(shù)字識別。然而BP神經(jīng)網(wǎng)絡(luò)存在訓(xùn)練時間長、易陷入局部最小的問題。為了克服這些問題,提出了一種改進(jìn)的遺傳算法,并用該算法來優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值。最后,利用基于該算法的神經(jīng)網(wǎng)絡(luò)對大量USPS手寫數(shù)字樣本集進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果表明,該算法比單純的BP算法具有更快的識別速率。
Abstract:
Key words :

摘  要: BP網(wǎng)絡(luò)作為人工神經(jīng)網(wǎng)絡(luò)的重要分支,已經(jīng)廣泛應(yīng)用于手寫數(shù)字識別。然而BP神經(jīng)網(wǎng)絡(luò)存在訓(xùn)練時間長、易陷入局部最小的問題。為了克服這些問題,提出了一種改進(jìn)的遺傳算法,并用該算法來優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值。最后,利用基于該算法的神經(jīng)網(wǎng)絡(luò)對大量USPS手寫數(shù)字樣本集進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果表明,該算法比單純的BP算法具有更快的識別速率。
關(guān)鍵詞: 遺傳算法;BP神經(jīng)網(wǎng)絡(luò);數(shù)字識別

    數(shù)字識別前景廣闊,廣泛應(yīng)用于郵政編碼的識別、汽車牌照的識別以及個人成績單的識別。相對于印刷體數(shù)字識別,無約束手寫體的識別是模式識別領(lǐng)域的難點(diǎn),也是目前的一個研究熱點(diǎn)。近幾年來眾多學(xué)者對手寫體進(jìn)行了較多的研究,提出了多種算法,不過當(dāng)前運(yùn)用較好的主流算法還是以統(tǒng)計、神經(jīng)網(wǎng)絡(luò)、聚類分析的識別算法為主。
    神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的學(xué)習(xí)性和自適應(yīng)性,對于解決目標(biāo)識別和模式分類具有較大的潛力。其中BP模型被廣泛地應(yīng)用于模式分類、模式識別等方面,但BP算法收斂速度慢,且很容易陷入局部極小點(diǎn)。遺傳算法具有并行搜索、效率高、不存在局部收斂問題等優(yōu)點(diǎn)而被廣泛應(yīng)用。然而傳統(tǒng)的遺傳算法帶有一定程度的隨機(jī)性和盲從性,且有過早收斂的現(xiàn)象。為了克服遺傳算法的這些缺點(diǎn),本文采用正交遺傳算法,克服了初始種群的盲目性,并對選擇過程做了改進(jìn),不再單純地淘汰劣勢個體,以保證種群的多樣性。最后,本文將改進(jìn)的遺傳算法應(yīng)用到BP網(wǎng)絡(luò)中,提出遺傳BP神經(jīng)網(wǎng)絡(luò),通過遺傳算法的全局優(yōu)化能力提高BP神經(jīng)網(wǎng)絡(luò)對手寫數(shù)字樣本訓(xùn)練的速度。
1 BP神經(jīng)網(wǎng)絡(luò)
    BP網(wǎng)絡(luò)是一種典型的前向神經(jīng)網(wǎng)絡(luò),主要由輸入層、隱含層、輸出層組成,它的基本結(jié)構(gòu)如圖1所示。隱含層可以是單層或多層。每一層由一個或者多個節(jié)點(diǎn)組成,同一層的節(jié)點(diǎn)之間沒有連接,而層與層之間的節(jié)點(diǎn)是全連接的,即每一層的節(jié)點(diǎn)與前面一層的所有節(jié)點(diǎn)都有連接。
    BP網(wǎng)絡(luò)的核心是BP算法,BP算法由兩部分組成:信息的正向傳遞和誤差的反向傳播。在正向傳播中,輸入信息從輸入層經(jīng)隱含層逐層計算傳向輸出層,每一層的輸出作用于下一層神經(jīng)元(即為圖中的節(jié)點(diǎn))的輸入。如果在輸出層沒有得到期望的輸出,則計算輸出層的誤差變化值,然后轉(zhuǎn)向反向傳播,通過網(wǎng)絡(luò)將誤差信號沿原來的連接通路反傳回來,修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo)。
    雖然BP網(wǎng)絡(luò)得到了廣泛的應(yīng)用,但它也存在一些自身的不足和限制,例如訓(xùn)練時間較長、容易陷入局部最小值等[1]。
2 改進(jìn)的遺傳算法
    遺傳算法的操作內(nèi)容主要有種群初始化操作、選擇操作、交叉操作、變異操作。
2.1 種群的初始化
    對于沒有先驗(yàn)知識的優(yōu)化問題,傳統(tǒng)遺傳算法的初始種群一般采取完全隨機(jī)的方法產(chǎn)生,這樣選出的初始群體帶有一定的盲目性,也很難選出具有代表性的群體。本文采用正交化設(shè)計方法來初始化種群,利用正交設(shè)計所選的樣本組合能夠很好地代表所有可能的組合并且正交設(shè)計在數(shù)值優(yōu)化方面已經(jīng)被證明具有很好的搜索能力[2],這樣獲得的初始種群更具有魯棒性和統(tǒng)計合理性。


 

 

    表1所示為兩種算法的性能比較,從中可以明顯地看出改進(jìn)的遺傳-BP算法比單純的BP算法具有更快的訓(xùn)練速度。而手寫數(shù)字的識別精度很大程度上取決于訓(xùn)練樣本的數(shù)量,因此,提高大量樣本的訓(xùn)練速度對手寫數(shù)字識別具有重要的意義。

    本文針對BP網(wǎng)絡(luò)訓(xùn)練大量數(shù)據(jù)時,訓(xùn)練時間長、易陷入局部最優(yōu)等問題,提出將BP網(wǎng)絡(luò)與遺傳算法相結(jié)合,并用改進(jìn)的遺傳算法來克服傳統(tǒng)遺傳算法收斂速度慢的缺點(diǎn),通過計算正交設(shè)計矩陣來提高初始種群的質(zhì)量,有效地增強(qiáng)了算法的穩(wěn)定性和全局搜索能力,也說明了此算法具有廣泛的應(yīng)用價值。
參考文獻(xiàn)
[1] 叢爽.神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)及其在運(yùn)動控制中的應(yīng)用[M].合肥:中國科學(xué)技術(shù)大學(xué)出版社,2001.
[2] LEUNG Y W,WANG Y P.An orthogonal genetic algorithm with quantization for global numerical optimization[J].IEEE Trans.on Evolutionary Computation,2001,5(1):41-53.
[3] 王宇平.進(jìn)化計算的理論和方法[M].北京:科學(xué)出版社,2011.
[4] 王小平,曹立明.遺傳算法——理論、應(yīng)用與軟件實(shí)現(xiàn)[M].西安:西安交通大學(xué)出版社,2004.

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。