在機器學(xué)習(xí)和KDD領(lǐng)域,事物的屬性和屬性取值反映了事物的本質(zhì)和度量，為了描述一致，統(tǒng)稱為模式特征。在傳統(tǒng)文獻中，模式特征一般分為物理特征、結(jié)構(gòu)特征和數(shù)學(xué)特征^[1～2]。物理特征和結(jié)構(gòu)特征容易被人類感官所接受，便于直接識別對象。在人工智能領(lǐng)域，物理特征和結(jié)構(gòu)特征以數(shù)學(xué)特征的形式表現(xiàn)出來，特征提取" title="特征提取">特征提取主要指特征數(shù)據(jù)的處理方法和過程。廣義上的特征提取按屬性數(shù)據(jù)的處理方式分為特征直接提取和間接提取，又稱為特征選擇和特征變換。
　　(1)直接提取(特征選擇)：設(shè)原始特征集合為U_n={A₁,A₂,…，A_n},直接提取即從U_n中挑選出有利于分類的特征子集：
　　其中，d＜n,U_dU_n，特征空間的維數(shù)得到了壓縮。
　　(2)間接提取(特征變換)：通過映射或變換的方法，把高維空間U_n的高維特征轉(zhuǎn)化為低維空間U_d的低維特征： T_e:U_nd
　　其中，d≤n，在特征空間變換過程中，特征維數(shù)得到了壓縮，但是壓縮的前提是保證樣本的分類性質(zhì)保持不變。T_e可以采用線性或者非線性變換模型。
　　特征選擇的主要算法包括枚舉法、分支定界搜索法、逐個特征比較法等啟發(fā)式方法^[3]。在實際運算時，啟發(fā)式算法" title="啟發(fā)式算法">啟發(fā)式算法無論采用深度優(yōu)先或者廣度優(yōu)先，過程控制都非常復(fù)雜，且對噪音的處理非常不方便。從本質(zhì)上講，任何啟發(fā)式算法都是一種局部尋優(yōu)方法，所獲得的解通常不是最優(yōu)解，同時難于發(fā)現(xiàn)多個最優(yōu)解或滿意解^[4～5]。另外，啟發(fā)式算法的求解結(jié)果對噪音比較敏感，影響了特征子集的魯棒性和適應(yīng)性。
　　在概念學(xué)習(xí)或者更為廣泛的模式識別領(lǐng)域，特征提取是一個非常復(fù)雜的問題，所表示的模型求解基本上是NP類問題^[6～7]，一般需要綜合考慮分類錯誤、特征簡單性和計算時間資源等因素。
　　傳統(tǒng)的特征提取方法通常采用線性變換,使得判別準則函數(shù)最大或者最小(熵函數(shù)和類內(nèi)類間距離函數(shù)是經(jīng)常采用的兩個準則函數(shù),^[1]),即
　　Y=A*X
　　其中,A*為d×n維的變換矩陣,將n維特征的原始樣本空間X變換為d維特征的樣本空間。這就是傳統(tǒng)特征提取的統(tǒng)計與代數(shù)方法。在這兩種方法中存在著強烈的統(tǒng)計假設(shè)和矩陣非奇異假設(shè)，而在實際環(huán)境中，這些要求很難得到滿足。對于大規(guī)模的實際問題，通常采用專家干預(yù)的方法進行調(diào)整，使得計算過程變得非常繁瑣，導(dǎo)致這兩類方法的實用性受到很大的限制。尤其是面對非線性可分的樣本空間時，傳統(tǒng)的統(tǒng)計與代數(shù)方法顯得更加無能為力，難以實現(xiàn)分類模式的獲取。因此許多專家提出了各種各樣的非線性特征提取方法，例如基于K-L展開式的KLT方法^[1]、神經(jīng)網(wǎng)絡(luò)方法^[8]、小波分析^[9]等。KLT是最小均方誤差準則下的最佳K-L變換方法，不受樣本分布性質(zhì)的限制，但是不存在快速算法，計算量是維數(shù)的指數(shù)函數(shù)，當維數(shù)比較高時，計算量難以承受。在實際中經(jīng)常采用傅立葉變換(DFT)或者離散沃爾什變換(DWT)等代替。這些變換均存在相應(yīng)的快速算法，但僅能得到次優(yōu)的結(jié)果。小波分析與KLT方法具有相同的特點，也存在類似的問題。
　　模式分類是神經(jīng)網(wǎng)絡(luò)的一個重要應(yīng)用領(lǐng)域，在輸入存在或數(shù)據(jù)不完整的情況下，神經(jīng)網(wǎng)絡(luò)也具有良好的分類能力^[10～12],特別是三層以上結(jié)構(gòu)的多層感知器系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型" title="網(wǎng)絡(luò)模型">網(wǎng)絡(luò)模型可以靈活地處理非線性可分問題。但是神經(jīng)網(wǎng)絡(luò)模型的求解算法不僅效率低，而且容易陷入局部極值點?；诖?，本文將神經(jīng)網(wǎng)絡(luò)的表示能力與ＧＡ的全局求解能力結(jié)合，用于非線性特征提取問題。
1 基于GA和神經(jīng)網(wǎng)絡(luò)的非線性特征變換算法
1.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置
　　根據(jù)神經(jīng)網(wǎng)絡(luò)理論，三層感知器可以形成任意復(fù)雜的決策區(qū)域^[8，11],對于特征提取來講，將第三層作為特征輸出層，并要求輸出二進制類型數(shù)據(jù)作為特征數(shù)據(jù)。網(wǎng)絡(luò)模型為：隱層節(jié)點的激勵函數(shù)選擇連續(xù)型Sigmoid函數(shù)f(x)=，輸出層節(jié)點的激勵函數(shù)選擇f(yk)=sgn()，(k=1,2…,d),輸出{-1,1},向量轉(zhuǎn)化為{0,1}作為新的特征向量。
1.2 GA方案安排
　　把GA應(yīng)用于實際問題時，首先需要解決編碼和適應(yīng)度函數(shù)的設(shè)計，然后是三個進化算子(選擇、交叉和變異算子)的設(shè)計，當然還有初始條件和收斂條件的設(shè)置，運行GA以求得問題的準最優(yōu)解。本文的遺傳算法" title="遺傳算法">遺傳算法應(yīng)用方案設(shè)計主要為以下步驟：
　　(1)編碼
　　在遺傳算法理論中有兩種主要的編碼方式：二進制編碼和實數(shù)編碼。二進制編碼進化的層次是基因，浮點數(shù)進化的層次是個體。大量的實驗結(jié)果表明：對同一優(yōu)化問題二進制編碼和實數(shù)編碼GA不存在明顯的性能差異。本文采用二進制編碼。
　　基于二進制的染色體位串由五部分組成：隱層節(jié)點數(shù)s₁:a₁a₂…a_(2n+1)；輸入節(jié)點到隱層節(jié)點的連接權(quán)重編碼s₂:b₁₁b₁₂…b_1nb₂₁b₂₂…b_2n…b_(2n+1)|b_(2n+1)2…b_(2n+1)n；隱層節(jié)點到輸出節(jié)點的連接權(quán)重編碼s₃:c₁₁c₁₂…c_1(2n+1)c₂₁c₂₂…c_2(2n+1)…c_d1c_d2…c_d(2n+1)；隱層節(jié)點激勵函數(shù)的閾值編碼s₄:d₁d₂…d_(2n+1)；輸出函數(shù)的閾值編碼s₅:e₁e₂…e_d。
　　將上述五個部分連接在一起就構(gòu)成了整個模型的編碼。其中連接權(quán)重和閾值編碼限定范圍是[－1，1]。
　　(2)適應(yīng)值函數(shù)
　　遺傳算法在搜索進化過程中一般不需要其他的外部信息，僅用適應(yīng)度來評價個體的優(yōu)劣，并以此作為遺傳操作的依據(jù)。設(shè)計一個好的適應(yīng)度函數(shù)對于遺傳算法的執(zhí)行效率和結(jié)果有著至關(guān)重要的影響，本文以熵函數(shù)(見式(1))為基礎(chǔ)，并考慮網(wǎng)絡(luò)結(jié)構(gòu)的簡單性，構(gòu)造出本算法的適應(yīng)值函數(shù)(式(2))。
　　

?

　　
　　其中α、β為熵函數(shù)值與神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)之間的平衡系數(shù)，第二項要求網(wǎng)絡(luò)中隱層節(jié)點數(shù)越少越好，第三項要求網(wǎng)絡(luò)中連接數(shù)越少越好，以提高網(wǎng)絡(luò)的穩(wěn)定性。
　　(3) 選擇
　　采用適應(yīng)度比例方法，并保留每一代的最佳個體。
　　(4) 交叉
　　交叉互換能產(chǎn)生不同于母體的后代，交叉的概率越高，群體中新結(jié)構(gòu)引入越快；如果交叉概率太低，收斂速度可能降低，導(dǎo)致搜索阻滯。在此，采用雙點交叉，交叉概率設(shè)置為0.6。
　　(5) 變異
　　變異操作是保持群體多樣性的有效手段。變異概率太小，可能是某些基因位過早丟失的信息無法恢復(fù)；變異概率過高，遺傳搜索將變成隨機搜索。在此，采用基本變異算子，變異概率設(shè)置為0.001。
　　(6) 種群規(guī)模
　　若種群規(guī)模過大，則適應(yīng)度評估次數(shù)增加，計算量增大；種群規(guī)模過小，可能會引起未成熟收斂現(xiàn)象。因此種群規(guī)模的設(shè)置應(yīng)該合理。在此，種群規(guī)模取為6000，最大繁殖代數(shù)(進化代數(shù))設(shè)置為500。
　　(7) 終止準則
　　任何算法設(shè)計的最后一步都要分析其收斂條件。在本文中算法執(zhí)行滿足下列條件之一時，算法終止：
　　·最大的適應(yīng)度值在連續(xù)四代之內(nèi)變化小于0.001,算法終止。
　　·上述條件不滿足時，算法執(zhí)行到最大進化代數(shù)時自動終止。
　　保證算法收斂的策略：采用杰出人才保持模型，即用每一代內(nèi)的最優(yōu)個體替代下一代內(nèi)的最差個體，從而使得算法完全收斂。
1.3 算法描述
　　網(wǎng)絡(luò)參數(shù)設(shè)置：輸入節(jié)點數(shù)n1=22,隱層節(jié)點數(shù)n2=45,輸出節(jié)點數(shù)d=13,輸入節(jié)點到隱層節(jié)點的連接數(shù)900,隱層節(jié)點到輸出節(jié)點的連接數(shù)580。
　　GA參數(shù)設(shè)置：位串長度Ｌ=12705,群體規(guī)模ｎ=6000，交叉概率pc=0.6,變異概率pm=0.001,進化代數(shù)為500，每個實數(shù)參數(shù)的二進制編碼長度設(shè)為8。
　　算法主要流程：
　　(1) 初始化：設(shè)置群體規(guī)模N=6000,進化代數(shù)G=500，交叉概率P_c=0.6和變異概率P_m=0.001，染色體長度chromlength=12705，隨機產(chǎn)生初始種群;
　　(2) 令G=1,進入循環(huán);
　　(3) 對30個個體進行解碼，代入神經(jīng)網(wǎng)絡(luò)模型，根據(jù)適應(yīng)值函數(shù)(見式(2))計算個體的適應(yīng)度;
　　(4) 進行遺傳操作：精英選擇、雙點交叉、基本變異；
　　(5) G=G+1,判斷是否滿足終止準則；
　　(6) 不滿足，轉(zhuǎn)到第(3)步；滿足，進化(循環(huán))終止,輸出最佳個體。
2 應(yīng)用實例
　　將上述方法應(yīng)用到一水輪發(fā)電機的仿真機上進行實踐。對原始數(shù)據(jù)表中的屬性進行特征抽取和變換,原始數(shù)據(jù)表(含12個屬性和3000行對應(yīng)的屬性值)數(shù)據(jù)量很大, 由于篇幅有限不予列出^[13], 屬性及其值域的表格如表1所示。

　　采用文中提出的方法提取的特征結(jié)果形式如表2所示，其中提取的特征屬性為溫度t、電流ｉ和電壓ｕ，對應(yīng)的屬性值為概括后的特征值(假設(shè)ｔ表示發(fā)電機的線圈溫度，i表示其定子電流，u表示定子電壓，s表示其工作狀態(tài))，t、i、u對應(yīng)的1表示正常，0表示異常；ｓ對應(yīng)的1表示正常狀態(tài)；2可表示異常狀態(tài)。為了測試本文算法，將其與傳統(tǒng)的貝葉斯方法進行比較，如表3、表4所示。
　　從上表實驗數(shù)據(jù)可以看出，經(jīng)過GA與神經(jīng)網(wǎng)絡(luò)的結(jié)合，二者的優(yōu)越性都得以發(fā)揮，學(xué)習(xí)誤差和預(yù)測誤差都有所下降，且運行時間減少；分類精度要高于傳統(tǒng)的貝葉斯統(tǒng)計方法20%左右,且學(xué)習(xí)誤差和預(yù)測誤差降低了將近50%。通過對比,可以看出GA-NN相結(jié)合進行的特征變換達到一般特征提取的精度要求，在相同的評價體系下，本文提出的算法是有效且可信的。

　　神經(jīng)網(wǎng)絡(luò)用于特征提取是一個規(guī)模非常龐大的優(yōu)化問題，系統(tǒng)結(jié)構(gòu)中含有大量的冗余節(jié)點和連接，獲得可行解的速度比較快，但是尋找最優(yōu)解需要長時間的進化和訓(xùn)練。為此采用了神經(jīng)網(wǎng)絡(luò)與遺傳算法相結(jié)合的混合算法進行特征提取，通過實驗驗證，效果較好。但是存在的不足是隨著特征數(shù)量和實例樣本量的增加，神經(jīng)網(wǎng)絡(luò)的GA求解的計算量將成指數(shù)增加，需要采用大型計算機或超級并行計算機。這對于其推廣應(yīng)用是一個嚴峻的挑戰(zhàn)。
參考文獻
1 傅京孫. 模式識別及其應(yīng)用. 北京：科學(xué)出版社，1983
2 沈 清，湯 霖.模式識別導(dǎo)論.長沙：國防科技出版社，1991
3 李金宗.模式識別導(dǎo)論.北京：高等教育出版社，1996:127
4 陳 彬，洪家榮，王亞東.最優(yōu)特征子集選擇問題.計算機學(xué)報，1997；20(2):133～138
5 錢國良，舒文豪，陳 彬.基于信息熵的特征子集選擇啟發(fā)式算法的研究.軟件學(xué),1998；9(12):911～916
6 Michalski,R.S., Teluci,G.Machine learning：a multi-strategy approach. San Francicso. CA:Morgan Kaufmann,1994；4
7 Jia rong. H.Inductive learning:algorithm,theory,application.Beijing: Science Publishing House of China,1997
8 鐘義信，潘新安，楊義先.智能理論與技術(shù)-人工智能與神經(jīng)網(wǎng)絡(luò).北京:人民郵電出版社，1992
9 Fionn Murtagh,Wedding the wavelet transformation and multivariate data analysis Journal of Classification,1998;(15):161～183
10 Brill,F.Z. Fast genetic selection of feature for neural network classififier.IEEE Transactions on Neural Networks,1992；3(2):324～328
11 Ripley,B.Pattern recognition and neural networks.New York:Cambridge Press,1996
12 Rudy Setiono,and Huan Liu.Neural Networks feature selector.Department of Information systems and Computer Science.National University of Singapore,1996
13 Zhang D G,Zhao H.Fuzzy-neural theory applied to electric fault fusion in monitoring system of hydropower plant[A].The 4th Information Fusion International Conference [C].Montreal:CM Press,2001.10