摘 要： 在SVM算法和sigmoid函數(shù)的基礎(chǔ)上，提出了一種字符識(shí)別自適應(yīng)學(xué)習(xí)算法，該算法通過(guò)自適應(yīng)修正sigmoid函數(shù)的參數(shù)，使sigmoid函數(shù)能夠較好地?cái)M合自適應(yīng)數(shù)據(jù)輸出距離的類(lèi)別后驗(yàn)概率分布，從而提高對(duì)自適應(yīng)數(shù)據(jù)的識(shí)別率。
關(guān)鍵詞： SVM sigmoid函數(shù)? 自適應(yīng)學(xué)習(xí)? 梯度下降法
手寫(xiě)字符的一個(gè)突出特點(diǎn)就是模式具有較大的變化性，表現(xiàn)為模式空間的類(lèi)內(nèi)分布過(guò)于分散，類(lèi)間交疊嚴(yán)重，這使得識(shí)別模型無(wú)法“恰當(dāng)”地?cái)M合每類(lèi)模式的數(shù)據(jù)分布或類(lèi)別之間的判別面。在識(shí)別模型過(guò)程中，通過(guò)自適應(yīng)學(xué)習(xí)就能較好地?cái)M合特定書(shū)寫(xiě)者筆跡特征向量的空間分布，從而有利于識(shí)別率的提高。當(dāng)然，自適應(yīng)學(xué)習(xí)的結(jié)果只是提高了對(duì)特定書(shū)寫(xiě)者的識(shí)別率，但通過(guò)為不同人的筆跡特征向量提供不同的識(shí)別模型，就能夠從總體上提高系統(tǒng)的識(shí)別率。
任何一種自適應(yīng)學(xué)習(xí)算法都基于一定的識(shí)別方法。從目前已有的文獻(xiàn)來(lái)看，大致有以下幾種自適應(yīng)學(xué)習(xí)所依據(jù)的識(shí)別方法：HMMs(Hidden Markov Models)，ANNs(Artificial Neural Networks)，PDNNs(Probabilistic Decision-based Neural Networks)，子空間法(Local Subspace)以及模板匹配法(Template Matching)等。這些識(shí)別方法可以分為分布擬合法(HMMs，PDNNs，LS，TM)和判別決策法(ANN)；前者僅學(xué)習(xí)每一類(lèi)的正例，而不學(xué)習(xí)反例，而后者是同時(shí)學(xué)習(xí)正例和反例。顯然，在模型的一致性上，判別決策法要好于分布擬合法。
根據(jù)這種思想，本文提出了一種基于SVM分類(lèi)算法" title="分類(lèi)算法">分類(lèi)算法和sigmoid函數(shù)的自適應(yīng)學(xué)習(xí)算法。SVM分類(lèi)算法是一種判別決策方法，在很多識(shí)別問(wèn)題中都獲得了很好的實(shí)驗(yàn)結(jié)果，SVM分類(lèi)算法的輸出為距離，參數(shù)化" title="參數(shù)化">參數(shù)化的sigmoid函數(shù)擬合SVM輸出距離的類(lèi)別后驗(yàn)概率分布，使SVM的距離輸出變換為概率輸出。本文提出的算法基于這種概率化方法，通過(guò)自適應(yīng)學(xué)習(xí)，修改sigmoid參數(shù)，使sigmoid函數(shù)能夠較好地?cái)M合自適應(yīng)數(shù)據(jù)輸出距離的類(lèi)別后驗(yàn)概率分布。由于輸出距離是基于兩類(lèi)別的判別面的" title="面的">面的，因此輸出距離的類(lèi)別后驗(yàn)概率分布就同時(shí)學(xué)習(xí)了正例和反例。
本文以手寫(xiě)數(shù)字為實(shí)驗(yàn)對(duì)象，對(duì)上文提出的自適應(yīng)學(xué)習(xí)算法進(jìn)行了有效性驗(yàn)證。
1 SVM算法及sigmoid函數(shù)
1.1 SVM分類(lèi)學(xué)習(xí)算法
給定訓(xùn)練集合D1，它包含l個(gè)訓(xùn)練數(shù)據(jù)(x1，y1)，(x2，y2)，……(xl，yl，)，xi∈Rn，yi∈{-1，1}，SVM分類(lèi)算法要求解下面的有約束的優(yōu)化問(wèn)題：
1.2 sigmoid函數(shù)
本文采用的方法，即利用參數(shù)化的sigmoid函數(shù)擬合SVM分類(lèi)決策函數(shù)的輸出距離的類(lèi)別后驗(yàn)概率分布，使其距離輸出變?yōu)楦怕瘦敵?。參?shù)化的sigmoid函數(shù)為：
1.3 求解A，B
為了避免求出的參數(shù)A，B值的偏移性，應(yīng)利用不同于訓(xùn)練集D1的數(shù)據(jù)集D2求解A，B的值。D2={(x1，y1)，(x2，y2)，……(xm，ym)}，xi∈Rn，yi∈{-1，1}，。將D2中的所有數(shù)據(jù)代入" title="代入">代入到(6)、(7)式中，求解A，B以求出(7)式的極小值問(wèn)題。
2 基于SVM和sigmoid函數(shù)的自適應(yīng)學(xué)習(xí)算法
2.1 多類(lèi)別分類(lèi)器" title="分類(lèi)器">分類(lèi)器設(shè)計(jì)方法
本文依據(jù)所述SVM算法和one-verse-one原則設(shè)計(jì)多類(lèi)別的分類(lèi)器。設(shè)類(lèi)別數(shù)是n，則共有n＊(n-1)/2個(gè)分類(lèi)器，每個(gè)分類(lèi)器的參數(shù)依次是權(quán)值Wi，j，bi，j，Ai，j和Bi，j，i，j=1，2，……n，i＜j。
2.2 概率輸出下的多類(lèi)別決策
概率輸出下的多類(lèi)別決策規(guī)則是：設(shè)有未知類(lèi)別數(shù)據(jù)x，將其代入（6）式中有：
依據(jù)投票法原則，若p(x)＞0.5，第i類(lèi)得到1票；若p(x)＜0.5，第j類(lèi)得到1票；若p(x)=0.5，不投票。當(dāng)依次計(jì)算完n*(n-1)/2個(gè)概率值p之后，得到票數(shù)最多的類(lèi)別被判別為數(shù)據(jù)x所屬的類(lèi)別。
2.3 自適應(yīng)學(xué)習(xí)算法
本文的自適應(yīng)學(xué)習(xí)算法的核心在于通過(guò)自適應(yīng)數(shù)據(jù)中的誤識(shí)樣本，對(duì)參數(shù)Ai，j，Bi，j進(jìn)行自適應(yīng)修正。
Aold，Bold是自適應(yīng)修正前的參數(shù)值，Anew，Bnew是自適應(yīng)修正后的參數(shù)值。
3 實(shí)驗(yàn)結(jié)果
3.1 預(yù)處理及特征提取
本文以0～9十個(gè)數(shù)字作實(shí)驗(yàn)。預(yù)處理及特征提取的步驟如下：
(1)首先將二值圖像作非線性歸一化，歸一化的尺寸為64*64的方陣。
(2)在非線性歸一化后的圖像上提取輪廓。
(3)對(duì)輪廓圖像提取DEF(Directional Element Feature)特征，特征的維數(shù)是1024。
(4)對(duì)1024維特征作K-L變換，特征維數(shù)壓縮到128維。
3.2 實(shí)驗(yàn)結(jié)果
本實(shí)驗(yàn)的樣本情況為：自行收集樣本，平均每個(gè)數(shù)字145個(gè)樣本，其中90個(gè)樣本用來(lái)學(xué)習(xí)判別面的參數(shù)W和b，設(shè)C=1000，kernel設(shè)為線性，采用的軟件是LIBSVM；其余的55個(gè)樣本用來(lái)學(xué)習(xí)參數(shù)A，B。在自適應(yīng)學(xué)習(xí)和測(cè)試階段，共收集了5個(gè)人的樣本，每個(gè)人平均每個(gè)數(shù)字的樣本數(shù)為35個(gè)。表1顯示了自適應(yīng)學(xué)習(xí)的結(jié)果。
本實(shí)驗(yàn)只測(cè)試了線性核的識(shí)別情況。從表中的統(tǒng)計(jì)結(jié)果可以看出，概率輸出本身就能夠提高識(shí)別率；在采用了本文提出的自適應(yīng)學(xué)習(xí)算法之后，識(shí)別率得到了進(jìn)一步的提高，平均達(dá)到94.5%，比常規(guī)SVM方法提高了5.1%。同時(shí)，學(xué)習(xí)算法中的步長(zhǎng)η對(duì)識(shí)別率也有一定程度的影響，步長(zhǎng)為0.1的識(shí)別率要高于步長(zhǎng)為0.2的識(shí)別率。
本文基于SVM和sigmoid函數(shù)，提出了一種字符識(shí)別自適應(yīng)學(xué)習(xí)算法。本算法相對(duì)于基于HMMs，ANNs，PDNNs，模板匹配，子空間法等識(shí)別方法的自適應(yīng)學(xué)習(xí)算法，是一種新的自適應(yīng)學(xué)習(xí)算法，具有推廣能力好和模型一致性好等特點(diǎn)。今后的研究方向在于設(shè)計(jì)能夠更好地適應(yīng)自適應(yīng)學(xué)習(xí)數(shù)據(jù)的參數(shù)A、B的自適應(yīng)學(xué)習(xí)算法，尋求更合適的擬合距離類(lèi)別后驗(yàn)概率分布的函數(shù)及判別函數(shù)本身的參數(shù)W、b的自適應(yīng)學(xué)習(xí)算法。
參考文獻(xiàn)
1 Cortes C，Vapnic V.Support vector networks.Machine Learn-ing，1995；(20)273-297