文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.2017.07.031
中文引用格式: 肖玉玲,仵征,朱煜. 結(jié)合分塊模糊熵和隨機(jī)森林的圖像分類(lèi)方法[J].電子技術(shù)應(yīng)用,2017,43(7):122-126.
英文引用格式: Xiao Yuling,Wu Zheng,Zhu Yu. An image classification method combing with blocked fuzzy entropy and random forest[J].Application of Electronic Technique,2017,43(7):122-126.
0 引言
圖像分類(lèi)是計(jì)算機(jī)視覺(jué)領(lǐng)域的基礎(chǔ)研究課題之一,在自動(dòng)化、人工智能等領(lǐng)域應(yīng)用廣泛[1-3]。圖像分類(lèi)的關(guān)鍵是提取具有顯著性和穩(wěn)健性的圖像特征,近些年在圖像分類(lèi)領(lǐng)域涌現(xiàn)出了很多有意義的圖像描述方法[4-6]。其中,灰度共現(xiàn)矩陣(Gray-Level Co-occurrence Matrices,GLCMs)是經(jīng)典的圖像描述方法,通過(guò)量化相鄰像素點(diǎn)之間的空間灰度分布來(lái)有效表征圖像的紋理特性,實(shí)現(xiàn)不同紋理圖像的分類(lèi)[7-9]。在此基礎(chǔ)上,文獻(xiàn)[10]依據(jù)自然圖像視為不確定性,提出了一種模糊暈矩陣(Fuzzy Aura Matrices,F(xiàn)AMs)的概念,描述圖像中各鄰居像素的空間相關(guān)屬性。文獻(xiàn)[11]提出了一種稀疏分布的局部梯度融合特征(Sparse Distributed Localized Gradient Fused Features,SDLGFFs),提取圖像的局部梯度特征,并融合構(gòu)建多稀疏分布特征。文獻(xiàn)[12]提出了一種近似Fisher核(Approximate Fisher Kernels,AFKs)特征,對(duì)詞袋(Bag-of-Words,BoWs)模型進(jìn)行擴(kuò)展,提取圖像局部特征描述子,實(shí)現(xiàn)不同圖像的分類(lèi)。為進(jìn)一步提高圖像分類(lèi)性能,本文提出一種結(jié)合分塊模糊熵和隨機(jī)森林的圖像分類(lèi)方法,思路是將圖像內(nèi)容的不確定性看作一個(gè)隨機(jī)過(guò)程,采用分塊模糊熵特征來(lái)描述圖像,并結(jié)合隨機(jī)森林學(xué)習(xí)方法實(shí)現(xiàn)特征的訓(xùn)練與分類(lèi),完成圖像分類(lèi)目標(biāo)。
1 本文方法
本文方法的實(shí)現(xiàn)流程如圖1所示。首先,將圖像劃分為多個(gè)圖像子塊;然后,對(duì)每一個(gè)圖像子塊進(jìn)行模糊c均值聚類(lèi),提取模糊熵特征;接著,通過(guò)歸一化處理,得到圖像的模糊熵特征向量;最后,構(gòu)造隨機(jī)森林分類(lèi)器,實(shí)現(xiàn)模糊熵特征向量的分類(lèi)。
1.1 圖像分塊
考慮到圖像光照不均勻或者不同區(qū)域圖像紋理差異大的因素,將輸入的圖像劃分為多個(gè)圖像子塊,先將整幅圖像作為圖像子塊b1,用于表征圖像的整體特性。然后,將圖像分別在水平和垂直方向上進(jìn)行二等分,得到4個(gè)互不重疊的圖像子塊,分別記為b2~b5。接著,對(duì)圖像子塊b2~b5再在水平和垂直方向上分別進(jìn)行二等分,得到16個(gè)圖像子塊,記為b6~b21。最后,對(duì)這16個(gè)圖像子塊再進(jìn)行水平和垂直方向上的二等分,得到64個(gè)圖像子塊,記為b22~b85。這樣,一幅圖像共分為85個(gè)圖像子塊,在這些圖像子塊上提取特征,不僅可以描述圖像的全局屬性,還可以描述圖像在不同區(qū)塊的局部屬性。具體的特征提取方法將在下一節(jié)詳述。
1.2 模糊c均值聚類(lèi)
對(duì)于每一個(gè)圖像子塊X,本文擬提取其模糊熵特征,作為圖像子塊的特征表述。而理論上,如果圖像未被噪聲污染,圖像本身并不具有隨機(jī)性,不易采用模糊熵進(jìn)行描述。但是,對(duì)實(shí)際圖像而言,其空間信息或者外觀屬性都存在一些內(nèi)在的不確定性。當(dāng)用圖像的直方圖作為一個(gè)概率密度函數(shù)來(lái)描述圖像中某一灰度級(jí)出現(xiàn)的可能性時(shí),可以將圖像看作是一個(gè)隨機(jī)過(guò)程。在許多圖像中,表示不同物體的像素可能存在相似的灰度值。換言之,圖像目標(biāo)的描述是模糊和不確定的。按照上述分析,由于無(wú)法精確描述圖像的內(nèi)容,因此圖像存在不確定性。這一不確定性可以采用不同圖像內(nèi)容塊的模糊熵來(lái)描述,為此需要先對(duì)圖像空間進(jìn)行分割,劃分出不同的圖像內(nèi)容塊。本文采用模糊c均值聚類(lèi)算法[13]來(lái)進(jìn)行圖像分割,描述如下。
該目標(biāo)函數(shù)JF(U,V)可以看作是一個(gè)均方誤差聚類(lèi)準(zhǔn)則,可以通過(guò)迭代更新U和V來(lái)實(shí)現(xiàn)目標(biāo)函數(shù)的最小化,更新方程為:
因此,給定c個(gè)模糊聚類(lèi)中心,可以將圖像中的所有像素聚類(lèi)到c個(gè)類(lèi)中。換言之,模糊聚類(lèi)分析可以依據(jù)模糊類(lèi)的不精確信息構(gòu)造圖像的不確定模型。
1.3 模糊熵提取
對(duì)于c個(gè)模糊聚類(lèi)構(gòu)成的模糊集合A,依據(jù)香農(nóng)熵函數(shù),在第i個(gè)模糊聚類(lèi)中心上,對(duì)應(yīng)的模糊熵可以表示為:
其特征提取過(guò)程的偽代碼如下:
(1)初始化D0=0,m=1;
(2)選定模糊聚類(lèi)類(lèi)別數(shù)c,進(jìn)行模糊c均值聚類(lèi);
(3)while(1)
(4) Do
1.4 模糊熵歸一化
當(dāng)如圖2所示的85個(gè)圖像子塊的模糊熵都提取完畢之后,需要將模糊熵進(jìn)行歸一化處理,用于消除不同尺寸的圖像所求的模糊熵的尺度差異。
首先,計(jì)算所有模糊熵中值最大的熵,表示為:
1.5 隨機(jī)森林分類(lèi)
得到圖像的模糊熵特征向量之后,需要對(duì)特征進(jìn)行分類(lèi),以確定圖像的類(lèi)別??紤]到圖像的類(lèi)別一般都不少于兩個(gè),本文采用隨機(jī)森林作為多類(lèi)分類(lèi)器,進(jìn)行圖像模糊熵特征向量的分類(lèi)。
隨機(jī)森林由多個(gè)決策樹(shù)構(gòu)成,可以看作是多個(gè)決策樹(shù)構(gòu)建的集成學(xué)習(xí)方法。在決策過(guò)程中,各個(gè)決策樹(shù)都會(huì)對(duì)輸入向量的預(yù)測(cè)結(jié)果進(jìn)行投票,然后取平均投票結(jié)果作為最終的預(yù)測(cè)結(jié)果。由于森林中的各個(gè)決策樹(shù)之間相互獨(dú)立,各決策樹(shù)可以獨(dú)立進(jìn)行學(xué)習(xí)和分類(lèi),因此隨機(jī)森林學(xué)習(xí)方法的效率很高[14-15]。
隨機(jī)森林中各個(gè)決策樹(shù)的基本分類(lèi)單元是決策節(jié)點(diǎn),決策樹(shù)上的每一個(gè)決策節(jié)點(diǎn)都對(duì)應(yīng)一個(gè)決策函數(shù),決策函數(shù)對(duì)到達(dá)該決策節(jié)點(diǎn)的特征向量Y進(jìn)行判決,判斷是將其劃分到該決策節(jié)點(diǎn)的左子樹(shù)還是右子樹(shù)。依此類(lèi)推,直至到達(dá)決策樹(shù)的葉節(jié)點(diǎn)。具體地,對(duì)于決策樹(shù)中的第n個(gè)決策節(jié)點(diǎn),對(duì)應(yīng)的決策函數(shù)記為fn,該決策函數(shù)為二元函數(shù),可以表示為:
其中,C為目標(biāo)的類(lèi)別數(shù)。
在訓(xùn)練過(guò)程中,對(duì)于訓(xùn)練數(shù)據(jù)集中各個(gè)圖像的模糊熵特征向量,訓(xùn)練一個(gè)隨機(jī)森林分類(lèi)器。該訓(xùn)練過(guò)程是一個(gè)迭代過(guò)程,其終止條件是:到達(dá)節(jié)點(diǎn)的訓(xùn)練樣本數(shù)量小于設(shè)定閾值NS。此時(shí),該節(jié)點(diǎn)為葉節(jié)點(diǎn),不再劃分左子樹(shù)和右子樹(shù)。葉節(jié)點(diǎn)具有預(yù)測(cè)功能,可以實(shí)現(xiàn)數(shù)據(jù)的分類(lèi)。在本文中,NS取值為10。
2 仿真實(shí)驗(yàn)
2.1 實(shí)驗(yàn)說(shuō)明
為評(píng)價(jià)本文方法性能,將本文方法(Blocked Fuzzy Entropy and Random Forest,BFEaRF)與近些年圖像分類(lèi)領(lǐng)域常用的3種方法(FAMs[10]、SDLGFFs[11]、AFKs[12])進(jìn)行對(duì)比實(shí)驗(yàn),定量評(píng)價(jià)本文方法相對(duì)于其他3種方法的性能。
實(shí)驗(yàn)數(shù)據(jù)集選用國(guó)際上通用的COIL-100和PVOC-2007兩個(gè)數(shù)據(jù)集,簡(jiǎn)要說(shuō)明見(jiàn)表1。
本文在進(jìn)行仿真實(shí)驗(yàn)時(shí),采用4種方法分別進(jìn)行訓(xùn)練和測(cè)試,每一種方法都分別在COIL-100和PVOC-2007兩個(gè)數(shù)據(jù)集上單獨(dú)進(jìn)行訓(xùn)練和測(cè)試。
圖像分類(lèi)的性能評(píng)價(jià)指標(biāo)有兩個(gè):錯(cuò)分率、分類(lèi)耗時(shí)。前者用于評(píng)價(jià)圖像分類(lèi)算法的分類(lèi)結(jié)果,后者用于評(píng)價(jià)圖像分類(lèi)算法的分類(lèi)效率。
記RE為錯(cuò)分率,定義為:
分類(lèi)耗時(shí)是指從輸入一幅圖像開(kāi)始到輸出圖像類(lèi)別為止所耗費(fèi)的時(shí)間。本文統(tǒng)計(jì)的是每一個(gè)數(shù)據(jù)集上所有測(cè)試圖像的分類(lèi)耗時(shí)的平均值。其中,考慮到算法運(yùn)算效率與計(jì)算機(jī)平臺(tái)有關(guān),故本文實(shí)驗(yàn)所對(duì)比的4種方法都是在相同的計(jì)算機(jī)平臺(tái)上進(jìn)行的,計(jì)算機(jī)平臺(tái)性能為:四核3.2 GHz CPU;16 GB RAM。
2.2 參數(shù)優(yōu)選
本文方法未賦值參數(shù)有兩個(gè):模糊類(lèi)別數(shù)c和模糊權(quán)重q。這兩個(gè)參數(shù)針對(duì)不同應(yīng)用(如圖像分割和圖像分類(lèi))的取值差異較大,本文針對(duì)圖像分類(lèi)的實(shí)驗(yàn)結(jié)果選取最優(yōu)參數(shù)。圖2給出了參數(shù)c不同時(shí)本文方法在COIL-100數(shù)據(jù)集下的錯(cuò)分率指標(biāo),其中q=3。由圖2可見(jiàn),當(dāng)模糊類(lèi)別數(shù)c=4時(shí)對(duì)應(yīng)的錯(cuò)分率最小。故本文取c=4。
圖3給出了參數(shù)q不同時(shí)本文方法在COIL-100數(shù)據(jù)集下的錯(cuò)分率指標(biāo),其中c=4??梢?jiàn),當(dāng)q=3時(shí)對(duì)應(yīng)的錯(cuò)分率最小,故本文取q=3。
2.3 性能對(duì)比
圖4給出了4種方法在兩個(gè)數(shù)據(jù)集下的錯(cuò)分率對(duì)比結(jié)果。由圖4可見(jiàn),本文方法在兩個(gè)數(shù)據(jù)集下的錯(cuò)分率指標(biāo)都是4種方法中最低的。這說(shuō)明,采用本文方法進(jìn)行圖像分類(lèi)時(shí)錯(cuò)分的圖像數(shù)量少。
表2給出了4種方法在兩個(gè)數(shù)據(jù)集下的分類(lèi)耗時(shí)對(duì)比結(jié)果。可見(jiàn),本文方法的分類(lèi)耗時(shí)指標(biāo)略高于文獻(xiàn)[10]所述方法,但低于其他兩種方法。由圖4可見(jiàn),本文方法的錯(cuò)分率指標(biāo)與文獻(xiàn)[10]所述方法相比優(yōu)勢(shì)明顯。綜合考慮分類(lèi)耗時(shí)和錯(cuò)分率兩個(gè)指標(biāo)來(lái)看,本文方法的圖像分類(lèi)性能優(yōu)于其他3種方法。
3 結(jié)束語(yǔ)
本文提出了一種結(jié)合分塊模糊熵和隨機(jī)森林的圖像分類(lèi)方法,目標(biāo)是提高圖像分類(lèi)性能。設(shè)計(jì)思想是:以圖像內(nèi)容的不確定性描述為研究對(duì)象,采用分塊模糊熵表征圖像全局和局部的不確定內(nèi)容特征,再結(jié)合隨機(jī)森林學(xué)習(xí)方法構(gòu)建多類(lèi)目標(biāo)分類(lèi)器,實(shí)現(xiàn)不同圖像類(lèi)別的分類(lèi)。通過(guò)在國(guó)際上公開(kāi)的兩個(gè)數(shù)據(jù)集(COIL-100和PVOC-2007)上進(jìn)行仿真實(shí)驗(yàn)。結(jié)果表明,采用本文方法進(jìn)行圖像分類(lèi)可以降低圖像分類(lèi)過(guò)程的錯(cuò)分率,同時(shí)分類(lèi)耗時(shí)較少,是一種有效的圖像分類(lèi)方法。
參考文獻(xiàn)
[1] HUANG M,MU Z,ZENG H.Efficient image classification via sparse coding spatial pyramid matching representation of SIFT-WCS-LTP feature[J].Iet Image Processing,2016,10(1):61-67.
[2] 張晶,馮林,王樂(lè),等.MapReduce框架下的實(shí)時(shí)大數(shù)據(jù)圖像分類(lèi)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2014,26(8):1263-1271.
[3] CHEN H,LIU G,ZHANG L.Semi-supervised image classification based on sparse coding spatial pyramid matching[C].International Conference on Internet Multimedia Computing & Service.ACM,2013:273-276.
[4] NI H,GUO Z,HUANG B.Patent image classification using local-constrained linear coding and spatial pyramid matching[C].International Conference on Service Science.IEEE,2015:28-31.
[5] 呂啟,竇勇,牛新,等.基于DBN模型的遙感圖像分類(lèi)[J].計(jì)算機(jī)研究與發(fā)展,2014,51(9):1911-1918.
[6] 趙仲秋,季海峰,高雋,等.基于稀疏編碼多尺度空間潛在語(yǔ)義分析的圖像分類(lèi)[J].計(jì)算機(jī)學(xué)報(bào),2014,37(6):1251-1260.
[7] MANIVANNAN K,AGGARWAL P,DEVABHAKTUNI V,et al.Particulate matter characterization by gray level cooccurrence matrix based support vector machines[J].Journal of Hazardous Materials,2012,223-224(2):94-103.
[8] WALAA.Content based medical image retrieval with texture content using gray level co-occurrence Matrix and K-Means clustering algorithms[J].Journal of Computer Science,2012,8(7):1070-1076.
[9] HU S,XU C,GUAN W,et al.Texture feature extraction based on wavelet transform and gray-level co-occurrence matrices applied to osteosarcoma diagnosis[J].Bio-Medical Materials and Engineering,2014,24(1):129-143.
[10] HAMMOUCHE K,LOSSON O,MACAIRE L.Fuzzy aura matrices for texture classification[J].Pattern Recognition,2015,53(c):212-228.
[11] SUDHAKARAN S,JAMES A P.Sparse distributed localized gradient fused features of objects[J].Pattern Recognition,2014,48(4):1538-1546.
[12] CINBIS R G,VERBEEK J,SCHMID C.Approximate Fisher Kernels of non-iid image models for image categorization[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2015,38(6):1084-1098.
[13] HAVENS T C,BEZDEK J C,LECKIE C,et al.Fuzzy c-Means algorithms for very large data[J].IEEE Transactions on Fuzzy Systems,2012,20(6):1130-1146.
[14] VENS C.Random forest[J].Encyclopedia of Systems Biology,2013,45(1):157-175.
[15] TOUW W G,BAYJANOV J R,OVERMARS L,et al.Data mining in the life sciences with random forest:a walk in the park or lost in the jungle?[J].Briefings in Bioinformatics,2012,14(3):315-326.
作者信息:
肖玉玲1,仵 征1,朱 煜2
(1.河南應(yīng)用技術(shù)職業(yè)學(xué)院 建筑工程學(xué)院,河南 鄭州450042;2.華東理工大學(xué) 信息科學(xué)與工程學(xué)院,上海210040)