《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 設計應用 > 基于深度集成學習的人臉智能反饋認知方法
基于深度集成學習的人臉智能反饋認知方法
2019年電子技術應用第5期
范葉平1,李 玉1,楊德勝1,萬 濤1,馬 冬1,李帷韜2
1.國網(wǎng)信通產(chǎn)業(yè)集團安徽繼遠軟件有限公司,安徽 合肥230088; 2.合肥工業(yè)大學 電氣與自動化工程學院,安徽 合肥230009
摘要: 人臉識別技術是深度學習的重要研究領域。為了克服傳統(tǒng)開環(huán)人臉認知模式以及深層神經(jīng)網(wǎng)絡結構的缺陷,模仿人類實時評測認知結果自尋優(yōu)調節(jié)特征空間和分類認知準則的認知模式,借鑒閉環(huán)控制理論思想,探索了一種基于深度集成學習的人臉智能反饋認知方法。首先,基于DEEPID網(wǎng)絡建立人臉圖像由全局到局部具有確定映射關系的非結構化特征空間;其次,基于特征可分性評測和變精度粗糙集理論,從信息論角度建立非結構化動態(tài)特征表征的人臉認知決策信息系統(tǒng)模型,以約減非結構化特征空間;再次,采用集成隨機權向量函數(shù)連接網(wǎng)絡,構建簡約非結構化特征空間的分類認知準則;最后,構建人臉認知結果熵測度指標,為人臉特征空間和分類認知準則的自尋優(yōu)調節(jié)機制提供量化依據(jù)。實驗結果表明,較已有方法,該方法有效地提高了人臉圖像的識別率。
中圖分類號: TP391.41;TP183
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.190084
中文引用格式: 范葉平,李玉,楊德勝,等. 基于深度集成學習的人臉智能反饋認知方法[J].電子技術應用,2019,45(5):5-8,13.
英文引用格式: Fan Yeping,Li Yu,Yang Desheng,et al. Research on intelligent face cognition method with deep ensemble learning and feedback mechanism[J]. Application of Electronic Technique,2019,45(5):5-8,13.
Research on intelligent face cognition method with deep ensemble learning and feedback mechanism
Fan Yeping1,Li Yu1,Yang Desheng1,Wan Tao1,Ma Dong1,Li Weitao2
1.State Grid Communication Industry Group CO.,LTD.,Anhui Jiyuan Software CO.,LTD.,Hefei 230088,China; 2.School of Electric Engineering and Automation,Hefei University of Technology,Hefei 230009,China
Abstract: Face recognition technology is an important research field for deep learning. In order to overcome the shortcomings of traditional open-loop face cognition mode and deep neural network structure, and to imitate human cognition model of real-time evaluation of cognitive results to self-optimized regulate feature space and classification cognition criteria, drawing on the theory of closed-loop control theory, this paper explores an intelligent face cognition method with deep ensemble learning and feedback mechanism. Firstly, based on the DEEPID neural network, an unstructured feature space of face images with a determined mapping relationship from the global to the local is established. Secondly, based on feature separability evaluation and variable precision rough set theory, a face cognition decision information system model with unstructured dynamic feature representation is established from the perspective of information theory, to reduce the unstructured feature space. Thirdly, the ensemble random vector functional-link net is used to construct the classification criterion of the reduced unstructured feature space. Finally, the face cognition result entropy measure index is constructed to provide a quantitative basis for the self-optimization adjustment mechanism of face feature space and classification cognition criteria. The experimental results show that the proposed method can effectively improve the recognition rate of face images compared with the existing methods.
Key words : face recognition;intelligent feedback;ensemble classifiers;entropy measurement

0 引言

    身份鑒別的可信與否制約著人員身份確認和終端信息訪問的可靠性,可以有效增強信息獲取的安全性。目前廣泛應用的身份鑒別技術包括密碼、指紋、掌紋和虹膜等[1-4]。然而,上述鑒別技術的性能易受環(huán)境、設備和性能的限制。與之相比,人臉識別作為一種身份鑒別技術,只需一個攝像頭即可獲取人臉圖像,是一種基于認知對象本質特性的模式識別算法,為人類的生活提供了廣闊的智能化應用前景。

    1888年GALTON F[5]等人首次基于人臉進行身份鑒別,在鑒別過程中雖然尚未涉及自動識別技術,但為人臉識別領域的發(fā)展奠定了前提條件。隨著信息化和網(wǎng)絡化技術的快速發(fā)展,當前在理想情況下,人臉識別的效果業(yè)已令人滿意。然而在實際現(xiàn)場應用中,識別的效果依然會受到諸如光照、姿勢、表情、遮擋物等外界因素的干擾。當前人臉識別技術主要采用基于幾何特征、基于模板匹配和基于神經(jīng)網(wǎng)絡3種方式。然而,特征具有層次性和多樣性,不同層次的特征代表了認知對象的不同分析層面,異構的特征則代表了不同的分析視角。如何獲取有確定映射關系的簡約人臉圖像特征,以適用于海量人臉圖像樣本尚需深入研究。

    近年來,隨著神經(jīng)網(wǎng)絡訓練算法的本質改變,以深度學習為代表的人工智能理論研究與應用受到了前所未有的關注。作為一種顯著的人臉識別深層神經(jīng)網(wǎng)絡,DEEPID融合了局部特征和全局特征,通過多個卷積層提取由淺到深的人臉非結構化特征[6],這與人類面向不同認知對象由全局到局部獲取分析認知信息的漸進認知模式保持一致。然而,目前的人臉識別模型均屬于開環(huán)認知模式,其特征空間和分類認知準則一旦構建不再更新,這與人類實時評測認知結果可信度、自尋優(yōu)調節(jié)特征空間和分類認知準則的思維存在顯著差異。因此,當面對奇異樣本或分類面附近的相似樣本時,傳統(tǒng)開環(huán)認知模型性能惡化。此外,深層神經(jīng)網(wǎng)絡中面向同一輸入的不同卷積核卷積操作必然會使得輸出特征空間冗余,softmax分類器泛化能力的不足也會影響學習模型的可達性和可信性。

    為了克服傳統(tǒng)開環(huán)人臉認知模式以及深層神經(jīng)網(wǎng)絡結構的缺陷,模仿人類實時評測認知結果自尋優(yōu)調節(jié)特征空間和分類認知準則的認知模式,借鑒閉環(huán)控制理論思想,本文探索了一種基于深度集成學習的人臉智能反饋認知方法。首先,基于DEEPID網(wǎng)絡建立人臉圖像由全局到局部具有確定映射關系的非結構化特征空間。其次,基于特征可分性評測和變精度粗糙集理論,從信息論角度建立非結構化動態(tài)特征表征的人臉認知決策信息系統(tǒng)模型,以約減非結構化特征空間。再次,采用集成隨機權向量函數(shù)連接網(wǎng)絡(Random Vector Functional-Link net,RVFL),構建簡約非結構化特征空間的分類認知準則。最后,構建人臉認知結果熵測度指標,為人臉特征空間和分類認知準則的自尋優(yōu)調節(jié)機制提供量化依據(jù)。實驗結果表明,本文所提出的方法較已有方法有效提高了人臉圖像的識別率。

1 基于深度集成學習的人臉智能反饋認知模型

    本文提出的人臉智能反饋認知模型包括設定層和驗證層兩層結構,采用信息交互模式實現(xiàn)人類實時評測認知結果反復推敲比對信息的認知模式,其結構和功能如圖1所示。

rgzn1-t1.gif

1.1 設定層

    設定層包括關鍵點檢測、人臉特征提取、認知信息系統(tǒng)建立、分類器設計等模塊。首先對訓練樣本庫中的人臉圖像進行關鍵點檢測,基于檢測得到的關鍵點將人臉圖像分割成多幅子圖像,繼而采用DEEPID網(wǎng)絡提取每幅子圖像的特征。特征可分性評測度量DEEPID網(wǎng)絡輸出特征圖的可區(qū)分能力以約減特征圖集合,變精度粗糙集理論所建立的訓練集認知決策信息系統(tǒng)約減簡約特征圖集合構建的全連接特征向量集合。將簡約特征空間送入集成RVFL分類器,可以獲取訓練人臉圖像樣本的認知結果,為校驗層提供特征空間和分類認知的構建準則。

1.2 驗證層

    驗證層包括關鍵點檢測、人臉特征獲取、匹配識別、結果獲取、熵測度等模塊?;谠O定層所提供的特征空間和分類認知建立準則,可以獲取特定認知精度條件下測試人臉圖像的認知結果,構建認知結果誤差語義熵測度指標量測人臉圖像認知結果的可信度,自尋優(yōu)反饋調節(jié)DEEPID網(wǎng)絡的特征空間及其分類認知準則,優(yōu)化認知海量人臉圖像。

2 基于深度集成學習的人臉智能反饋認知算法

2.1 基于DEEPID網(wǎng)絡的人臉特征提取

    在人臉定位和對齊處理操作后,通過關鍵點檢測將人臉圖像特征分散為多個局部特征,選取人臉圖像的10個位置分別采用3個尺度獲取30個不同部位的RGB圖像及其灰度圖。隨后將每一幅子圖像水平翻轉,將翻轉前后的圖像輸入至DEEPID網(wǎng)絡中。一個DEEPID網(wǎng)絡包括4個卷積層,其中第3個池化層的輸出與第4個卷積層的輸出連接后傳播至全連接層。每幅子圖像經(jīng)由DEEPID網(wǎng)絡可以得到一個160維特征向量,則每幅人臉圖像得到的全連接特征維數(shù)是160×60=9 600維[7]。特征維度過高會導致計算復雜度高,同時由于維數(shù)災現(xiàn)象可能會惡化性能,因此,在特征空間被送入模式分類器之前需要對其進行降維處理。

2.2 特征圖集合重構

    特征圖集合以不同的分析視角表征人臉,具有不同的可區(qū)分能力。聚類中心可以表征相似信息,因此,針對一幅人臉圖像的全體子圖像集合只存在局部差別的情況,采用聚類中心重構特征圖集合,以獲取更為泛化的人臉特征。

2.2.1 特征可分性度量

    特征可分性度量可以評估每個特征圖對人臉圖像的可區(qū)分能力,這里被引入以排序特征圖集合的可區(qū)分能力。設DEEPID網(wǎng)絡中第3個池化層和第4個卷積層的輸出特征圖集合為x={x1,…,xm},m為特征圖個數(shù),則特征圖xj=[xj,1,…,xj,n]T的特征可分性度量指標Qj可定義為:

rgzn1-gs1-2.gif

2.2.2 基于聚類的特征圖集合重構

rgzn1-gs3.gif

2.3 人臉認知決策信息系統(tǒng)

rgzn1-2.3-x1.gif

2.4 集成隨機權向量函數(shù)連接網(wǎng)絡

    針對softmax泛化能力不足的缺陷,采用集成RVFL分類器替代softmax分類器,以提高學習模型的泛化能力。在隱含層節(jié)點個數(shù)nb足夠大的前提條件下, RVFL可以任意逼近一個定義在緊集上的非線性映射:

rgzn1-gs4-5.gif

2.5 人臉認知結果熵測度指標

rgzn1-gs6-7.gif

2.6 特征空間和分類認知準則自優(yōu)化調節(jié)

    基于定義的人臉圖像不確定認知結果誤差語義熵測度指標可以評測人臉認知結果的可信度,若可信則輸出作為最終認知結果,否則自尋優(yōu)反饋調節(jié)k、β和L,更新特征空間和分類認知準則,實現(xiàn)人臉的優(yōu)化再認知。自優(yōu)化調節(jié)準則如下所示:

    (1)若φq的第w次認知結果的熵測度指標Hq,w≤Δ(Δ是認知誤差閾值),則表示參數(shù)集(kw、βw、Lw)最優(yōu)適用于當前人臉圖像,輸出認知結果作為最終結果。

    (2)若Hq,w>Δ,表示當前不確定認知結果粗略符合要求,交叉微調節(jié)參數(shù)集k、β和L更新待測樣本特征空間和分類認知準則,進行第w+1次反饋認知以獲取優(yōu)化認知結果:

    rgzn1-gs8-10.gif

其中,[·]是取整操作。若L調整至Lmax時仍無法滿足條件(1),則在[1,Lmax]中選取最佳認知結果所對應的Lopt

3 試驗結果與結果分析

3.1 試驗環(huán)境與數(shù)據(jù)獲取

    目前較為常用的人臉數(shù)據(jù)集有LFW、ORL、AR、YALE-B等,其中LFW人臉數(shù)據(jù)集包含5 000人共計13 000幅人臉圖像,本試驗從中隨機選取70%的人臉樣本作為訓練樣本集,其余30%的人臉樣本作為測試樣本集。部分LFW人臉圖像如圖2所示。本文采用Caffe框架訓練深層神經(jīng)網(wǎng)絡模型,將訓練數(shù)據(jù)集送入DEEPID網(wǎng)絡進行訓練。本文將認知誤差閾值Δ設定為0.85。k和β的搜索范圍分別設定為[1,100]和[0.5,1],此外,L和nb的范圍分別定義為[2,15](步長為1)和[100,1 000](步長為100)。所有試驗在Intel Core i5 CPU 3.0 GHz,16 GB內存,GTX1080Ti環(huán)境下運行。

rgzn1-t2.gif

3.2 試驗結果分析

    圖3給出了在某次試驗中測試樣本集的識別率關于L、β和k的變化曲線,其中每幅子圖像均是固定其中兩個參數(shù),調節(jié)另一個參數(shù)。從圖3可以看出,不是所有的基網(wǎng)絡集成個數(shù)都具有一致的泛化誤差。在β和k的某參數(shù)組合條件下,7個基網(wǎng)絡可以構建泛化能力強的學習模型。通過調節(jié)β可以控制不同認知精度的特征空間對不同人臉圖像樣本的適用程度。此外,隨著k的增加,簡約特征圖集合與原特征圖集合越相近,特征空間數(shù)據(jù)結構復雜度越大,計算速度變慢,而k越小則表明特征圖集合充分簡約,但可能會導致所需特征信息量不足,認知性能惡化。

rgzn1-t3.gif

    為進一步表明本文所提出的基于深度集成學習的人臉智能反饋認知模型的優(yōu)越性,在相同的樣本集和試驗環(huán)境條件下,比較了本文方法與其他識別方法的性能,包括DEEPID[6]、ISCDCNNS[10]、CNN+DBN[11]、TL+貝葉斯[12]、DFD[13]等算法。上述方法的1 000次試驗的平均識別率如表1所示,所有識別結果均采用均值±標準差的表征形式。

rgzn1-b1.gif

    從表1中可以看出,本文所提出的基于深度集成學習的人臉智能反饋認知算法比傳統(tǒng)DEEPID算法具有更優(yōu)的識別率,達到98.69%,在約減特征空間降低運算復雜度的同時,提高了識別精度。特征可分性度量、認知決策信息系統(tǒng)和集成模式分類器的引入,較傳統(tǒng)監(jiān)督學習增強了特征空間的可區(qū)分能力以及模式分類器的泛化性能。基于認知結果熵測度指標實時評測人臉圖像的不確定認知結果,自優(yōu)化調節(jié)簡約特征空間,模仿了人類實時評測認知結果自尋優(yōu)調節(jié)特征空間和分類認知準則的認知模式,實現(xiàn)了人臉的優(yōu)化認知。

4 結論

    本文基于深度集成學習的人臉智能反饋認知算法在數(shù)據(jù)庫LFW上進行了人臉識別試驗,平均識別率達到98.69%。首先基于特征可分性度量和認知決策信息系統(tǒng)獲取DEEPID網(wǎng)絡的簡約特征空間,然后將簡約特征集送入集成RVFL分類器獲取人臉識別結果,最后,基于認知結果熵測度指標評測人臉圖像的不確定認知結果,自優(yōu)化調節(jié)特征空間和分類認知準則,在多次反饋認知過程中模仿人類實時評測認知結果反復推敲比對的認知模式,實現(xiàn)人臉的優(yōu)化識別。特征空間的充分性表征以及具有萬具逼近能力的模式分類器設計將是下一步的工作重點。

參考文獻

[1] 田啟川,張潤生.生物特征識別綜述[J].計算機應用研究,2009,26(12):4401-4406.

[2] 孫閩紅,閆云珍,邵章義,等.基于Wigner對角切片譜的射頻指紋特征提取[J].電子技術應用,2016,42(1):87-90.

[3] 徐智勇,唐根偉,姜新泉,等.硬件友好型合成指紋鑒別算法的研究[J].電子技術應用,2016,42(10):54-58.

[4] 余成波,李彩虹,曾亮.K-means指紋定位的優(yōu)化算法[J].電子技術應用,2018,44(2);70-74.

[5] GALTON F.Personal identification and description[J].Nature,1888,21:173-177.

[6] SUN Y,WANG X,TANG X.Deep learning face representation from predicting 10,000 classes[C].2014 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEE Computer Society,2014:1891-1898.

[7] SUN Y,WANG X,TANG X.Deeply learned face representations are sparse, selective, and robust[C].2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEE Computer Society,2015.

[8] LI W T,WANG D H,CHAI T Y.Multi-source data ensemble modeling for clinker free lime content estimate in rotary kiln sintering processes[J].IEEE Transactions on Systems,Man,and Cybernetics:Systems,2015,45(2):303-314.

[9] CHEN K Q,WANG J P,LI W T,et al.Simulated feedback mechanism-based rotary kiln burning state cognition intelligence method[J].IEEE Access,2017,5:4458-4469.

[10] 冉鵬,王靈,李昕,等.改進Softmax分類器的深度卷積神經(jīng)網(wǎng)絡及其在人臉識別中的應用[J].上海大學學報(自然科學版),2018,24(141):26-40.

[11] HUANG G B,LEE H,LEARNED-MILLER E.Learning hierarchical representations for face verification with convolutional deep belief networks[C].2012 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEE,2012:2518-2525.

[12] CAO X,DAVID W,WEN F,et al.A practical transfer learning algorithm for face verification[C].IEEE International Conference on Computer Vision.IEEE Computer Society,2013:3208-3215.

[13] ZHEN L,PIETIKAINEN M,LI S Z.Learning discriminant face descriptor[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2014,36(2):289-302.



作者信息:

范葉平1,李  玉1,楊德勝1,萬  濤1,馬  冬1,李帷韜2

(1.國網(wǎng)信通產(chǎn)業(yè)集團安徽繼遠軟件有限公司,安徽 合肥230088;

2.合肥工業(yè)大學 電氣與自動化工程學院,安徽 合肥230009)

此內容為AET網(wǎng)站原創(chuàng),未經(jīng)授權禁止轉載。