《電子技術應用》
您所在的位置:首頁 > 測試測量 > 業(yè)界動態(tài) > 一種基于膚色的復雜背景人臉檢測方法

一種基于膚色的復雜背景人臉檢測方法

2008-04-18
作者:何 為1,2,李見為1,蔣邦持

  摘 要: 針對復雜背景下的彩色人臉" title="人臉">人臉圖像,利用膚色信息,從圖像中分割出具有膚色的區(qū)域,整理得到待檢測人臉區(qū)域,從中進行人臉特征的提取和驗證,最終確定人臉。
  關鍵詞: 人臉檢測" title="人臉檢測">人臉檢測 邊緣分割" title="邊緣分割">邊緣分割? 人臉模版

?

  人臉檢測是人臉識別中一個重要的組成部分。近年來,針對靜態(tài)圖人臉檢測問題,國內(nèi)外大量研究者提出了多種方法,在不同領域取得了一定進展。但是離能夠適用于各種復雜情況且有著較高準確率的實用要求, 還有很大的差距。當前人臉檢測算法大致可以分為以下四類[1]:基于知識的方法、基于模板匹配方法、基于外觀形狀的方法、基于特征的方法。這些方法對正面簡單背景下的正面人臉都有很好的檢測效果,但對有旋轉(zhuǎn)角度或復雜背景的人臉圖像在準確率上還有待進一步提高。
  本文針對復雜背景的彩色人臉圖像,采用本文的算法首先對圖像進行偏色校正;然后進行膚色分割" title="膚色分割">膚色分割,提取出膚色塊,在彩色空間進行邊緣檢測,并用檢測到的邊緣對膚色塊進一步分割,用空間距離與YCb Cr矢量距離進行塊分類合并,用形態(tài)學方法進行塊邊緣整理并填充,得到人臉模版" title="人臉模版">人臉模版,利用眼睛、嘴等特征在色差Cb Cr分量上的分布特點進行特征的提取,最后進行相似性判斷確定眼睛塊,利用幾何約束關系確定人臉。實驗表明,該算法受光照影響小、處理速度較快、準確率較高。其算法流程如圖1所示。


1 偏色校正
  彩色圖像很容易受到光源顏色與圖像采集設備色彩偏差等因素的影響,使色彩在整體上偏離本質(zhì),使圖像偏色。這對于利用彩色信息來進行區(qū)域分割的方法是不利的。本文采用偏色校正算法來克服偏色的影響。偏色校正算法原理如下:一幅沒有偏色的圖像即純白色和黑色區(qū)域的RGB分量應分別大致相等且等于對應亮度Y,假定一幅圖像的最高亮度的3%(參考白)和最低亮度的3%(參考黑)應該對應真實顏色的白色和黑色部分,也即在參考白和參考黑范圍內(nèi)的像素滿足RGB三分量大致等于亮度Y的條件。設分別對應參考白和參考黑RGB分量平均值和亮度Y的平均值,△R、△G、△B,△Rw、△Gw、△Bw和△Rb、△Gb、△Bb分別為調(diào)整因子、參考白調(diào)整因子和參考黑調(diào)整因子,則有如下關系式:
  
  運用調(diào)整因子△R、△G、△B對整幅圖像進行校正,可在一定程度上消除偏色,達到校正的目的。在實際運用中,參考白和參考黑的像素總數(shù)應大于一定閾值,否則關于參考白與參考黑的假設不成立。


2 膚色分割
  本文根據(jù)Hsu等人[2]提出的基于變換的YCbCr空間的膚色分割方法進行膚色區(qū)域分割,膚色分割圖如圖2所示。Hsu等人對從HHI圖像庫中手工選取不同光照、不同膚色的膚色點進行統(tǒng)計,并投影到各種彩色空間,發(fā)現(xiàn)膚色在YCbCr彩色空間有很好的聚類性質(zhì),用式(4)對YCbCr空間進行變換,則膚色分布在式(5)的橢圓內(nèi)。
  
3 人臉模版提取
  復雜背景的彩色圖像中總存在類膚色區(qū)域、裸露的非人臉膚色區(qū)域以及類膚色區(qū)域和膚色區(qū)域或者多個膚色區(qū)域緊密連接在一起。單純使用膚色分割定位人臉不能排除這些因素的影響,因此,膚色分割通常只是對人臉圖像進行粗定位,要確定膚色區(qū)域是否為人臉則需對區(qū)域上的其他特征進行驗證。在人臉的膚色分割圖中,眼睛、嘴等特征因其為非膚色區(qū)域而被漏掉,而在膚色范圍內(nèi)的其他區(qū)域則可能與人臉區(qū)域相連,這不利于進行人臉特征驗證。特征驗證需要一個比較準確的人臉區(qū)域(只包含必要的人臉特征而沒有背景等其他干擾)。本文對膚色分割出的二值圖像進行處理,建立一個只包含人臉區(qū)域的人臉模版,人臉特征驗證就只在人臉模版范圍內(nèi)進行。下面介紹的人臉模版提取分為邊緣分割、膚色塊分類與人臉模版提取三個部分。
3.1 邊緣分割
  與人臉膚色區(qū)域相鄰的其他區(qū)域,若顏色也在膚色范圍內(nèi),則不能從膚色空間中將人臉膚色區(qū)域與相鄰的其他區(qū)域分離開,但可以利用不同圖形的邊緣信息進行膚色區(qū)域的邊緣分割。灰度圖像進行邊緣提取,是利用像素間灰度值的差異來檢測邊緣的,而在顏色不同但灰度相近的區(qū)域,則無法提取邊緣。因此,本文提出了在RGB三基色空間中進行邊緣分割檢測,該方法比參考文獻[5]所使用顏色梯度場的算法更為快速和簡便,其邊緣提取如圖3所示。本文采用如式(6)的Sobel邊緣算子,分別在R、G、B分量上進行運算,其最大的值即為該像素點邊緣值:
  
  式中,RS0、RS1、RS2、RS3是邊緣算子S0、S1、S2、S3在R分量上分別計算的結(jié)果,其他符號意義類似。
  設定閾值將邊緣二值化,和膚色分割二值圖進行“與”操作,然后進行形態(tài)學開閉運算改變原區(qū)域連通性,由此即將一個完整的區(qū)域分割開來。


3.2 膚色塊分類
  膚色分割可能在人臉區(qū)域形成獨立塊,區(qū)域邊緣分割也可能將完整面部分割成若干個小塊,因此需要進行膚色塊的合并,重新組合屬于同一人臉的獨立塊。同一人臉區(qū)域中像素點膚色在變換YCbCr空間中對應的矢量值相近,在空間位置上應小于一定距離。根據(jù)以上原理提出如下算法:
  (1)按照塊面積從大到小排列各塊(忽略面積小于一定閾值的小塊)。
  (2)找尋每個塊的重心(X,Y),其中:
  
  (3)計算各塊間距離(重心連線減去在各塊內(nèi)部部分的長度)。
  (4)從大塊開始,將距離小于一定閾值的塊歸為一類。
  (5)在每一類中,計算各塊重心連線在各塊邊緣附近的YCbCr值,小于一定閾值的歸為一類,其他為新類。
  (6)去除面積小于一定閾值的類。
  對所有塊分類完成后,按各類中膚色塊所占區(qū)域的大小,建立包含類中所有塊的最小矩形,將類中所有塊復制到矩形內(nèi),后續(xù)操作則在該矩形區(qū)內(nèi)進行。
3.3 人臉模版提取
  經(jīng)過上述處理,一個矩形的待檢測人臉區(qū)域就是一類。此時矩形區(qū)域中各塊可能是獨立的,塊內(nèi)部可能有空洞,塊邊界凹凸性與人臉的真實邊緣也相去甚遠,因此需進行一定處理,填充塊內(nèi)部的空洞,平滑塊邊緣,將多個獨立塊組合為一個整體的區(qū)域。本文采用形態(tài)學的膨脹和腐蝕的算法進行塊邊界平滑[4],然后進行區(qū)域填充。
  對于二值圖像形態(tài)學的膨脹和腐蝕,本文提出了如下快速算法:
  (1)保存19×19、13×13和7×7三種圓形模版(模版的選擇根據(jù)矩形區(qū)域面積決定)。
  (2)提取矩形區(qū)域中各塊的邊緣L1,并以L1為中心,讓圓形模版在其上滑動,圓形模版的最外圍軌跡則為形態(tài)學膨脹后的新邊緣L2。
  (3)填充新邊緣L2內(nèi)部并以L2為中心,再次滑動模版,擦除滑動范圍內(nèi)的像素值,則最終剩余的部分即為人臉模版,如圖4(b)、(c)所示。
4 特征點的提取與驗證
  提取到包含人臉特征的模版也即是人臉候選區(qū)后,確認人臉即是對人臉特征點進行提取和驗證。研究表明,眼睛具有很好的不變性,是人臉最為重要的特征,嘴也是典型的特征,因此,本文選擇人眼和嘴部作為特征進行人臉檢測。目前有許多針對眼睛與嘴等特征的特征提取方法,但大多是針對灰度圖像進行的,對彩色圖像中眼睛等特征信息利用較少。而眼睛和嘴等特征在彩色空間中也有許多獨特的信息可以利用。本文對于特征的提取就是利用了CbCr兩個色差分量,同時結(jié)合灰度上的分布特點進行的。所有操作只在人臉模版上進行,大大降低了特征點尋找的復雜性,提高了處理速度和準確性。
4.1 特征提取
  由于不同圖像的亮度和對比度均不相同,對于CbCr分量應進行歸一化處理,根據(jù)結(jié)合特征在CbCr分量中灰度值大于皮膚部分灰度值的特點,對CbCr分量進行如式(7)的計算和歸一化處理:
  (1)計算
  
  (2)歸一化
  色差分量Cb上眼睛和嘴都有量值,因此先用Cb分量來建立特征模版,眼睛與嘴的真實位置一定在模版上。對歸一化后如圖4(e)所示的Cb圖像,進行低閾值分割,得到如圖4(f)所示的特征模版。對處理后的Cb圖像再進行高閾值分割,得到如圖4(g)所示的人眼睛塊,選出面積最大的10塊作為待選的人眼區(qū)域,如果分割圖中塊數(shù)小于10則按實際塊數(shù)計;若少于2塊則認為本區(qū)域沒有人眼,本區(qū)域為非人臉區(qū)域。對歸一化后如圖4(h)所示的Cr圖像中進行如圖4(i)所示的高閾值分割,選取面積最大的5塊作為嘴唇的候選區(qū)。


4.2 特征驗證
  對于所有可能的眼睛對組合,首先進行相似性檢查,排除不可能的眼睛對組合。相似性計算采用下式進行:
  
  式中,r為相似系數(shù);AL、AR為以左右眼各自重心為中心的矩陣;M、N為矩陣的行列數(shù)。r小于一定閾值的眼睛組合認為不可能是一對眼睛,M、N的值則根據(jù)眼塊對的面積進行調(diào)整,取值在15~25之間。
  按照人臉的先驗知識計算每一個眼睛塊對與嘴唇塊之間的幾何約束關系,確認眼睛塊與嘴唇塊。當一個候選區(qū)有兩個以上滿足條件的塊組合時,使用以下兩條準則確定人臉特征的組合:
  (1)眼睛塊到嘴塊間無其他塊。
  (2)塊組合的面積最大者是最有可能的組合。
5 實驗結(jié)果及分析
  目前用于人臉檢測的數(shù)據(jù)庫還沒有專門針對復雜背景的公用庫,本文測試是在自建的彩色人臉數(shù)據(jù)庫上進行,該庫一部分圖像來源于互聯(lián)網(wǎng),一部分為實驗室收集,具有不同光照、復雜背景、多尺度、多姿態(tài)的特點。在Intel T5500 1.66MHz的PC機上進行試驗,人臉總數(shù)為326個,檢測率達到92.02%,漏檢人臉26個,誤檢37個,每幅平均耗時320ms。圖5為部分檢測結(jié)果。


  對漏檢圖片分析發(fā)現(xiàn),圖片顏色嚴重失真、背景區(qū)為類膚色區(qū)、頭發(fā)遮住眼睛、人臉旋轉(zhuǎn)角度過大和人臉過小,這些都是造成漏檢的主要原因,由此導致人臉模版提取失敗,或者提取的模版沒有完全包含人眼和嘴等特征,因此無法正確檢測到人臉。誤檢的圖片主要是由于背景顏色分布在類膚色區(qū),一些干擾滿足了人臉特征的點。今后的工作將針對這兩方面情況進行更進一步的研究,同時更好地結(jié)合空間信息、人臉的先驗信息和灰度信息進行人臉檢測的研究。
參考文獻

[1] 梁路宏,艾海舟,徐光佑,等.人臉檢測研究綜述.計算機學報[J],2002,23(5):449-458.
[2] HSU Rein-Lien,ABDEL M M,JAIN A K.Face detection in color images[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2002,24(5):696-706.
[3] GARGESHA M,PANCHANATHAN S.A hybrid technique for facial feature point detection[C].Fifth IEEE Proc Southwest Symposium on Image Analysis and Interpretation.Santa Fe,New Mexico:IEEE,2002:134-138.
[4] JACKWAY P T,DERICHE M.Scale-space properties of the multiscale morphological dilation-erosion[J].IEEE Trans on Pattern Analysis and Machine Intelligence,1996,18(1):38-51.
[5] 陳鍛生,劉政凱.彩色圖像邊緣特征及其人臉檢測性能評價.軟件學報[J],2005,16(5):727-732.

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權者。如涉及作品內(nèi)容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。