0  引言

    近年來(lái)隨著我國(guó)電力行業(yè)的蓬勃發(fā)展，電力現(xiàn)場(chǎng)維護(hù)施工的需求也越來(lái)越多，而由于現(xiàn)場(chǎng)施工人員違反電力操作流程所造成的電力故障甚至人員傷亡的事件也時(shí)有發(fā)生。為了加強(qiáng)對(duì)電力現(xiàn)場(chǎng)施工人員的科學(xué)監(jiān)管，建立智能化的電力現(xiàn)場(chǎng)安全管控系統(tǒng)勢(shì)在必行。電力現(xiàn)場(chǎng)安全管控系統(tǒng)把工作票與施工現(xiàn)場(chǎng)拍攝圖片視頻以及視頻會(huì)議相結(jié)合，電力專家可以在辦公室通過(guò)工作票隨時(shí)查閱相應(yīng)圖片和視頻或進(jìn)行現(xiàn)場(chǎng)視頻會(huì)議及時(shí)發(fā)現(xiàn)違反電力操作的情況，以監(jiān)管手段降低事故的發(fā)生率。作為智能電網(wǎng)的重要組成部分，電網(wǎng)視頻監(jiān)控系統(tǒng)已廣泛應(yīng)用于變電站的運(yùn)行、維護(hù)和管理等方面^[1,2]，為電力現(xiàn)場(chǎng)安全管控系統(tǒng)的建立與推廣提供了條件。電力現(xiàn)場(chǎng)安全管控系統(tǒng)以視頻結(jié)合人臉識(shí)別的形式進(jìn)行工作票內(nèi)現(xiàn)場(chǎng)施工人員的自動(dòng)簽到。然而，現(xiàn)場(chǎng)施工視頻較多，施工現(xiàn)場(chǎng)光照條件多種多樣，場(chǎng)地背景復(fù)雜，如何快速、準(zhǔn)確地提取視頻現(xiàn)場(chǎng)施工人員臉部區(qū)域以便進(jìn)行進(jìn)一步的人臉識(shí)別仍是一個(gè)技術(shù)難題。

1  相關(guān)研究

    近年來(lái)，計(jì)算機(jī)視覺(jué)技術(shù)在安全驗(yàn)證系統(tǒng)和人機(jī)交互系統(tǒng)中的應(yīng)用技術(shù)持續(xù)走熱。其中，基于人臉生物特征的安全驗(yàn)證技術(shù)和基于手勢(shì)識(shí)別的人機(jī)交互技術(shù)極具代表性。這兩項(xiàng)技術(shù)都涉及一個(gè)共同的過(guò)程，即定位臉部或手部區(qū)域從而提取形狀、紋理等幾何特征或統(tǒng)計(jì)特征以供分析識(shí)別。目前，通過(guò)膚色檢測(cè)技術(shù)在影像中定位人體裸露皮膚的區(qū)域，以作為人臉和手部檢測(cè)、分割和跟蹤的線索，是較為常用且有效的策略^[3]。

    可使用的人臉檢測(cè)系統(tǒng)需要能夠有效應(yīng)對(duì)影像中的多種可變因素。這些因素包括成像特性（比如成像尺度、位置、光照、朝向、視角等）、臉部特性（比如眼鏡、胡須、表情、化妝品等）、內(nèi)容特性（比如背景復(fù)雜度、人臉數(shù)量、遮擋等）等。對(duì)于以上可變因素，人的膚色特征是用于人臉檢測(cè)和手部檢測(cè)最為魯棒的特征之一。

    對(duì)膚色建模旨在構(gòu)建一系列決策規(guī)則用于提取影像中屬于人體皮膚部分的像素而排除那些歸屬于場(chǎng)景中其它成分的目標(biāo)?，F(xiàn)有膚色建模的方法從不同的側(cè)面可以劃分不同的類屬。比如，文獻(xiàn)[4]將有關(guān)的膚色特征的模型分為兩類：物理模型和統(tǒng)計(jì)模型。前者描述影像內(nèi)容的物理特性，比如皮膚的顏色特性相對(duì)于場(chǎng)景亮度的變化關(guān)系^[5]。后者關(guān)注影像中不同顏色的統(tǒng)計(jì)分布，具體又可進(jìn)一步細(xì)分為非參數(shù)分布模型和參數(shù)分布模型^[6]。

    在統(tǒng)計(jì)模型的框架下，膚色分割過(guò)程可以描述為利用皮膚區(qū)域和非皮膚區(qū)域的顏色分布差異，通過(guò)一些數(shù)值或經(jīng)驗(yàn)性的規(guī)則建立分類器，以區(qū)分屬于皮膚區(qū)域的像素和那些屬于背景成分的像素。由于不同顏色空間對(duì)于顏色通道通常有著截然不同的定義，膚色的統(tǒng)計(jì)模型與顏色空間的選擇密切相關(guān)。在計(jì)算機(jī)視覺(jué)領(lǐng)域中，RGB顏色空間往往被用作描述顏色分布的參考系。然而由于R、G、B三個(gè)通道皆受到亮度效應(yīng)的影響而非相互獨(dú)立，以此作為參考系對(duì)影像內(nèi)容進(jìn)行分析往往其效果并不理想。而亮度與色度分離的顏色空間在人臉和手部檢測(cè)的應(yīng)用中更具潛力，研究者們據(jù)此做出了許多有益的探索^[7-9]。這些研究提出了很多簡(jiǎn)便的特征用于皮膚檢測(cè)，隨之也帶來(lái)了一些快速的分類算法以進(jìn)行像素級(jí)的膚色區(qū)分。但是，這些算法在算法的魯棒性方面的表現(xiàn)不佳。另一方面，研究者們也嘗試通過(guò)監(jiān)督學(xué)習(xí)方式進(jìn)行膚色分割，即通過(guò)訓(xùn)練數(shù)據(jù)估計(jì)皮膚色值分布，而不是直接建立直覺(jué)模型。由于自然影像中的光照條件往往是未知的，膚色相關(guān)變量的參數(shù)空間難以預(yù)估，這一技術(shù)框架下通常采用非參數(shù)模型進(jìn)行膚色模型的建構(gòu)。比如，建立膚色概率圖譜(Skin Probability Map，SPM)^[10-11]，在不同的顏色空間給影像中的像素分配以概率值。其它具有代表性的方法有貝葉斯的SPM^[12-13]、直方圖查找表(Histogram Lookup Tables，LUT)^[14-15]、人工神經(jīng)網(wǎng)絡(luò)^[16-17]等。非參數(shù)算法的優(yōu)勢(shì)在于訓(xùn)練和分類階段較低的時(shí)間復(fù)雜度，并且不依賴于膚色值的具體分布形態(tài)和顏色空間的選取。然而，非參模型往往需要較高的存儲(chǔ)代價(jià)，并且其訓(xùn)練過(guò)程依賴于訓(xùn)練數(shù)據(jù)集對(duì)總體樣本空間的代表性。

    隨著人們對(duì)特定應(yīng)用背景下模型緊致度要求的提升，參數(shù)模型逐漸受到關(guān)注。膚色分割參數(shù)模型的基本思路是，基于均值、協(xié)方差、混合高斯、橢圓邊界等特征，在訓(xùn)練樣本集上針對(duì)皮膚區(qū)域的像素?cái)M合特定的分布模型，進(jìn)而建立決策規(guī)則^[18-19]。參數(shù)模型具有較高的執(zhí)行效率，并且能夠在欠完備數(shù)據(jù)集上進(jìn)行訓(xùn)練。然后，此類方法的效果依賴于分布模型的經(jīng)驗(yàn)性設(shè)定，并且忽略非皮膚區(qū)域像素的統(tǒng)計(jì)特征。因此，這一技術(shù)框架下的方法與基于非參數(shù)模型的方法相比虛警率（False Positive Rates，F(xiàn)PR）相對(duì)較高。

    近來(lái)，研究者們通過(guò)選擇理想的顏色空間，以膚色聚類（Skin Cluster）的思路著重對(duì)皮膚顏色特征表達(dá)能力的挖掘。如果皮膚的顏色模型能很好地適應(yīng)不同的光照條件，顏色信息可以直接作為判別臉部、手部區(qū)域的有效線索。本文以模糊模型建立面向彩色影像的膚色檢測(cè)方法。該方法結(jié)合參數(shù)模型與非參數(shù)模型優(yōu)勢(shì)，既可以擬合經(jīng)驗(yàn)?zāi)Ｐ偷贸龊?jiǎn)潔的決策規(guī)則，又能夠以較低的計(jì)算代價(jià)充分利用訓(xùn)練集內(nèi)的正例和負(fù)例樣本。

2  模糊系統(tǒng)

    在影像分割過(guò)程中，分類器對(duì)于理想分割的自動(dòng)獲取過(guò)程具有很高的不確定性，具體到膚色分割問(wèn)題也是如此。對(duì)此，借用模糊集理論對(duì)“不確定性”良好的表達(dá)與操作能力，能夠有效提高膚色分割效果。

    針對(duì)彩色影像以模糊分類器進(jìn)行分割是一種像素級(jí)的分割策略。該策略基于一套模糊規(guī)則，分配給待測(cè)影像中每個(gè)像素以特定的類別標(biāo)簽。模糊規(guī)則的提取是通過(guò)有監(jiān)督的訓(xùn)練過(guò)程進(jìn)行，綜合利用不同顏色空間的信息。每種顏色空間可以被單獨(dú)視為一個(gè)模糊集，膚色分割過(guò)程可被轉(zhuǎn)化為尋找一個(gè)恰當(dāng)?shù)哪：瘮?shù)，為各像素對(duì)于不同類別標(biāo)簽的隸屬度進(jìn)行表達(dá)。

    針對(duì)人臉檢測(cè)這一具體的應(yīng)用背景，本文采用XM2VTS^[21]人臉數(shù)據(jù)庫(kù)來(lái)計(jì)算歸一化顏色直方圖。具體來(lái)說(shuō)，從該數(shù)據(jù)庫(kù)中抽取200影像，僅以人臉部位皮膚的信息在HSI和YUV兩種顏色空間下統(tǒng)計(jì)顏色分布直方圖，并進(jìn)行歸一化。XM2VTS中包括295個(gè)人的臉部影像數(shù)據(jù)，在為期四個(gè)月的采集過(guò)程中，每個(gè)人各采集八次臉部影像。數(shù)據(jù)庫(kù)中的被試來(lái)自不同的種族，所有人像的背景物是固定的，但成像過(guò)程的光照條件有所變化。訓(xùn)練集臉部皮膚區(qū)域的直觀效果參見圖1。

    將訓(xùn)練集所有影像的人臉區(qū)域像素在HSI顏色空間進(jìn)行表達(dá)后，相應(yīng)的歸一化顏色直方圖統(tǒng)計(jì)結(jié)果參見圖2。其中，圖2(a) 展示的是歸一化直方圖的響應(yīng)值?？梢钥闯?，皮膚區(qū)域像素顏色在H、S、I三個(gè)通道上的響應(yīng)值都呈現(xiàn)出明顯的高斯形態(tài)。

    由此可假定歸一化直方圖響應(yīng)的擬合函數(shù)：

    對(duì)于背景像素，也即非皮膚區(qū)域的像素，本文基于文獻(xiàn)[22]中所提出的模型來(lái)判別前景、背景過(guò)渡區(qū)的模糊性。具體來(lái)說(shuō)，待測(cè)像素的色值率屬皮膚區(qū)域的程度是由以下S函數(shù)組和Z函數(shù)組來(lái)確定的：

    以上策略同樣用于YUV顏色空間。需要說(shuō)明的是，現(xiàn)有的相關(guān)研究認(rèn)為，對(duì)于亮度與色度分離的顏色空間，顏色信息僅包含在色度通道^[23]，比如HSV空間的S、V通道和YCbCr空間的Cb、Cr通道。而在本文的實(shí)驗(yàn)中發(fā)現(xiàn)，對(duì)于膚色的識(shí)別也明顯受到影像亮度信息的影響。這一發(fā)現(xiàn)促使我們?cè)谀：Ｐ蜆?gòu)建的過(guò)程中對(duì)于HSI和YUV顏色空間綜合使用三通道的信息以提升模型效力。對(duì)于這兩個(gè)顏色通道進(jìn)行歸一化直方圖響應(yīng)擬合結(jié)果如圖2和圖3所示。

    對(duì)Y、U、V通道歸一化直方圖的擬合同樣采用式(3)的方式，并同樣建立如式(4)與式(5)的S函數(shù)組和Z函數(shù)組。由此，膚色分割問(wèn)題轉(zhuǎn)化為針對(duì)兩種顏色空間的六個(gè)顏色通道求解模糊系統(tǒng)中式(3)、式(4)、式(5)相應(yīng)的參數(shù)。

3  模糊熵模型

    對(duì)于模糊系統(tǒng)的參數(shù)估計(jì)問(wèn)題可以使用最大熵原則求解。而信息領(lǐng)域中，Shannon熵是最常用的工具^[24]，目前已在影像分割問(wèn)題上得到廣泛的應(yīng)用^[25-26]。對(duì)于膚色分割這種影像分割的具體形式，本文以模糊3組分類熵方法處理每種顏色空間。

    對(duì)應(yīng)于式(3)、式(4)、式(5)的3個(gè)模糊集的概率可以定義為：

    對(duì)H(α_si,ρ_si,γ_si,α_zi,ρ_zi,γ_zi)求解最大化可選擇出合適的參數(shù)。這一最大化過(guò)程遍歷所有顏色空間和顏色通道。

    通過(guò)從XM2VTS^[21]人臉數(shù)據(jù)庫(kù)中隨機(jī)抽取200幅影像進(jìn)行訓(xùn)練獲取模糊系統(tǒng)的參數(shù)，所獲取的分類模型如圖4、圖5所示。

4  實(shí)驗(yàn)和分析

    本文實(shí)驗(yàn)中共采用3種數(shù)據(jù)集以驗(yàn)證算法的有效性，具體包括：XM2VTS^[21]、VALID^[27]、FERET^[28]。VALID數(shù)據(jù)庫(kù)共包括106張被試的人臉數(shù)據(jù)，每個(gè)被試在為期一個(gè)月內(nèi)經(jīng)過(guò)5次獨(dú)立的采集。FERET數(shù)據(jù)庫(kù)共包含11 338張人臉影像，采集自994個(gè)被試， 在本實(shí)驗(yàn)中僅采用正面視角的人臉影像。這些數(shù)據(jù)集各自都囊括了高加索人、亞洲人、非洲人三種典型膚色。每個(gè)數(shù)據(jù)集與XM2VTS經(jīng)過(guò)同樣的程序建立訓(xùn)練集，從而優(yōu)化、確定相應(yīng)的模糊系統(tǒng)參數(shù)。

    為了驗(yàn)證膚色分割模糊系統(tǒng)的優(yōu)越性，實(shí)驗(yàn)中采用了兩種傳統(tǒng)算法進(jìn)行性能對(duì)比，包括：硬分割算法、SPM算法。硬分割算法針對(duì)各個(gè)顏色通道定義明確的分割閾值以分類人臉像素，相應(yīng)閾值經(jīng)由對(duì)訓(xùn)練集的觀察來(lái)選取^[29-30]。SPM方法針對(duì)各個(gè)顏色通道分別建立膚色與非膚色的直方圖統(tǒng)計(jì)模型，并建立貝葉斯模型^[10-19]。實(shí)驗(yàn)結(jié)果如表1~表3所示。

    從表中所展示的實(shí)驗(yàn)結(jié)果可以看出，膚色分割模糊系統(tǒng)在三個(gè)數(shù)據(jù)庫(kù)上都取得了很好的分割效果，其像素級(jí)的虛警率和漏檢率都保持在減低的水平。與傳統(tǒng)的硬分割算法和SPM相比，本文的算法具備3%~5%的準(zhǔn)確率優(yōu)勢(shì)。傳統(tǒng)的兩種算法在XM2VTS數(shù)據(jù)庫(kù)上也取得了不錯(cuò)的效果，但面對(duì)VALID和FERET這兩種具有更復(fù)雜的場(chǎng)景背景和更強(qiáng)光照變化的數(shù)據(jù)庫(kù)時(shí)，分割效果退化明顯。相反，模糊系統(tǒng)在3個(gè)數(shù)據(jù)庫(kù)上的表現(xiàn)較為穩(wěn)固，具備很好的魯棒性。

5  結(jié)論 

    人臉和手勢(shì)識(shí)別技術(shù)的成功為智能系統(tǒng)的應(yīng)用和推廣做出了重要貢獻(xiàn)，相關(guān)的產(chǎn)品吸引了廣泛的興趣和關(guān)注。為了得到可靠的識(shí)別結(jié)果，在影像中快速、準(zhǔn)確地定位人臉和手部區(qū)域是不可缺少的技術(shù)環(huán)節(jié)。在關(guān)于人臉和手部區(qū)域定位的相關(guān)研究中，基于膚色分割的方法占據(jù)極大的比例。膚色分割的挑戰(zhàn)主要來(lái)自兩個(gè)主要方面：一是需要應(yīng)對(duì)復(fù)雜的影像場(chǎng)景，比如背景復(fù)雜度和光照變化導(dǎo)致的成像差異；二是需要具備較低的時(shí)間復(fù)雜度，以滿足作為前置手段的效率需求。本文以模糊系統(tǒng)進(jìn)行像素級(jí)的膚色分割，基于HSI和YUV顏色空間，充分利用亮度和色度信息建立模糊系統(tǒng)。

    對(duì)比實(shí)驗(yàn)表明，膚色分割的模糊系統(tǒng)相對(duì)于兩者對(duì)比算法具有更高的分割精度和魯棒性，能夠有效應(yīng)對(duì)復(fù)雜的場(chǎng)景背景且適用于不同的成像光照條件。同時(shí)，由于模糊系統(tǒng)的決策規(guī)則簡(jiǎn)潔，在確定系統(tǒng)參數(shù)后可以快速實(shí)施像素級(jí)的分割，能夠滿足實(shí)際應(yīng)用中對(duì)于算法效率的要求。

    膚色分割的模糊熵模型在電力現(xiàn)場(chǎng)安全管控系統(tǒng)的應(yīng)用能降低電力專家工作強(qiáng)度，提高工作效率，減少不必要的工作環(huán)節(jié)，讓專家更專注于現(xiàn)場(chǎng)的具體技術(shù)環(huán)節(jié)，為電力現(xiàn)場(chǎng)安全管控系統(tǒng)的普及應(yīng)用提供了必要的技術(shù)手段。

參考文獻(xiàn)

[1] 王磊, 蔡?hào)|升, 黃琦, 等. 基于SIP的變電站視頻監(jiān)控平臺(tái)測(cè)試系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 電測(cè)與儀表, 2014, 51(12):87-92.

[2] 任堂正, 楊俊杰, 樓志斌. 無(wú)人值守變電站周界光電一體化安防系統(tǒng)設(shè)計(jì)[J]. 電測(cè)與儀表, 2016, 53(12):111-117.

[3] SUN H M. Skin detection for single images using dynamic skin color modeling [J]. Pattern Recognition. 2010, 43(4): 1413-1420.

[4] ZHENG H, DAOUDI M, JEDYNAK B. Blocking adult images based on statistical skin detection [J]. Elcvia, 2004, 4(2): 1-14.

[5] KELLY W, DONNELLAN A, MOLLOY D. Screening for objectionable images: A review of skin detection techniques[C]. Machine Vision and Image Processing Conference. 2008: 151-158.

[6] VEZHNEVETS V, SAZONOV V, ANDREEVA A. A survey on pixel-based skin color detection techniques [J]. In Proc. Graphicon-2003, 2003: 85-92.

[7] CHEN H S, WANG T M, CHEN S H, et al. Skin-color correction method based on hue template mapping for wide color gamut liquid crystal display devices [J]. Color Research & Application, 2011, 36(5): 335-348.

[8] TOMAZ F, CANDEIAS T, SHAHBAZKIA H. Improved automatic skin detection in color images [C]. International Conference on Digital Image Computing: Techniques and Applications, 2003: 419-428.

[9] XIANG F H, SUANDI S A. Fusion of multi-color space for human skin region segmentation [J]. International Journal of Information & Electronics Engineering, 2013, 3(2): 172-174.

[10] BRAND J, MASON J S, ROACH M, et al. Enhancing face detection in colour images using a skin probability map [C]. International Symposium on Intelligent Multimedia, Video and Speech Processing. 2001: 344-347.

[11] XU J, ZHANG X. A real-time hand detection system during hand over face occlusion [J]. International Journal of Multimedia & Ubiquitous Engineering, 2015, 10(8): 287-302.

[12] MA Z, LEIJON A. Bayesian estimation of beta mixture models with variational inference [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(11): 2160-2173. 

[13] Shirali-Shahreza S, MOUSAVI M E. A new bayesian classifier for skin detection [C]. International Conference on Innovative Computing Information and Control. 2008: 172-172.

[14] Lü W, HUANG J. Skin detection method based on cascaded AdaBoost classifier [J]. Journal of Shanghai Jiaotong University. 2012, 17(2): 197-202.

[15] 余益民, 黃廷輝, 桑濤. 基于Real AdaBoost算法的膚色分割方法[J]. 計(jì)算機(jī)應(yīng)用, 2011, 31(12):3370-3372.

[16] 王真. 基于多顏色空間信息融合和AdaBoost算法的自適應(yīng)膚色建模研究[D]. 濟(jì)南：濟(jì)南大學(xué), 2011.

[17] PHUNG S L, CHAI D, BOUZERDOUM A. A universal and robust human skin color model using neural networks[C]. International Joint Conference on Neural Networks. 2001: 2844-2849.

[18] WIMMER M, RADIG B, BEETZ M. A person and context specific approach for skin color classification[C]. International Conference on Pattern Recognition. 2006: 39-42.

[19] AHUJA N. Gaussian mixture model for human skin color and its applications in image and video databases [J]. Proceedings of SPIE - The International Society for Optical Engineering, 1998, 3656(23): 458-466. 

[20] ZADEH L A. Fuzzy sets [C]. Fuzzy Sets, Fuzzy Logic, & Fuzzy Systems. 1996: 394-432.  

[21] MESSER K, MATAS J, KITTLER J, et al. XM2VTSDB: The extended M2VTS database [C]. International Conference on Audio- and Video-Based Biometric Person Authentication. 1999: 72-77.

[22] MURTHY C A, PAL S K. Fuzzy thresholding: Mathematical framework, bound functions and weighted moving average technique [J]. Pattern Recognition Letters, 1990, 11(3): 197-206.

[23] CHITRA S, BALAKRISHNAN G. Comparative study for two color spaces HSCbCr and YCbCr in skin color detection [J]. Applied Mathematical Sciences, 2012, 6: 4229-4238. 

[24] WU Y, ZHOU Y, SAVERIADES G, et al. Local shannon entropy measure with statistical tests for image randomness[J]. Information Sciences. 2013, 222: 323-342.

[25] ABDEL-K S, ISHAK A B, OMER O A, et al. A two-dimensional image segmentation method based on geneticalgorithm and entropy [J]. Optik, 2017, 131: 414-422.

[26] SUSAN S, KUMAR A. Auto-segmentation using mean-shift and entropy analysis [C]. International Conference on Computing for Sustainable Global Development. 2016: 292-296. 

[27] FOX N A, O’MULLANE B A, REILLY R B. VALID: A new practical audio-visual database, and comparative results [C]. International Conference on Audio- and Video-Based Biometric Person Authentication. 2005: 777-786.

[28] PHILLIPS P J, MOON H, RIZVI S A, et al. The FERET evaluation methodology for face-recognition algorithms [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(10): 1090-1104.

[29] ZHANG X N, JIANG J, LIANG Z H, et al. Skin color enhancement based  on favorite skin color in HSV color space [J]. IEEE Transactions on Consumer Electronics, 2010, 56(3):1789-1793.

[30] HUANG D Y, LIN C J, HU W C. Learning-based face detection by   adaptive switching of skin color models and Adaboost under varying illumination [J]. 2011, 2: 204-216. 

作者信息:

王文賢，武立平，馬維青

(國(guó)網(wǎng)山西省電力公司陽(yáng)泉供電公司，山西 陽(yáng)泉 045000)