摘 要: 結(jié)合高速公路交通視頻的特點(diǎn),提出了監(jiān)控中運(yùn)動(dòng)車輛對(duì)象提取的方法。該方法利用混合背景差分法提取運(yùn)動(dòng)目標(biāo),并對(duì)目標(biāo)進(jìn)行形態(tài)學(xué)處理,最后結(jié)合后退N幀、半監(jiān)督學(xué)習(xí)的閾值選取的思想提取車輛對(duì)象特征最顯著的視頻幀。實(shí)驗(yàn)結(jié)果表明,該方法有效地改善了傳統(tǒng)的混合高斯背景差分提取運(yùn)動(dòng)對(duì)象過(guò)程中出現(xiàn)的孔洞、噪聲和車輛對(duì)象非完整性及特征不顯著的問(wèn)題,進(jìn)而優(yōu)化了車輛對(duì)象的提取流程。
關(guān)鍵詞: 車輛對(duì)象提取; 背景差分法; 后退N幀算法; 自適應(yīng)閾值
近年來(lái),隨著經(jīng)濟(jì)水平的發(fā)展和國(guó)內(nèi)市場(chǎng)需求的擴(kuò)大,汽車持有量的持續(xù)增長(zhǎng)使公共交通監(jiān)管面臨巨大壓力和挑戰(zhàn),針對(duì)交通監(jiān)管的智能交通(ITS)的發(fā)展勢(shì)在必行[1]。監(jiān)控視頻的內(nèi)容檢索中車輛對(duì)象檢測(cè)與識(shí)別是智能交通系統(tǒng)中的重要組成部分[2]。我國(guó)在智能交通的建設(shè)和理論研究領(lǐng)域也得到了國(guó)際的認(rèn)可,紀(jì)筱鵬[3]結(jié)合輪廓特征和車輛跟蹤方法提取監(jiān)控視頻中的車輛對(duì)象取得了很好效果;馮文剛[4]轉(zhuǎn)化顏色空間到VIRGBC中,通過(guò)條件隨機(jī)場(chǎng)訓(xùn)練得到的調(diào)和平均數(shù)對(duì)車輛的陰影進(jìn)行了很好的分割;王正玉[5]利用車輛特征實(shí)現(xiàn)視頻中車輛關(guān)鍵幀的提取。
我國(guó)西南地區(qū)的智能交通監(jiān)控體系還不太成熟,硬件設(shè)備相對(duì)落后,致使很多監(jiān)控視頻資源無(wú)法得到有效的利用。監(jiān)控視頻提供了車輛的動(dòng)態(tài)行駛信息,視頻分辨率較低、車輛特征信息不明顯,視頻可用價(jià)值不突出,而車輛對(duì)象的提取是視頻資源利用的前提。本文結(jié)合高速公路僅有運(yùn)動(dòng)車輛的特點(diǎn),消除車輛對(duì)象提取過(guò)程中的干擾因素,提取視頻序列中RIO特征最顯著的車輛對(duì)象。最后將研究成果運(yùn)用到實(shí)際工程中,開(kāi)發(fā)出基于事件定位的播放器原型,提高了交通監(jiān)控系統(tǒng)工作人員的視頻檢索效率。
1 車輛對(duì)象的提取算法
交通監(jiān)管中對(duì)車輛對(duì)象的檢測(cè)方法有基于地磁傳感線圈、紅外、雷達(dá)波頻檢測(cè)的硬件檢測(cè),還有利用光流法、背景差分法和幀間差分法等算法對(duì)視頻資源進(jìn)行車輛對(duì)象檢測(cè)。車輛對(duì)象檢測(cè)相對(duì)于基于硬件的檢測(cè)有成本低、安裝維護(hù)簡(jiǎn)單和數(shù)據(jù)信息量大等優(yōu)點(diǎn)。本文對(duì)視頻車輛對(duì)象提取方法進(jìn)行對(duì)比分析,并選擇背景差分法中的混合高斯背景建模法提取車輛運(yùn)動(dòng)對(duì)象,并在該算法的基礎(chǔ)上優(yōu)化處理流程。
光流法[6]是通過(guò)比較視頻圖像序列在時(shí)間軸上空間域的灰度改變量達(dá)到檢測(cè)運(yùn)動(dòng)對(duì)象的目的。光流法對(duì)速度差異的多目標(biāo)運(yùn)動(dòng)對(duì)象提取具有優(yōu)勢(shì),但其模型計(jì)算量高,不利于工程化應(yīng)用。幀間差分法[7]是對(duì)圖像序列中的相鄰兩幀或者3幀圖像進(jìn)行閾值化的灰度差分檢測(cè)運(yùn)動(dòng)車輛對(duì)象。幀間差分法實(shí)現(xiàn)簡(jiǎn)單,但運(yùn)動(dòng)對(duì)象有較大的孔洞,不利于圖像序列中車輛對(duì)象的完整性檢測(cè)。背景差分法[8]將當(dāng)前圖像幀與事先建立的背景進(jìn)行灰度化閾值差分得到運(yùn)動(dòng)車輛對(duì)象。背景差分法的復(fù)雜度低,運(yùn)算速度比光流法快,適合工程化應(yīng)用?;旌细咚鼓P蚚9]克服了單一點(diǎn)處受環(huán)境、光照和噪聲等因素的影響。混合高斯背景模型的數(shù)學(xué)模型表示為:
實(shí)際試驗(yàn)結(jié)果表明,基于背景差分法的運(yùn)動(dòng)車輛對(duì)象提取容易受天氣、樹(shù)葉等環(huán)境因素影響,并且車輛對(duì)象完整性較差;基于混合高斯建模的背景差分法對(duì)圖像中的每個(gè)像素建立多個(gè)高斯模型,有效地克服了白噪聲、字幕和樹(shù)葉周期性抖動(dòng)的影響,對(duì)監(jiān)控視頻中車輛對(duì)象的提取保留了對(duì)象車輛的相對(duì)完整性。
2 車輛對(duì)象提取的優(yōu)化方法
背景差分法提取出來(lái)的車輛對(duì)象存在以下問(wèn)題:(1)車輛對(duì)象仍然有孔洞的存在,其原因是視頻的分辨率相對(duì)較低,車輛對(duì)象的擋風(fēng)玻璃與背景道路的灰度值相似而被誤認(rèn)為是背景,導(dǎo)致孔洞效應(yīng)的出現(xiàn); (2)經(jīng)過(guò)背景差分和形態(tài)學(xué)處理后得到的二值圖像中有點(diǎn)狀白噪聲的出現(xiàn); (3)無(wú)法檢測(cè)到視頻車輛對(duì)象特征最明顯的視頻幀(即車輛對(duì)象出現(xiàn)在視頻中面積最大且清晰的幀)。為解決以上問(wèn)題, 本文提出車輛對(duì)象提取的優(yōu)化方法,其流程如圖1所示。
2.1 ROI的設(shè)定
感興趣區(qū)域ROI(Region Of Interest)的設(shè)定是圖像處理領(lǐng)域常用的方法,可減少圖像處理算法中的計(jì)算量,實(shí)現(xiàn)只對(duì)限制區(qū)域內(nèi)圖像進(jìn)行處理的目的。公安交通監(jiān)控系統(tǒng)產(chǎn)生的監(jiān)控視頻圖像序列上下邊框中有卡口的時(shí)間、地點(diǎn)信息,此區(qū)域?qū)囕v對(duì)象提取沒(méi)有實(shí)質(zhì)性影響。本文對(duì)要處理視頻圖像序列設(shè)定ROI,以減少這些因素的干擾。
2.2 形態(tài)學(xué)處理
形態(tài)學(xué)處理可以簡(jiǎn)化圖像數(shù)據(jù),消除噪聲、骨架化,填充和分割等圖像處理任務(wù)。對(duì)車輛二值圖像利用形態(tài)學(xué)閉操作填充背景差分出現(xiàn)的孔洞,實(shí)現(xiàn)車輛對(duì)象的完整性。實(shí)驗(yàn)結(jié)果表明,經(jīng)過(guò)形態(tài)學(xué)閉操作的處理可以得到較完整的車輛對(duì)象,如圖2所示。
(6)執(zhí)行步驟(3)。
首先,通過(guò)面積閾值的設(shè)定解決了形態(tài)學(xué)處理后白噪聲的干擾問(wèn)題(如圖3(a)所示),且當(dāng)對(duì)象面積超過(guò)設(shè)定閾值時(shí)才進(jìn)行步驟(1)中的幀存儲(chǔ),從執(zhí)行流程上有利于算法的執(zhí)行效率。其次,避免了車輛對(duì)象撞擊圖像邊框造成的對(duì)象缺失問(wèn)題,根據(jù)道路中車輛對(duì)象的行駛方向得知,從車輛對(duì)象駛?cè)氡O(jiān)控視角,對(duì)象面積將變大且車輛特征愈加明顯,隨著車輛駛離監(jiān)控畫(huà)面,車輛對(duì)象撞擊圖像邊框?qū)?huì)造成車輛特征的缺失(如圖3(b)所示),但此時(shí)對(duì)象面積檢測(cè)的結(jié)果仍可能有增加的趨勢(shì),隨著車輛對(duì)象的駛離,對(duì)象面積將再次減少,結(jié)合車輛速度和視頻播放幀率建立函數(shù)N=Function(V),N的選取與視頻中車輛對(duì)象的速度V相關(guān),針對(duì)本文所用視頻采取了后退N=3幀的策略,避免了車輛對(duì)象撞擊視頻邊框而造成的對(duì)象特征缺失問(wèn)題。最后,面積的自適應(yīng)閾值更新算法借鑒半監(jiān)督學(xué)習(xí)的思想,首先人工設(shè)定閾值ε0,然后根據(jù)圖像序列中提取出來(lái)的對(duì)象對(duì)閾值進(jìn)行更新,?琢是更新的權(quán)值,Mn-2為提取車輛對(duì)象的面積。為了避免面積閾值的單調(diào)遞增而產(chǎn)生小型車對(duì)象的漏檢,當(dāng)閾值增長(zhǎng)超過(guò)閾值限度δ后,算法采取閾值下降策略,將閾值回歸到ε0,閾值自適應(yīng)更新的同時(shí)也優(yōu)化內(nèi)存圖像序列替換流程的執(zhí)行。
3 基于事件定位的播放器原型的應(yīng)用
監(jiān)控視頻中車輛對(duì)象的提取可以應(yīng)用到公安交通的監(jiān)控視頻檢索系統(tǒng)平臺(tái),本文對(duì)車輛對(duì)象提取作了應(yīng)用性探索,開(kāi)發(fā)了基于事件定位的播放器軟件,其應(yīng)用原型及原理圖如圖4所示。
監(jiān)控視頻中車輛對(duì)象出現(xiàn)的關(guān)鍵幀代表視頻中的事件。監(jiān)控視頻與車輛對(duì)象所在關(guān)鍵幀之間的時(shí)間映射關(guān)系存儲(chǔ)在檢索數(shù)據(jù)庫(kù)中,播放器軟件通過(guò)加載視頻資源ID檢索服務(wù)器中此視頻資源的關(guān)鍵幀,通過(guò)播放器加載的關(guān)鍵幀組直觀地了解此視頻資源中所出現(xiàn)的車輛對(duì)象,點(diǎn)擊相應(yīng)的關(guān)鍵幀快速定位到事件的視頻位置。這種基于事件的視頻檢索流程提高了公安交通部門(mén)工作人員的檢索效率,有著實(shí)際的應(yīng)用價(jià)值。
本文提出了針對(duì)交通監(jiān)控視頻中車輛對(duì)象提取的優(yōu)化方法,利用高斯背景差分、ROI設(shè)定和形態(tài)學(xué)處理等技術(shù),結(jié)合后退N幀與自適應(yīng)閾值的思想,在解決混合高斯背景差分得到車輛對(duì)象具有的孔洞、噪聲干擾、對(duì)象不完整性與特征不顯著性方面得到了很好的效果,同時(shí)優(yōu)化了算法的執(zhí)行效率,并在工程應(yīng)用方面進(jìn)行了探究。
參考文獻(xiàn)
[1] LI L,SONG J,WANG F Y.New developments and research trends for intelligent vehicle[J]. IEEE Intelligent System,2005,20(4):10-14.
[2] 姜旭.視頻圖像處理技術(shù)在智能交通系統(tǒng)中的應(yīng)用[D].蘇州:蘇州大學(xué), 2009.
[3] 紀(jì)筱鵬, 魏志強(qiáng).基于輪廓特征及擴(kuò)展Kalman濾波的車輛跟蹤方法研究[J]. 中國(guó)圖象圖形學(xué)報(bào),2011(2):267-272.
[4] 馮文剛,高雋,BUCKLES B,等.多顏色空間中目標(biāo)約束的車輛陰影分割研究[J].中國(guó)圖象圖形學(xué)報(bào),2011,16(9):1599-1606.
[5] 王正玉,李勃,張明輝,等.基于車輛特征的關(guān)鍵幀提取方法研究[J]. 微型機(jī)與應(yīng)用,2011,30(22):49-51.
[6] BARRON J L, FLEET D J, BEAUCHEMIN S S. Performance of optical flow techniques[J]. International Journal of Computer Vision,1994,12(1):42-77.
[7] ANDERSON C, BURT P, VANDER W G. Change detection and tracking using pyramids transformation techniques[C].
Proceedings of SPIE Conference on Intelligent Robots and Computer Vision, 1985.
[8] SEKI M, FUJIWARA H, SUMI K. A robust background subtraction method for changing background[J]. Proceeding of IEEE Workshop on Applications of Computer Vision, 2000:207-213.
[9] WAND Y Z, LIANG Y, PAN Q, et al. Spatiotemporal background modeling based on adaptive mixture of gaussians[J]. Acta Automatica Sinica, 2009(04):321-328.