文獻(xiàn)標(biāo)識(shí)碼: A
文章編號(hào): 0258-7998(2012)03-0145-04
將視頻中的運(yùn)動(dòng)前景從背景中檢測(cè)出來(lái)是目標(biāo)跟蹤、現(xiàn)場(chǎng)監(jiān)控、行為分析等應(yīng)用的基礎(chǔ)。目前,高斯混合模型(GMM)[1]和核密度估計(jì)模型(KDE)[2]是背景建模的兩種常用方法,兩者都考慮了每個(gè)像素的多模態(tài)特征的分布,且都能夠適應(yīng)逐漸的、局部的背景變化。其中GMM需要指定建模的高斯數(shù)個(gè)數(shù)和參數(shù),在處理復(fù)雜的場(chǎng)景空間變化時(shí),性能不夠理想;KDE能夠較好地處理復(fù)雜的背景空間變化,但計(jì)算量大且需要大容量的存儲(chǔ)器,對(duì)硬件有較高的要求。參考文獻(xiàn)[3]中的算法通過(guò)簡(jiǎn)化KDE算法,使數(shù)據(jù)運(yùn)算量和數(shù)據(jù)存儲(chǔ)量大幅減少,但其顏色空間轉(zhuǎn)換和歐式距離的量化劃分仍比較耗時(shí),不利于硬件實(shí)現(xiàn)。
本文通過(guò)改進(jìn)參考文獻(xiàn)[3]中的算法進(jìn)一步降低其對(duì)硬件內(nèi)存和運(yùn)算速度的要求,達(dá)到與本文嵌入式硬件系統(tǒng)結(jié)合的目的。系統(tǒng)采用三星公司ARM11內(nèi)核的S3C6410[4] SoC芯片為控制核心構(gòu)建一個(gè)嵌入式視頻監(jiān)控系統(tǒng),該系統(tǒng)對(duì)操作系統(tǒng)支持良好,開(kāi)發(fā)流程簡(jiǎn)單,軟硬件可裁剪,易于在同類型平臺(tái)下的移植和升級(jí)。軟件采用簡(jiǎn)化KDE背景建模算法對(duì)場(chǎng)景背景進(jìn)行建模和學(xué)習(xí),能較好地區(qū)分出運(yùn)動(dòng)前景和動(dòng)態(tài)背景,可用于復(fù)雜的場(chǎng)景,在視頻監(jiān)控領(lǐng)域有較好的應(yīng)用前景。
1 系統(tǒng)結(jié)構(gòu)
動(dòng)態(tài)背景分割系統(tǒng)由ARM11嵌入式硬件系統(tǒng)和軟件系統(tǒng)組成,系統(tǒng)結(jié)構(gòu)原理圖如圖1所示。CMOS傳感器采集的視頻輸入S3C6410片上系統(tǒng)對(duì)視頻進(jìn)行處理,構(gòu)建現(xiàn)場(chǎng)背景模型,分割出運(yùn)動(dòng)前景,通過(guò)JPEG壓縮運(yùn)動(dòng)前景圖片,保存到SD卡進(jìn)行數(shù)據(jù)存儲(chǔ),以便用戶查看。
1.1 硬件結(jié)構(gòu)
本嵌入式系統(tǒng)配置1 GB的NAND Flash固化UBOOT、內(nèi)核和文件系統(tǒng), 8 GB的SD卡存儲(chǔ)運(yùn)動(dòng)前景圖片,128 MB MOBILE DDR提供系統(tǒng)內(nèi)存。CMOS攝像頭采用OmniVision公司的彩色攝像頭OV9650,分辨率達(dá)130萬(wàn)像素,具有自動(dòng)曝光控制、自動(dòng)增益、自動(dòng)白平衡等功能,速度可達(dá)60 f/s。
1.2軟件系統(tǒng)
軟件系統(tǒng)采用V4L2接口構(gòu)建視頻采集系統(tǒng),完成圖像采集、簡(jiǎn)化KDE背景建模、運(yùn)動(dòng)分割和圖片的保存等任務(wù)。V4L2是Linux 2.6內(nèi)核下開(kāi)發(fā)視頻設(shè)備的一套API接口,有極好的靈活性和擴(kuò)展性。
如圖2所示,系統(tǒng)開(kāi)始后先對(duì)硬件系統(tǒng)初始化,然后通過(guò)V4L2操作視頻設(shè)備,步驟如下:
(1)打開(kāi)視頻設(shè)備
fd=open(“/dev/video0”,O_RDWR);
(2)查詢?cè)O(shè)備信息
ret=ioctl(fd, VIDIOC_QUERYCAP,&caminf);
(3)設(shè)置視頻捕獲格式
ret=ioctl(fd, VIDIOC_S_FMT,&fmt);
系統(tǒng)設(shè)置圖像采集分辨率為640×480,圖像格式為 RGB565。
(4)啟動(dòng)圖像采集
ret=ioctl(fd,VIDIOC_STREAMON, &type);
(5)讀取圖像數(shù)據(jù)
size=read(fd,img_buf, 640×480×2)。
系統(tǒng)啟動(dòng)視頻采集后,對(duì)采集的視頻幀進(jìn)行簡(jiǎn)化KDE背景建模,再對(duì)新采集的視頻幀進(jìn)行簡(jiǎn)化KDE背景建模來(lái)完成場(chǎng)景的運(yùn)動(dòng)前景分割和背景模型更新。若判斷出有運(yùn)動(dòng)前景出現(xiàn),則通過(guò)JPEG壓縮該幀圖片保存到SD卡。
2 背景建模
2.1 傳統(tǒng)的KDE背景建模算法
假設(shè)x1,x2,…,xN是連續(xù)視頻中關(guān)于一個(gè)像素點(diǎn)A的一組強(qiáng)度或顏色值樣本,則可以對(duì)像素點(diǎn)A的任意強(qiáng)度或顏色值進(jìn)行核密度估計(jì)得到其概率分布。如式(1)所示,給定t時(shí)刻像素點(diǎn)A的強(qiáng)度或顏色值xt,則其核密度估計(jì)定義為:
3 實(shí)驗(yàn)結(jié)果與分析
通過(guò)利用系統(tǒng)在戶外進(jìn)行實(shí)驗(yàn),并比較傳統(tǒng)KDE算法、參考文獻(xiàn)[3]算法和本文算法的運(yùn)行結(jié)果。該實(shí)驗(yàn)視頻持續(xù)時(shí)間為4 h 25 min 8 s,分割結(jié)果如圖3所示??梢钥闯觯瑓⒖嘉墨I(xiàn)[3]算法、本文算法和傳統(tǒng)KDE算法分割出的運(yùn)動(dòng)物體前景基本相同,不同的是前兩者都出現(xiàn)了分布較均勻的細(xì)小背景噪聲點(diǎn),這些噪聲點(diǎn)可通過(guò)形態(tài)學(xué)處理去除干凈,不影響運(yùn)動(dòng)物體的分割。其中,參考文獻(xiàn)[3]算法與本文算法分割結(jié)果相似,只有局部細(xì)小差異。因此,本文算法的分割結(jié)果良好,能夠清晰地辨別出運(yùn)動(dòng)前景。
表1統(tǒng)計(jì)出圖3實(shí)驗(yàn)中對(duì)應(yīng)動(dòng)態(tài)背景分割算法每個(gè)像素點(diǎn)的運(yùn)行時(shí)間和模型個(gè)數(shù)。其中,參考文獻(xiàn)[3]的算法和本文算法的視頻序列中的模型最大個(gè)數(shù)分別為4、8,主要集中在隨風(fēng)擺動(dòng)背景樹(shù)葉處。背景模型個(gè)數(shù)越多,像素點(diǎn)所需運(yùn)行時(shí)間越長(zhǎng),最大時(shí)間的消耗就發(fā)生在這些點(diǎn)上。如表1所示,傳統(tǒng)KDE算法平均時(shí)間是參考文獻(xiàn)[3]算法平均時(shí)間的35倍,左右參考文獻(xiàn)[3]算法平均時(shí)間是本文算法平均時(shí)間的1.5倍左右。
參考文獻(xiàn)[3]算法和本文算法通過(guò)對(duì)像素點(diǎn)的量化劃分和在線學(xué)習(xí)完成近似的核密度估計(jì),代替?zhèn)鹘y(tǒng)KDE計(jì)算中必須考慮像素點(diǎn)在觀察時(shí)間段內(nèi)所有特征值這個(gè)缺點(diǎn),從而大幅度降低了算法的運(yùn)算復(fù)雜度。另外,只需保存已建立的模型特征值,減少對(duì)內(nèi)存容量的需求,特別是當(dāng)背景比較簡(jiǎn)單的時(shí)候這個(gè)優(yōu)點(diǎn)更是突出。不同的是量化后樣本粒度稍大,是背景場(chǎng)景的近似概率密度分布,出現(xiàn)了分布較均勻的細(xì)小背景噪聲點(diǎn)。本文算法和參考文獻(xiàn)[3]的算法相比,不用轉(zhuǎn)換顏色空間,簡(jiǎn)化了量化劃分方式,兩者在分割結(jié)果相似的基礎(chǔ)上本文算法在速度上優(yōu)于參考文獻(xiàn)[3]的算法,更滿足嵌入式系統(tǒng)內(nèi)存小、主頻一般的情形。
本文設(shè)計(jì)的基于簡(jiǎn)化KDE的動(dòng)態(tài)背景分割系統(tǒng),通過(guò)量化特征以及在線學(xué)習(xí)策略來(lái)簡(jiǎn)化KDE背景建模算法,大幅度降低了運(yùn)算的復(fù)雜度和對(duì)內(nèi)存容量的需求。實(shí)驗(yàn)驗(yàn)證,算法運(yùn)行結(jié)果良好,速度遠(yuǎn)高于傳統(tǒng)KDE算法和參考文獻(xiàn)[3]的簡(jiǎn)化算法,滿足了需要?jiǎng)討B(tài)背景分割的現(xiàn)場(chǎng)監(jiān)控應(yīng)用。
參考文獻(xiàn)
[1] STAFFER C, GRIMSON W E L. Adaptive background mixture models for real-time tracking[A]. In: Proceedings of the Computer Society on Computer Vision and Pattern Recognition. FortCollins, USA, 1999.
[2] ELGAMMAL A, DURAISWAMI R, HARWOOD D, et al. Background and foreground modeling using nonparametric kernel density estimation for visual surveillance[J]. Proc.of the IEEE, 2002,90(7):1151-1163.
[3] Xu Shaoqiu. Dynamic background modeling for foreground segmentation[C].8th IEEE/ACIS International Conference on Computer and Information Science (ICIS 2009), Shanghai,
China, 2009: 599-604.
[4] Samsung Electronics Inc.S3C6410X,risc microprocessor[Z].
(REV 1.10)User′s Manual 2008.