《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 設(shè)計(jì)應(yīng)用 > 交通場景中的實(shí)時(shí)多目標(biāo)自動(dòng)跟蹤算法
交通場景中的實(shí)時(shí)多目標(biāo)自動(dòng)跟蹤算法
2015年電子技術(shù)應(yīng)用第10期
隋修武,田 松,余保付,葛 輝
(天津工業(yè)大學(xué) 機(jī)械工程學(xué)院 天津市現(xiàn)代機(jī)電裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室,天津300387)
摘要: 針對交通場景中多目標(biāo)跟蹤過程中實(shí)時(shí)性和魯棒性的問題,提出一種基于混合高斯和稀疏光流的多目標(biāo)自動(dòng)跟蹤算法。該算法利用自適應(yīng)背景差分法提取前景目標(biāo),用特征點(diǎn)對目標(biāo)進(jìn)行表達(dá),通過稀疏光流算法建立起前后幀間的數(shù)據(jù)關(guān)聯(lián),并通過模版更新機(jī)制來降低可能的較大形變帶來的干擾。實(shí)驗(yàn)結(jié)果表明,該算法適用于多數(shù)交通場景,實(shí)時(shí)性較好,對光照和噪聲都具有很強(qiáng)的魯棒性,可以實(shí)現(xiàn)對多目標(biāo)的準(zhǔn)確而又穩(wěn)定的跟蹤。
中圖分類號: TP391.4
文獻(xiàn)標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.2015.10.038

中文引用格式: 隋修武,田松,余保付,等. 交通場景中的實(shí)時(shí)多目標(biāo)自動(dòng)跟蹤算法[J].電子技術(shù)應(yīng)用,2015,41(10):139-142,146.
英文引用格式: Sui Xiuwu,Tian Song,Yu Baofu,et al. Real time multi-objects automatic tracking algorithm in traffic scene[J].Application of Electronic Technique,2015,41(10):139-142,146.
Real time multi-objects automatic tracking algorithm in traffic scene
Sui Xiuwu,Tian Song,Yu Baofu,Ge Hui
Tianjin Key Laboratory of Advanced Mechatronics Equipment Technology, School of Mechanical Engineering,Tianjin Polytechnic University,Tianjin 300387,China
Abstract: To address the issue of real-time and robustness to the multi-objects detection and tracking technology in traffic scene, this paper presentes a real time multi-objects automatic tracking algorithm base on Gaussian mixture and sparse optical flow. Moving targets were extracted by adaptive background subtraction algorithm and feature points were used to express targets. Then it established the data association between correlating frames by sparse optical flow algorithm. And it used the template update mechanism to deal with the problem of the big deformation. Experimental results show that the proposed method can be applied to most traffic scenes. It is robust to light and noise and can realize accurate and stable tracking of multi targets.
Key words : multi-objects tracking;Gaussian mixture;sparse optical flow;template update

 

0 引言

  隨著城市化進(jìn)程的加快,交通狀況日益惡化,基于視頻的檢測和跟蹤逐漸成為受到關(guān)注的研究領(lǐng)域。目前目標(biāo)跟蹤技術(shù)的難點(diǎn)有數(shù)據(jù)的關(guān)聯(lián)問題、顏色的相似性、背景的穩(wěn)定性和復(fù)雜性、目標(biāo)尺寸的變化和實(shí)時(shí)性等[1-2]。目標(biāo)跟蹤常用的方法有:基于顏色特征的Meanshift和Camshift[3-4],基于貝葉斯估計(jì)的卡爾曼濾波[5],基于蒙特卡洛方法的粒子濾波[6-7],還有基于光流計(jì)算的光流跟蹤[8-9]。然而在跟蹤的過程中,如果目標(biāo)與背景顏色相近或目標(biāo)之間顏色相近,則基于顏色特征的跟蹤方法會(huì)失效;實(shí)際場景中目標(biāo)的運(yùn)動(dòng)比較復(fù)雜,而卡爾曼濾波器要求目標(biāo)具有線性高斯運(yùn)動(dòng)的特性,因此跟蹤效果不理想;粒子濾波在跟蹤多目標(biāo)時(shí),實(shí)時(shí)性是一個(gè)突出的問題,時(shí)間開銷會(huì)隨著目標(biāo)數(shù)的增多而呈指數(shù)性增長;光流分為稠密光流和稀疏光流,而稠密光流需要計(jì)算圖像中的所有像素點(diǎn),效率低。

  針對以上問題,提出一種結(jié)合混合高斯模型和稀疏光流的多目標(biāo)跟蹤算法。

1 算法基本思想


001.jpg

  本文算法框架如圖1所示,首先通過混合高斯模型進(jìn)行背景建模,背景差分獲得前景區(qū)域,形態(tài)學(xué)處理和濾波得到前景目標(biāo),同時(shí)在車輛進(jìn)入場景的入口處設(shè)定車輛檢測區(qū)域,進(jìn)行新目標(biāo)的進(jìn)入檢測,從而確定進(jìn)入場景中目標(biāo)的個(gè)數(shù),這樣可以通過先驗(yàn)知識提前避免對整個(gè)場景進(jìn)行目標(biāo)的檢測,提高效率的同時(shí)又能在后續(xù)非檢測區(qū)域進(jìn)行跟蹤時(shí)一定程度上規(guī)避目標(biāo)的合并與分離的問題;然后對檢測到的車輛目標(biāo)進(jìn)行Harris特征點(diǎn)的提取,用提取的特征點(diǎn)對目標(biāo)進(jìn)行標(biāo)識,這樣不僅對噪聲不敏感,還可以抵抗光照變換帶來的影響;接著對提取的特征點(diǎn)進(jìn)行光流運(yùn)動(dòng)估計(jì),預(yù)測特征點(diǎn)的運(yùn)動(dòng)位置,然后在跟蹤的過程中適時(shí)地對目標(biāo)跟蹤模版進(jìn)行更新,從而保證了目標(biāo)跟蹤的準(zhǔn)確性和穩(wěn)定性;而且本算法采用無監(jiān)督的運(yùn)動(dòng)目標(biāo)檢測、提取和跟蹤,實(shí)現(xiàn)在視頻序列中自動(dòng)檢測并跟蹤多目標(biāo)。

2 新目標(biāo)檢測與提取

  2.1 前景分割

  利用混合高斯模型建立起背景圖像,通過當(dāng)前幀圖像與背景圖像的差分獲得包含運(yùn)動(dòng)目標(biāo)的前景圖像。由于背景建模的精確性,會(huì)有一些前景的像素沒有檢測出來,形成空洞,還有一些背景的像素由于誤檢測而被判定為前景,成為一些零星的噪聲點(diǎn)。所以需要對前景圖像進(jìn)行進(jìn)一步的處理,在對前景圖像進(jìn)行二值化操作之后,利用高斯濾波和中值濾波進(jìn)行平滑處理和去噪處理,這時(shí)得到的圖像再利用形態(tài)學(xué)處理使得前景區(qū)域更加完整。

  2.2 新目標(biāo)的檢測

  在視頻圖像上設(shè)定新目標(biāo)的進(jìn)入檢測區(qū)域,來捕捉新目標(biāo)的出現(xiàn)。在這過程中建立潛在目標(biāo)列表(potential_list),通過測量目標(biāo)的中心位置(xc,yc)記錄目標(biāo)的狀態(tài),用這個(gè)測量和新目標(biāo)建立關(guān)聯(lián)來定義新目標(biāo)的出現(xiàn),根據(jù)車輛相對場景的位置大小設(shè)立閾值(xT,yT),若|xc-xT|≤T或|yc-yT|≤T(T為常數(shù))則判定為新目標(biāo)出現(xiàn),然后用矩形框來擬合目標(biāo)輪廓,把擬合的矩形框加入到待跟蹤目標(biāo)列表(temp_list)當(dāng)中,得出運(yùn)動(dòng)目標(biāo)描述的矩形。

  2.3 目標(biāo)提取與標(biāo)識

  在捕捉到新目標(biāo)之后,就需要對新目標(biāo)建立跟蹤關(guān)系。由于車輛目標(biāo)為剛體且紋理豐富,可以提取出一定數(shù)量而且可以精確定位穩(wěn)定的特征點(diǎn),因此本文采用基于Harris特征點(diǎn)的數(shù)據(jù)關(guān)聯(lián)跟蹤,利用Harris特征點(diǎn)來標(biāo)識目標(biāo)。Harris特征檢測器是一種經(jīng)典的角點(diǎn)檢測方法,在紋理信息豐富的區(qū)域,Harris可以提取出大量有用的特征點(diǎn),而且Harris的計(jì)算公式中只涉及到一階導(dǎo)數(shù),因此對圖像旋轉(zhuǎn)、灰度變化、噪聲影響和視點(diǎn)變換不敏感。

3 多目標(biāo)的跟蹤

  3.1 Lucas-Kanade(LK)光流

  LK光流算法是一種應(yīng)用最廣泛的求稀疏光流的方法, LK光流算法基于以下三點(diǎn)假設(shè):

  (1)亮度恒定,即像素在幀間運(yùn)動(dòng)時(shí),像素值保持不變;

  (2)圖像的變化相對于時(shí)間的變化微小;

  (3)在一個(gè)小的局部區(qū)域(n×n)內(nèi)像素運(yùn)動(dòng)一致,亮度恒定。

  由假設(shè)(1)可得:

  V]L0E{3YCK91(Y}(MF~I51Z.png

  3.2 特征點(diǎn)聚類成目標(biāo)

  通過光流運(yùn)動(dòng)估計(jì),在當(dāng)前幀中找到上一幀目標(biāo)框中的特征點(diǎn)在這一幀中的對應(yīng)位置,然后將這若干個(gè)特征點(diǎn)在相鄰兩幀之間的位移變化進(jìn)行排序,得到位移變化的中值(um,vm),把(um,vm)作為目標(biāo)中心點(diǎn)的位移變化,即目標(biāo)中心xci=xci-1+um,yci=yci-1+vm,計(jì)算特征點(diǎn)之間x向的最大距離Xmax和y向的最大距離Ymax。

  3.3 模版更新策略

  為了使跟蹤算法能夠適應(yīng)目標(biāo)自身的旋轉(zhuǎn)與尺度變化,需要在跟蹤過程中對目標(biāo)跟蹤模板進(jìn)行更新。令n0為目標(biāo)初始特征點(diǎn)個(gè)數(shù),ni為第i幀圖像中光流估計(jì)目標(biāo)區(qū)域內(nèi)的特征點(diǎn)個(gè)數(shù)。當(dāng)著時(shí)初步判斷需要更新模板。然后提取當(dāng)前幀目標(biāo)所在位置的前景區(qū)域,并用矩形框進(jìn)行擬合,矩形框面積用Si表示,Si-1表示上一幀目標(biāo)框的面積。若OXTIC])40M](X8Y42}RXFQQ.png則說明目標(biāo)發(fā)生了遮擋,則暫時(shí)不進(jìn)行模版更新,否則會(huì)出現(xiàn)“漂移”現(xiàn)象,從而可能導(dǎo)致跟蹤目標(biāo)丟失,直到檢測到遮擋結(jié)束則繼續(xù)進(jìn)行模版更新,若AI6V]_%UY7E2`1EJ{MA1WAI.png則更新目標(biāo)區(qū)域,提取目標(biāo)特征點(diǎn),然后更新模版。模版更新流程如圖2所示。

002.jpg

  4 實(shí)驗(yàn)結(jié)果與分析

  為了驗(yàn)證本算法的有效性,分別對智能卡口、城市道路、高速公路3種不同的場景以及不同的視角進(jìn)行了多個(gè)運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)自動(dòng)跟蹤。

003.jpg

  3種場景下的車輛跟蹤結(jié)果如圖3所示,可以看到本算法整體的跟蹤效果。如圖3(a)、3(c)所示,在跟蹤車輛的過程中生成目標(biāo)的運(yùn)動(dòng)軌跡;如圖3(c)所示,在車輛跟蹤的同時(shí),對車流量進(jìn)行了一個(gè)統(tǒng)計(jì)。如圖4(a)所示,被跟蹤車輛在發(fā)生轉(zhuǎn)彎時(shí)車輛發(fā)生較大形變導(dǎo)致原先的一部分特征點(diǎn)失效,直至跟蹤丟失。而在圖4(b)中,本文提出的跟蹤算法具備自檢能力則很好地解決了目標(biāo)發(fā)生形變時(shí)跟蹤失敗的問題。

004.jpg

  表1記錄了不同視頻段的跟蹤情況,以及處理不同視頻段時(shí)的處理速度。圖5分別展示了3段視頻每幀的處理時(shí)間,可以看出處理時(shí)間呈階梯狀分布,階梯的高低表示處理目標(biāo)個(gè)數(shù)的不同,如表2所示。

008.jpg

5 結(jié)論

  針對車輛的多目標(biāo)跟蹤中出現(xiàn)的難點(diǎn),本文提出一種車輛的實(shí)時(shí)自動(dòng)跟蹤算法,該算法利用GMM進(jìn)行背景建模,結(jié)合形態(tài)學(xué)濾波處理分割提取出前景目標(biāo),利用Harris特征點(diǎn)對目標(biāo)進(jìn)行標(biāo)識,然后運(yùn)用特征光流運(yùn)動(dòng)估計(jì)進(jìn)行基于角點(diǎn)動(dòng)態(tài)特征的跟蹤,并在跟蹤的過程中適時(shí)進(jìn)行模版的自動(dòng)更新。實(shí)驗(yàn)結(jié)果表明,該方法也能很好地適應(yīng)目標(biāo)尺度的變化,通過設(shè)置車輛的存在和消失參數(shù),實(shí)現(xiàn)車輛運(yùn)動(dòng)目標(biāo)的自動(dòng)跟蹤,并具有較好的實(shí)時(shí)性。本文算法存在的一個(gè)局限是當(dāng)目標(biāo)個(gè)數(shù)過多或跟蹤目標(biāo)被嚴(yán)重遮擋時(shí),跟蹤效果則不是很理想。因此,在今后還需要對目標(biāo)遮擋跟蹤作進(jìn)一步的研究。

參考文獻(xiàn)

  [1] YANG H,SHAO L,ZHENG F,et al.Recent advances and trends in visual tracking: a review[J].Neurocomputing,2011,74(18):3823-3831.

  [2] 侯志強(qiáng),韓崇昭.視覺跟蹤技術(shù)綜述[J].自動(dòng)化學(xué)報(bào),2006,32(4):603-617.

  [3] LI Z,TANG Q L,SANG N.Improved mean shift algorithm for occlusion pedestrian tracking[J].Electronics Letters,2008,44(10):622-623.

  [4] 夏瑜,吳小俊,馮振華.基于特征貢獻(xiàn)度的Mean Shift 視頻跟蹤算法[J].控制與決策,2012,27(7):1021-1026.

  [5] 戴洪德,陳明,周紹磊,等.基于支持向量機(jī)的自適應(yīng)卡爾曼濾波技術(shù)研究[J].控制與決策,2008,23(8):949-952.

  [6] 陳金廣,馬麗麗,陳亮.基于邊緣粒子濾波的目標(biāo)跟蹤算法研究[J].計(jì)算機(jī)工程與應(yīng)用,2010,46(28):128-131.

  [7] 李培華.一種新穎的基于顏色信息的粒子濾波器跟蹤算法[J].計(jì)算機(jī)學(xué)報(bào),2009,32(12):2454-2463.

  [8] BRUHN A,WEICKERT J.Combining local and global opticflow methods[J].International Journal of Computer Vision,2005,61(3):211-231.

  [9] TU D W,JIANG J L.Improved algorithm for motion image based on optical flow and its application[J].Optics Precision Engineering,2011,19(5):1159-1164.


此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。