文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.182261
中文引用格式: 席阿行,趙津,周滔,等. UAV/UGV協(xié)同環(huán)境下的目標(biāo)識(shí)別與全局路徑規(guī)劃研究[J].電子技術(shù)應(yīng)用,2019,45(1):5-9.
英文引用格式: Xi A′xing,Zhao Jin,Zhou Tao,et al. Target searching and global path planning in UAV/UGV cooperative systems[J]. Application of Electronic Technique,2019,45(1):5-9.
0 引言
單獨(dú)的無(wú)人機(jī)(UAV)與單獨(dú)的無(wú)人車(chē)(UGV)在工作方式、搭載傳感器等方面存在顯著不同,在感知、負(fù)載、速度、視野獲取等方面也有很強(qiáng)的互補(bǔ)性。圖1為典型的UAV/UGV協(xié)同系統(tǒng),圖2為不同視角下獲取的環(huán)境信息,由圖可知UGV由于視野缺陷難以獲取障礙物信息,相反UAV在廣闊的視野下可以獲取障礙物信息,這樣使得UAV/UGV協(xié)同系統(tǒng)在執(zhí)行目標(biāo)跟蹤與救援、軍事邊境監(jiān)視等任務(wù)時(shí)發(fā)揮著顯著的作用[1-2]。但是由于環(huán)境與任務(wù)的復(fù)雜性,仍然存在感知、決策和執(zhí)行三個(gè)方面的問(wèn)題需要解決。
UAV/UGV協(xié)同系統(tǒng)中環(huán)境感知主要解決目標(biāo)識(shí)別與定位問(wèn)題。其中視覺(jué)傳感器是解決感知問(wèn)題的重要手段。CHAIMOWICZ L等[3]搭建了UAV/UGV協(xié)同系統(tǒng)框架以及基于視覺(jué)的目標(biāo)檢測(cè)與定位算法。中科院谷豐等[4]探索了利用空地機(jī)器人實(shí)現(xiàn)協(xié)作導(dǎo)航的方法,基于YCbRc顏色空間對(duì)動(dòng)目標(biāo)檢測(cè)并利用波門(mén)跟蹤器實(shí)現(xiàn)了對(duì)地面機(jī)器人的跟蹤,但是僅在室內(nèi)環(huán)境中驗(yàn)證了該方法。
在UAV/UGV協(xié)同系統(tǒng)的UGV路徑規(guī)劃研究中,GANESHMURTHY M S[5]提出了一種面向啟發(fā)式的方法來(lái)搜索可行的初始路徑,擬解決動(dòng)態(tài)環(huán)境問(wèn)題。ZHAO J等人[6]提出改進(jìn)人工勢(shì)場(chǎng)法,實(shí)現(xiàn)了UGV路徑規(guī)劃。但是,人工勢(shì)場(chǎng)法對(duì)于不同障礙物要設(shè)不同的目標(biāo)函數(shù)。
為了提高UAV/UGV協(xié)同系統(tǒng)執(zhí)行任務(wù)的效率,本文提出一種基于視覺(jué)傳感器下目標(biāo)識(shí)別與全局路徑規(guī)劃方法,主要工作包括:(1)UAV用高空視野獲取環(huán)境信息,實(shí)現(xiàn)目標(biāo)物的定位與障礙物的識(shí)別;(2)根據(jù)UAV獲取的環(huán)境信息,提出優(yōu)化A*算法,實(shí)現(xiàn)無(wú)人車(chē)全局路徑規(guī)劃;(3)分別在簡(jiǎn)單與復(fù)雜環(huán)境下驗(yàn)證了所提出算法的正確性。
1 典型場(chǎng)景構(gòu)建和環(huán)境建模
1.1 典型場(chǎng)景構(gòu)建
UAV/UGV協(xié)同系統(tǒng)可以執(zhí)行人類(lèi)難以接近的復(fù)雜場(chǎng)景。以典型的救援場(chǎng)景為研究對(duì)象,如圖3所示,起點(diǎn)(UGV)為無(wú)人車(chē),終點(diǎn)(D)為目標(biāo)物(搜救物),中間其他的視為障礙物。
1.2 復(fù)雜環(huán)境中的目標(biāo)識(shí)別
為了獲取搜救的目標(biāo)物,環(huán)境感知的首要任務(wù)是目標(biāo)識(shí)別。目標(biāo)識(shí)別如圖4所示。
1.3 圖像處理
圖像處理是為了減少噪聲、污染等因素對(duì)目標(biāo)識(shí)別準(zhǔn)確性的干擾[7]。
1.3.1 圖像灰度化
灰度化處理是將RGB模型加權(quán)平均的方法[8]。其中Wr、Wg、Wb分別為R、G、B的權(quán)值。為了符合人類(lèi)視覺(jué)的灰度值,Wr=0.3,Wg=0.59,Wb=0.11。
1.3.2 提取環(huán)境中目標(biāo)物
SURF(Speeded Up Robust Features)算法在特征提取匹配算法中針對(duì)圖像平移、旋轉(zhuǎn)、噪聲影響等具有較強(qiáng)的魯棒性[9-10]。
SURF算法仿真結(jié)果如圖5所示。上述實(shí)驗(yàn)結(jié)果可用于后續(xù)任務(wù)UGV的路徑規(guī)劃中。
1.3.3 基于HSV空間的障礙物識(shí)別
(1)空間轉(zhuǎn)化。UAV搭載的視覺(jué)傳感器采集的環(huán)境信息極易受到光線變化的影響,因此,采用HSV色彩空間模型[11]。
(2)圖像二值化。為了更好地反映障礙物的信息,對(duì)UAV獲取的圖像進(jìn)行二值化處理。圖像二值化是將障礙物表達(dá)為1,圖像背景表達(dá)為0。
其中,f(x,y)為圖像灰度值,T為灰度值閾值。圖像在HSV空間下二值化如圖6所示。
根據(jù)SURF算法與圖像分割技術(shù),上述圖像通過(guò)坐標(biāo)系可轉(zhuǎn)化為UGV可執(zhí)行的地圖信息。UGV地圖信息如圖7所示。
2 坐標(biāo)轉(zhuǎn)化
UAV獲取的是以像素為單位的環(huán)境信息,為了實(shí)現(xiàn)UGV的全局路徑規(guī)劃,需要將像素坐標(biāo)系轉(zhuǎn)化為世界坐標(biāo)系[12]。其中主要坐標(biāo)系如圖8所示,O0uv為像素坐標(biāo)系,O1X1Y1Z1為圖像坐標(biāo)系,OcXcYcZc為相機(jī)坐標(biāo)系(無(wú)人機(jī)坐標(biāo)系),OGXGYGZG為無(wú)人車(chē)坐標(biāo)系,OwXwYwZw為世界坐標(biāo)系。
2.1 UAV的坐標(biāo)系轉(zhuǎn)化
UAV的運(yùn)動(dòng)為三維空間中剛性運(yùn)動(dòng),為了避免相機(jī)運(yùn)動(dòng)產(chǎn)生誤差,相機(jī)坐標(biāo)系簡(jiǎn)化為無(wú)人機(jī)坐標(biāo)系,獲取的圖像像素坐標(biāo)在世界坐標(biāo)系中的齊次方程為:
其中,Z為P點(diǎn)在相機(jī)坐標(biāo)系的位置,Puv為P點(diǎn)的像素坐標(biāo)系,K為相機(jī)內(nèi)參數(shù)矩陣,R1為旋轉(zhuǎn)矩陣,t1為平移向量,Pw為P點(diǎn)的世界坐標(biāo)系。
2.2 UGV的坐標(biāo)系轉(zhuǎn)化
UGV在平面內(nèi)的運(yùn)動(dòng)是在世界坐標(biāo)系中的旋轉(zhuǎn)與平移變化,齊次方程如下:
其中,R2為UGV到世界坐標(biāo)系的旋轉(zhuǎn)矩陣,t2為UGV到世界坐標(biāo)系的平移向量。通過(guò)坐標(biāo)系轉(zhuǎn)化實(shí)現(xiàn)車(chē)輛的自主導(dǎo)航。
3 UGV的全局路徑規(guī)劃
無(wú)人車(chē)的路徑規(guī)劃根據(jù)環(huán)境信息可以分為局部路徑規(guī)劃與全局路徑規(guī)劃。相對(duì)于局部路徑規(guī)劃,全局路徑規(guī)劃具有明顯的優(yōu)勢(shì)。本文首先分析對(duì)比了典型的全局路徑規(guī)劃雙向快速擴(kuò)展隨機(jī)樹(shù)算法(BRRT)與A*算法,最后優(yōu)化了A*算法。
3.1 雙向快速擴(kuò)展隨機(jī)樹(shù)(BRRT)
BRRT算法實(shí)現(xiàn)是在RRT算法基礎(chǔ)上?;舅枷肴鐖D9所示,由一個(gè)度量函數(shù)、隨機(jī)采樣算法和組態(tài)空間所組成[13]。尋找從起點(diǎn)qinit到目標(biāo)qgoal的可行路徑。
3.2 A*算法
A*算法是用已知信息構(gòu)造啟發(fā)函數(shù),要求滿足距離最近等指標(biāo),在規(guī)劃路徑時(shí)對(duì)運(yùn)動(dòng)點(diǎn)進(jìn)行指標(biāo)評(píng)價(jià)[14]。A*算法的函數(shù)為:
其中,f(n)是從起始點(diǎn)到目標(biāo)點(diǎn)的評(píng)價(jià)函數(shù),g(n)是啟發(fā)函數(shù),h(n)是從起始點(diǎn)到n點(diǎn)的實(shí)際代價(jià)。
3.3 優(yōu)化的A*算法
雖然A*算法實(shí)現(xiàn)了UGV的全局路徑規(guī)劃,但是A*算法設(shè)計(jì)出的路徑在拐點(diǎn)處有明顯的尖峰與波動(dòng),在實(shí)際環(huán)境中UGV無(wú)法實(shí)現(xiàn)路徑跟蹤[15]。考慮到UGV自身運(yùn)動(dòng)與動(dòng)力學(xué)約束,本文提出優(yōu)化A*算法,將路徑出現(xiàn)拐角的地方利用梯度法作平滑處理。其基本原理是使Z取得最小值。
4 仿真研究與結(jié)果分析
4.1 簡(jiǎn)單的實(shí)驗(yàn)場(chǎng)景仿真
首先用UAV獲取簡(jiǎn)單的實(shí)驗(yàn)場(chǎng)景,經(jīng)過(guò)圖像處理獲取UGV規(guī)劃地圖,如圖10所示。
用上述UAV獲取的地圖對(duì)提及的全局路徑規(guī)劃算法進(jìn)行了20組實(shí)驗(yàn),取相同的起點(diǎn)(50,650)與相同的終點(diǎn)(650,50)用MATLAB進(jìn)行仿真驗(yàn)證。實(shí)驗(yàn)結(jié)果如圖11與表1所示。
仿真結(jié)果表明:A*算法相對(duì)于BRRT算法路徑來(lái)說(shuō)路徑平均距離短,實(shí)時(shí)性更優(yōu);優(yōu)化的A*算法相對(duì)于A*算法來(lái)說(shuō)雖然平均時(shí)間增加了一點(diǎn),但是優(yōu)化的A*算法路徑平均距離更短,優(yōu)化了所有的拐點(diǎn),更適合UGV跟蹤。因此優(yōu)化的A*算法可以實(shí)時(shí)地規(guī)劃出無(wú)碰撞、路徑較短的路徑。
4.2 復(fù)雜的實(shí)驗(yàn)場(chǎng)景應(yīng)用
為了進(jìn)一步確定提出的UAV/UGV協(xié)同環(huán)境下的目標(biāo)識(shí)別算法與全局路徑規(guī)劃算法,在實(shí)際更復(fù)雜環(huán)境中采用SURF算法進(jìn)行圖像分割能實(shí)現(xiàn)地圖建立,如圖7所示。將提出的優(yōu)化A*算法在上述地圖中應(yīng)用,實(shí)驗(yàn)結(jié)果如圖12、圖13和表2所示所示。
上述結(jié)果表明優(yōu)化的A*算法優(yōu)化了路徑的拐點(diǎn),可以實(shí)現(xiàn)UGV路徑跟蹤。
5 結(jié)束語(yǔ)
針對(duì)無(wú)人機(jī)與無(wú)人車(chē)協(xié)同系統(tǒng)中的關(guān)鍵研究點(diǎn):目標(biāo)定位與障礙物識(shí)別、路徑規(guī)劃,本文利用UAV/UGV協(xié)同系統(tǒng)中UAV的視野優(yōu)勢(shì),驗(yàn)證了SURF算法在識(shí)別目標(biāo)物有很強(qiáng)的魯棒性,建立了UGV可執(zhí)行的地圖;在簡(jiǎn)單環(huán)境中對(duì)比了全局路徑規(guī)劃算法的實(shí)時(shí)性與最優(yōu)性,驗(yàn)證了提出的優(yōu)化A*算法更適合于無(wú)人車(chē)跟蹤;最后將提出的UAV/UGV協(xié)同環(huán)境下的目標(biāo)識(shí)別與全局路徑規(guī)劃應(yīng)用于復(fù)雜的實(shí)際環(huán)境中。實(shí)驗(yàn)表明,所提出的方法可以提高UAV/UGV協(xié)同系統(tǒng)執(zhí)行任務(wù)的效率,為后續(xù)UAV/UGV協(xié)同系統(tǒng)下的各種任務(wù)規(guī)劃和研究工作提供了基礎(chǔ)條件。
參考文獻(xiàn)
[1] KIM J, KIM Y.Moving ground target tracking in dense obstacle areas using UAVs[J].IFAC Proceedings Volumes,2008,41(2):8552-8557.
[2] TANG Z,OZGUNER U.Sensor fusion for target track main-tenance with multiple UAVs based on Bayesian filtering method and Hospitability Map[C].IEEE Conference on Decision and Control,2003.Proceedings.IEEE,2004,1:19-24.
[3] CHAIMOWICZ L,COWLEY A,GOMEZ-IBANEZ D,et al.Deploying air-ground multi-robot teams in urban environ-ments[M].Multi-Robot Systems.From Swarms to Intelligent Automata Volume III.Springer Netherlands,2005:223-234.
[4] 谷豐,王爭(zhēng),宋琦,等.空地機(jī)器人協(xié)作導(dǎo)航方法與實(shí)驗(yàn)研究[J].中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào),2012,42(5):398-404.
[5] GANESHMURTHY M S,SURESH G R.Path planning algorithm for autonomous mobile robot in dynamic environment[C].International Conference on Signal Processing,Communication and Networking.IEEE,2015:1-6.
[6] HU Q,ZHAO J,HAN L.Cooperative path planning for intelligent vehicle using unmanned air and ground vehicles[C].Chinese Intelligent Systems Conference.Springer,Singapore,2017:603-611.
[7] 陳明生.圖像配準(zhǔn)技術(shù)研究與應(yīng)用[D].長(zhǎng)沙:國(guó)防科學(xué)技術(shù)大學(xué),2006.
[8] SHI Q,ZHAO J,HAN L,et al.Dynamic lane tracking system based on multi-model fuzzy controller[C].IEEE International Conference on Mechatronics and Automation.IEEE,2016:873-877.
[9] 石雅筍.改進(jìn)的SURF圖像配準(zhǔn)算法研究[D].成都:電子科技大學(xué),2011.
[10] 陳小丹,杜宇人,高秀斌.一種基于SURF的圖像特征點(diǎn)快速匹配算法[J].揚(yáng)州大學(xué)學(xué)報(bào)(自然科學(xué)版),2012,15(4):64-67.
[11] 周榆豐.天車(chē)吊運(yùn)系統(tǒng)中運(yùn)動(dòng)目標(biāo)識(shí)別與匹配方法研究[D].唐山:河北聯(lián)合大學(xué),2014.
[12] 朱瑋.基于視覺(jué)的四旋翼飛行器目標(biāo)識(shí)別及跟蹤[D].南京:南京航空航天大學(xué),2014.
[13] 劉成菊,韓俊強(qiáng),安康.基于改進(jìn)RRT算法的RoboCup機(jī)器人動(dòng)態(tài)路徑規(guī)劃[J].機(jī)器人,2017,39(1):8-15.
[14] 楊占龍.基于特征點(diǎn)的圖像配準(zhǔn)與拼接技術(shù)研究[D].西安:西安電子科技大學(xué),2008.
[15] Zhang Qifei,Guo Tailiang.Global path planning algorithm of robot based on multistage decision[J].Computer Engineering,2016,42(10):296-302.
作者信息:
席阿行,趙 津,周 滔,胡秋霞
(貴州大學(xué) 機(jī)械工程學(xué)院,貴州 貴陽(yáng)550025)