《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 設(shè)計應(yīng)用 > 面向圖像三維重建的無人機(jī)航線規(guī)劃
面向圖像三維重建的無人機(jī)航線規(guī)劃
2019年電子技術(shù)應(yīng)用第3期
吳宇豪,安籽鵬
信息工程大學(xué) 地理空間信息學(xué)院,河南 鄭州450000
摘要: 隨著無人機(jī)技術(shù)的發(fā)展,無人機(jī)序列影像三維重建越來越受到人們的關(guān)注。為完整重建任務(wù)區(qū)域的三維模型并減少無人機(jī)飛行功耗,提出一種面向圖像三維重建的無人機(jī)航線規(guī)劃算法。針對凸多邊形任務(wù)區(qū)域,在圖像重疊度和時間連續(xù)性的要求下,基于光柵法規(guī)劃掃描航線并結(jié)合最佳掃描方向使得轉(zhuǎn)彎次數(shù)最少。借助Gazebo仿真平臺,對比驗證了無人機(jī)按照該算法規(guī)劃的航線飛行時功耗更小,且拍攝得到的序列影像能夠重建任務(wù)區(qū)域三維模型。
中圖分類號: TP79
文獻(xiàn)標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.183273
中文引用格式: 吳宇豪,安籽鵬. 面向圖像三維重建的無人機(jī)航線規(guī)劃[J].電子技術(shù)應(yīng)用,2019,45(3):76-79,87.
英文引用格式: Wu Yuhao,An Zipeng. UAV route planning for image 3D reconstruction[J]. Application of Electronic Technique,2019,45(3):76-79,87.
UAV route planning for image 3D reconstruction
Wu Yuhao,An Zipeng
Institute of Geospatial Information,Information Engineering University,Zhengzhou 450000,China
Abstract: With the development of drones, three-dimensional reconstruction of UAV sequence images is receiving more and more attention. In order to make the captured sequence image completely reconstruct the 3D model of the mission area and the flight power consumption of the multi-rotor UAV is smaller, a multi-rotor UAV coverage path planning algorithm for image 3D reconstruction is proposed. For the convex polygon region, in order to meet the requirements of image overlap and time continuity, a multi-rotor UAV scanning route planning method based on the grating method is proposed and combined with the optimal scanning direction to minimize the number of turns. With the help of Gazebo simulation platform, it is verified that the power consumption of the multi-rotor UAV is smaller when the flight is obtained according to the algorithm of this paper, and the captured sequence image satisfies the requirements of the reconstruction task area three-dimensional model.
Key words : route planning;drone;3D reconstruction;coverage path planning

0 引言

    隨著無人機(jī)技術(shù)的發(fā)展,無人機(jī)被應(yīng)用到越來越多的領(lǐng)域,例如搜索或探索[1]、震后災(zāi)害分析[2]以及森林、礦山、空氣質(zhì)量監(jiān)測[3]等活動中。利用無人機(jī)拍攝地面影像進(jìn)行三維重建是一種典型的應(yīng)用。為了完整重建出任務(wù)區(qū)域的三維模型,首先要解決的問題是合理規(guī)劃出覆蓋任務(wù)區(qū)域的航線。該問題屬于覆蓋路徑規(guī)劃問題的范疇。覆蓋路徑規(guī)劃問題(coverage path planning)的目的是找到一條路徑,以完全遍歷任務(wù)區(qū)域。 

    目前,國內(nèi)外學(xué)者對覆蓋路徑規(guī)劃問題進(jìn)行了大量的研究,針對不同的應(yīng)用場景提出了不同的解決方案,主要的應(yīng)用場景有機(jī)器人軍事偵察[4]、無人機(jī)自動搜索[5]植保無人機(jī)農(nóng)田灌溉[6]等。其中,各應(yīng)用中的覆蓋路徑規(guī)劃算法大致可分為單元分解法與柵格法兩種類型。單元分解法中的最為經(jīng)典的算法是LATOMBE J C在1991年提出的Trapezoidal分解法[7],對整個任務(wù)區(qū)域進(jìn)行分割,形成多個子區(qū)域,分別進(jìn)行路徑規(guī)劃。HUANG W H等人[8]對精確單元法提出了改進(jìn),提出了“Minimal Sum of Altitude(MSA)”算法。其主要思想是使得覆蓋路徑中的轉(zhuǎn)彎次數(shù)達(dá)到最小,以減少在轉(zhuǎn)彎時消耗的能量。柵格法最早由ELFES A和MORAVEC H P提出[9-10],是將覆蓋區(qū)域均勻劃分的方法,目標(biāo)是尋找一條或多條遍歷有效柵格的覆蓋路徑。其中比較有代表性的算法有基于生物激勵神經(jīng)網(wǎng)絡(luò)的柵格法[11]、基于生成樹的柵格法[12]以及基于四叉樹的方法[13]。楊麗春[14]基于改進(jìn)人工勢場法實現(xiàn)了無人機(jī)在線航線規(guī)劃。

    針對無人機(jī)序列影像三維重建的特定要求,本文主要在不考慮氣象因素的條件下研究了凸多邊形任務(wù)區(qū)域的無人機(jī)覆蓋航線規(guī)劃問題。融合柵格法的等分思想與掃描航線的特點提出了基于光柵法的無人機(jī)掃描航線規(guī)劃方法,并通過計算最佳掃描方向,使得轉(zhuǎn)彎次數(shù)最少化且功耗最小。

1 面向圖像三維重建的無人機(jī)航線規(guī)劃問題

1.1 三維重建圖像要求

    無人機(jī)序列影像的三維重建質(zhì)量主要受到以下因素影響:

    (1)重疊度:無人機(jī)所拍攝的序列影像需要具有一定的重疊區(qū),即具有一定的旁向與縱向重疊度。一般來說,序列影像的重疊度越高,三維重建的質(zhì)量越高。

    (2)時間連續(xù)性:由于環(huán)境因素會隨時間產(chǎn)生變化,從而導(dǎo)致任務(wù)區(qū)域的表面特征發(fā)生改變。因此,為了獲得更好的重建結(jié)果,需在盡可能短的時間內(nèi)完成序列影像的獲取。

    為了對任務(wù)范圍進(jìn)行完整的三維重建,需要規(guī)劃設(shè)計一條或多條無人機(jī)全覆蓋航線并且所拍攝的序列影像盡可能滿足上述條件。

1.2 任務(wù)航線規(guī)劃方式

    序列影像滿足重疊度要求后,航線規(guī)劃過程中最需要解決的問題是如何最大限度地降低功耗。無人機(jī)航線距離越長,任務(wù)所需的時間越長,消耗的能量也會越多。同時,文獻(xiàn)[8]提出在相同任務(wù)航線距離情況下,轉(zhuǎn)彎次數(shù)越多,所耗費的時間將會越長,能量越多。其原因為無人機(jī)轉(zhuǎn)彎時需要經(jīng)過減速、變向、加速等過程,相較于直線飛行會花費更多的時間與能量。

    掃描式航線是一種解決全覆蓋問題的典型覆蓋方法,具有航程較短、轉(zhuǎn)彎次數(shù)少等優(yōu)點。其主要飛行方式如圖1所示,無人機(jī)起飛之后,按一定的航向沿直線飛行,到達(dá)轉(zhuǎn)向點后轉(zhuǎn)向,隨后按與之前航向平行但相反的方向飛行至下一轉(zhuǎn)向點,依次循環(huán)覆蓋任務(wù)區(qū)域。飛行過程中,設(shè)定相機(jī)方向為豎直向下,成像角度在整個飛行過程中不變。每一張無人機(jī)圖像所拍攝的區(qū)域?qū)嶋H寬為w,長為l。相鄰兩張相片之間的旁向重疊度為v,縱向重疊度為h。

jsj1-t1.gif

2 覆蓋凸多邊形任務(wù)區(qū)域的掃描航線

2.1 基于光柵法的掃描航線規(guī)劃方法

    無人機(jī)實際作業(yè)的過程中,任務(wù)區(qū)域往往是不規(guī)則的多邊形,其中凸多邊形區(qū)域是較為常見的一種。針對凸多邊形任務(wù)區(qū)域,重點考慮序列圖像的重疊度要求,本文提出融合柵格法等分思想與掃描航線特點的光柵法,如圖2所示,其規(guī)劃過程如下。

jsj1-t2.gif

    任務(wù)區(qū)域為多邊形P1P2P3P4P5P6。為了便于規(guī)劃全覆蓋掃描航線,建立坐標(biāo)系XOY,設(shè)定坐標(biāo)系X軸為任務(wù)區(qū)域多邊形某一邊(圖2中邊P4P5),并將整個任務(wù)區(qū)域多邊形置于第一象限內(nèi)。記任務(wù)區(qū)域多邊形的頂點Pi的坐標(biāo)為(xi,yi),其中X方向與Y方向坐標(biāo)的最大最小值分別記為(xmin,xmax,ymin,ymax),任務(wù)區(qū)域的邊界PiPi+1可表示為(y-yi+1)(xi-xi+1)=(x-xi+1)(yi-yi+1),i=(1,2,…,6)。以X軸方向為無人機(jī)飛行的起始航向,無人機(jī)掃描航線的航線間距d由旁向重疊度v與無人機(jī)圖像視場寬度w確定,計算方式具體如下式:

    jsj1-gs1.gif

    以無人機(jī)掃描航線的航線間距d作為光柵法的光柵間距,以垂直于無人機(jī)起始航向的方向為劃分方向,從距離任務(wù)區(qū)域多邊形底邊w/2處起等分坐標(biāo)系第一象限。其中,任務(wù)區(qū)域多邊形覆蓋的光柵帶為有效光柵帶,其余為無效光柵帶。掃描航線的匝數(shù)n取決于航線間距d、無人機(jī)圖像視場寬w以及掃描方向長度ls(ls=ymax-ymin):

jsj1-gs2.gif

jsj1-gs3.gif

2.2 最佳掃描方向

    由于無人機(jī)在轉(zhuǎn)彎時飛行速度會減慢,并耗費大量的能量,減少轉(zhuǎn)彎次數(shù)能夠有效減少飛行時間,增強(qiáng)序列圖像之間的時間連續(xù)性并降低飛行功耗。由式(2)可知,掃描航線匝數(shù)取決于掃描方向ls的長度,因為航線間距d由圖像與重疊度固定確定。因此,最小化掃描方向ls的長度,可以使無人機(jī)掃描航線的轉(zhuǎn)彎次數(shù)最少化,飛行時間最少,功耗達(dá)到最小。

    傳統(tǒng)的航線規(guī)劃算法在確立最佳掃描方向時采用枚舉的方式進(jìn)行,設(shè)定計算步長r°,航向角α的取值為(0°,r°,2r°,…,nr°,180°),取其中匝數(shù)最少的作為最優(yōu)航線。該方法作業(yè)效率低,且精度與步長r°的取值有關(guān)。為了確定最佳掃描方向獲得最小化的航線匝數(shù),本文提出垂線法以確立最佳掃描方向,如圖3所示。

jsj1-t3.gif

    如圖3(a)所示,分別計算任務(wù)區(qū)域多邊形各邊到最遠(yuǎn)頂點的距離Li,i∈(1,2,…,6)。其中,選取距離最短的方向作為最佳掃描方向,因為此方向所需要轉(zhuǎn)彎的次數(shù)最少,能夠最大限度減小無人機(jī)功耗,提高任務(wù)效率。選取最佳掃描方向,按照2.1中光柵法對任務(wù)區(qū)域進(jìn)行掃描航線規(guī)劃,結(jié)果如圖3(b)所示。按照最佳掃描方向規(guī)劃航線得出的最佳覆蓋航線的匝數(shù)比2.1節(jié)中規(guī)劃的航線匝數(shù)少了3匝,轉(zhuǎn)彎數(shù)減少,說明按照最佳掃描方向規(guī)劃航線能夠有效減少無人機(jī)的功耗。

3 實驗驗證

    本文基于Gazebo仿真平臺設(shè)計實驗驗證本文算法的可行性。Gazebo仿真平臺提供了多種無人機(jī)模型,如AscTec Hummingbird、AscTec Pelican、AscTec Firefly等。該平臺同時附帶多類型的模擬傳感器,如IMU、測距傳感器、視覺傳感器等,可模擬安裝在無人機(jī)模型上。為證明本文算法所得到的航線較傳統(tǒng)算法的規(guī)劃航線更加有效,統(tǒng)計對比了兩種算法所得航線的轉(zhuǎn)彎次數(shù)、航程距離等參數(shù)。

    實驗過程中,構(gòu)建仿真環(huán)境,如圖4所示,依照DEM構(gòu)建基本地形,并添加樹木、房子等地物。仿真無人機(jī)采用AscTec Firefly六旋翼無人機(jī),并攜帶視覺傳感器。設(shè)定無人機(jī)航高為50 m,視場寬度w=170 m,長度l=255 m,旁向重疊度h=80%,縱向重疊度v=70%。按順序選取任務(wù)點{P1,P2,P3,P4,P5,P6},連接各點構(gòu)成任務(wù)區(qū)域,如圖5(a)所示。

jsj1-t4.gif

    (1)傳統(tǒng)掃描式航線規(guī)劃算法

按照傳統(tǒng)掃描航線的規(guī)劃方式,設(shè)定航向角α的計算步長為10°,取值范圍為(0°,10°,20°,…,170°,180°)。統(tǒng)計不同航向角時,航線的匝數(shù)與航程距離,部分統(tǒng)計結(jié)果如表1所示。

jsj1-b1.gif

    仿真結(jié)果顯示,當(dāng)航向角為30°時,航線的轉(zhuǎn)彎次數(shù)、與航程距離、飛行時間達(dá)到最優(yōu)。

    (2)本文算法

jsj1-b1-x1.gif

jsj1-t5.gif

jsj1-b2.gif

    對比傳統(tǒng)掃描式航線規(guī)劃算法與本文算法的仿真實驗結(jié)果,本文算法能夠得出轉(zhuǎn)彎次數(shù)最少、航程距離更短、飛行時間更少的航線。在確保序列影像重疊度的情況下,無人機(jī)按照本文算法得到的航線飛行時的飛行時間更短、功耗更小,所獲得的序列影像時間連續(xù)性更強(qiáng)。

    借助開源三維重建庫openMVG(open Multiple View Geometry)對所拍攝的無人機(jī)序列影像進(jìn)行三維重建,分別生成稀疏點云、稠密點云以及貼合紋理的三維模型,如圖6所示。通過觀察模型,發(fā)現(xiàn)整個任務(wù)區(qū)域得到了完整的三維重建,貼合紋理的三維模型能夠展現(xiàn)任務(wù)區(qū)域的表面特征,證明本文算法規(guī)劃的掃描航線能夠用于圖像三維重建。

jsj1-t6.gif

4 結(jié)束語

    新形勢下,面向無人機(jī)序列影像三維重建的覆蓋航線規(guī)劃問題尤為重要。本文針對凸多邊形任務(wù)區(qū)域,提出了無風(fēng)環(huán)境下面向無人機(jī)序列影像三維重建的覆蓋航線規(guī)劃算法。該算法的主要創(chuàng)新內(nèi)容有兩個方面:(1)結(jié)合柵格等分思想,提出基于光柵法的掃描航線規(guī)劃方法,確保了序列影像之間的重疊度要求;(2)提出垂線法用于尋找最佳掃描方向,確保了無人機(jī)序列影像之間具有較好的時間連續(xù)性,同時使得無人機(jī)的飛行功耗更小。

    通過搭建仿真環(huán)境,實驗驗證了本文算法得出的掃描航線能夠完全覆蓋任務(wù)區(qū)域,得到的航線要優(yōu)于傳統(tǒng)航線,所拍攝的序列影像滿足整個任務(wù)區(qū)域三維重建的要求。為系統(tǒng)研究實際環(huán)境下面向圖像三維重建的無人機(jī)航線規(guī)劃問題,今后的工作將進(jìn)一步考慮地形、風(fēng)速、風(fēng)向、單架次無人機(jī)最大飛行距離等因素對航線規(guī)劃問題的影響。

參考文獻(xiàn)

[1] BALIYARASIMHUNI S,SOUSA J B,PEREIRA F L.UAVs and AUVs coordination for ocean exploration[C].Oceans.IEEE,2009.

[2] XU Z,YANG J,PENG C,et al.Development of an UAS for post-earthquake disaster surveying and its application in Ms7.0 Lushan Earthquake,Sichuan,China[J].Computers & Geosciences,2014,68:22-30.

[3] WATTS A C,AMBROSIA V G,HINKLEY E A.Unmanned aircraft systems in remote sensing and scientific research:classification and considerations of use[J].Remote Sensing,2012,4(6):1671-1692.

[4] 于駟男,周銳,夏潔,等.無人機(jī)協(xié)同搜索區(qū)域分割與覆蓋[J].北京航空航天大學(xué)學(xué)報,2015,41(1):167-173.

[5] WAGNER A,ARKIN R C.Multi-robot communication-sensitive reconnaissance[C].IEEE International Conference on Robotics and Automation,2004.Proceedings.ICRA.IEEE,2003,5:4674-4681.

[6] 徐博,陳立平,徐旻,等.多作業(yè)區(qū)域植保無人機(jī)航線規(guī)劃算法[J].農(nóng)業(yè)機(jī)械學(xué)報,2017,48(2):75-81.

[7] LATOMBE J C.Exact cell decomposition[J].The Springer International Series in Engineering and Computer Science,1991,124:200-247.

[8] HUANG W H.Optimal line-sweep-based decompositions for coverage algorithms[C].IEEE International Conference on Robotics & Automation.IEEE,2001.

[9] ELFES A.Sonar-based real-world mapping and navigation[J].IEEE Journal on Robotics & Automation,1987,3(3):249-265.

[10] MORAVEC H P,ELFES A.High resolution maps from angle sonar[C].IEEE International Conference on Robotics and Automation,1985:116-121.

[11] HODGKIN A L,HUXLEY A F.A quantitative description of membrane current and its application to conduction and excitation in nerve[J].The Journal of Physiology,1952,117(4):500-544.

[12] GABRIELY Y,RIMON E.Competitive on-line coverage of grid environments by a mobile robot[J].Computational Geometry:Theory and Applications,2003,24(3):197-224.

[13] 李宏超,黃亞樓,闕嘉嵐,等.基于四叉樹環(huán)境模型的輪式移動機(jī)器人平滑路徑生成方法[J].機(jī)器人,2001,23(5):426-430.

[14] 楊麗春,顧穎彥,白宇.基于改進(jìn)人工勢場法的無人機(jī)在線航路規(guī)劃算法[J].電子技術(shù)應(yīng)用,2018,44(4):5-9.



作者信息:

吳宇豪,安籽鵬

(信息工程大學(xué) 地理空間信息學(xué)院,河南 鄭州450000)

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。