摘 要: 對近年來出現(xiàn)的點(diǎn)特征提取、特征描述符和特征匹配3方面的新思路和新方法進(jìn)行了綜述,并對各個(gè)算法的性能進(jìn)行了分析,提出了實(shí)際應(yīng)用中有待進(jìn)一步研究的內(nèi)容。通過深度測量的準(zhǔn)確性對點(diǎn)特征提取及匹配算法進(jìn)行了綜合評估。
關(guān)鍵詞: 雙目視覺測量; 特征點(diǎn)提取; 特征匹配; 性能評估
雙目視覺測量是三維重建、即時(shí)定位與地圖構(gòu)建(SLAM)、視覺導(dǎo)航和視覺里程計(jì)等系統(tǒng)的重要組成部分,測量的準(zhǔn)確性直接影響著這些系統(tǒng)的性能。選取魯棒、高效和準(zhǔn)確的點(diǎn)特征提取及匹配算法是提高雙目視覺測量準(zhǔn)確性的有效途徑。
鑒于點(diǎn)特征提取及匹配廣泛的應(yīng)用需求,國內(nèi)外學(xué)者對其研究的腳步從未放緩,尤其最近10年間,該領(lǐng)域的研究非?;钴S,提出了大量性能優(yōu)越的算子,為人們的應(yīng)用提供了更多選擇。理想的點(diǎn)特征提取及匹配算子應(yīng)具有定位準(zhǔn)確、可區(qū)分性強(qiáng)、抗光照變化、匹配準(zhǔn)確和速度快等特點(diǎn),但這些特性往往存在互斥性,因此,在實(shí)際應(yīng)用中需根據(jù)系統(tǒng)特點(diǎn)和需求選擇合適的算子。
本文從關(guān)鍵點(diǎn)檢測、特征描述符和描述符匹配3方面對點(diǎn)特征提取及匹配算法進(jìn)行了綜述。針對雙目視覺測量系統(tǒng)的應(yīng)用需求,分別對點(diǎn)特征提取及匹配算法的定位精度、檢測數(shù)目和計(jì)算速度3個(gè)方面進(jìn)行了性能比較。
1 點(diǎn)特征提取及匹配
點(diǎn)特征是圖像最基本的特征,它是指灰度信號在二維方向上都有明顯變化的點(diǎn),如角點(diǎn)、原點(diǎn)、暗區(qū)域的亮點(diǎn)和亮區(qū)域的暗點(diǎn)等,它具有旋轉(zhuǎn)不變性、尺度不變性和抗光照變化等優(yōu)點(diǎn)。使用點(diǎn)特征進(jìn)行圖像處理,可大大減少參與計(jì)算的數(shù)據(jù)量,提高運(yùn)算速度,同時(shí)又不損壞圖像的重要灰度信息[1]。
點(diǎn)特征提取及匹配包括關(guān)鍵點(diǎn)檢測、特征描述符生成和描述符匹配3部分。
1.1 關(guān)鍵點(diǎn)檢測
確定點(diǎn)特征的位置,即關(guān)鍵點(diǎn)檢測,目前已有的檢測算法大致可以歸為兩大類:一類是基于模板的算法,另一類是基于幾何特征的提取算法。
關(guān)鍵點(diǎn)檢測的判定依據(jù)通常為梯度信息、灰度統(tǒng)計(jì)信息以及二者的結(jié)合。僅基于梯度信息進(jìn)行關(guān)鍵點(diǎn)檢測的算法有Moravec[2]、Harris[3]、Shi-Tomasi[4]和Forstner[5]等。其中,Harris、Shi-Tomasi和Forstner 3種算法均通過Hessian矩陣的特征值構(gòu)建關(guān)鍵點(diǎn)響應(yīng)函數(shù),區(qū)別在于它們構(gòu)建的響應(yīng)函數(shù)不同。
2 實(shí)驗(yàn)結(jié)果與分析
本文對各階段幾種代表性的關(guān)鍵點(diǎn)特征提取算法進(jìn)行了實(shí)驗(yàn)分析。算法評估的實(shí)驗(yàn)平臺為裝有OpenCV 2.4.3、VS 2010的PC。利用PointGrey公司生產(chǎn)的雙目攝像Bumblebee2,共采集100幅640×480的圖像,焦距為6 mm,橫向視場角為43°,基線距離為0.12 m。分別選取不同的環(huán)境,采集深度范圍為0.5 m~5 m的實(shí)驗(yàn)圖像,部分實(shí)驗(yàn)圖像如圖1所示。
2.1 點(diǎn)特征提取算法性能比較
本文主要對Harris、Shi-Tomasi、SIFT、SUFT和ORB 5種算法的計(jì)算效率、旋轉(zhuǎn)不變性、尺度不變性和魯棒性等性能進(jìn)行比較與分析。
圖2直觀地顯示了各算法對同一幅圖像進(jìn)行關(guān)鍵點(diǎn)檢測的結(jié)果。由圖2可知,Harris和SIFT算法提取的關(guān)鍵點(diǎn)較少,SURF、Shi-Tomasi算法提取的相對較多,而ORB算法提取的最多。從分布上看,各算法檢測出的關(guān)鍵點(diǎn)分布都較均勻,但ORB存在許多位置非常接近的關(guān)鍵點(diǎn)。
圖3為改變圖像旋轉(zhuǎn)角度和尺度的情況下,平均一幅圖像關(guān)鍵點(diǎn)檢測數(shù)目的結(jié)果。從圖3可知,改變圖像的旋轉(zhuǎn)角度,各算法的關(guān)鍵點(diǎn)檢測數(shù)目在45°處呈現(xiàn)對稱性。在0~20°和70°~90°之間,檢測數(shù)目變化相對較大;在20°~65°之間穩(wěn)定性較好。當(dāng)尺度變化時(shí),除SIFT算法的穩(wěn)定性變化不大外,其余各算法都較敏感。當(dāng)尺度逐漸增大時(shí),Shi-Tomasi算法敏感性越來越強(qiáng),主要在于Shi-Tomasi算法對邊緣響應(yīng)強(qiáng)烈。而ORB算法在尺度小于1時(shí),敏感逐漸增強(qiáng);尺度大于1時(shí),敏感度明顯減小。
表1為各關(guān)鍵點(diǎn)檢測算法的平均檢測時(shí)間和檢測數(shù)目的結(jié)果。實(shí)驗(yàn)結(jié)果表明,ORB算法的檢測速度最快,Harris、Shi-Tomasi和SUFT算法的檢測速度次之,而SIFT算法檢測時(shí)間最長。從檢測數(shù)目來看,ORB算法提取的關(guān)鍵點(diǎn)數(shù)最多,Shi-Tomasi算法和SUFT算法的關(guān)鍵點(diǎn)檢測數(shù)次之,Harris算法提取的關(guān)鍵點(diǎn)相對較少。
特征匹配算法比較結(jié)果如表3所示。其中,內(nèi)點(diǎn)率為準(zhǔn)確匹配點(diǎn)對占總匹配點(diǎn)對的比率,平均準(zhǔn)確匹配數(shù)為誤匹配去除后每幀圖像(即左右圖像)獲取的準(zhǔn)確匹配數(shù),平均匹配時(shí)間為平均每對描述符完成匹配過程所需時(shí)間。實(shí)驗(yàn)結(jié)果表明,兩種匹配方法的內(nèi)點(diǎn)率基本一致,SURF+歐式距離的平均準(zhǔn)確匹配數(shù)比ORB+海明距離更大,但其所需的匹配時(shí)間卻大得多,在實(shí)時(shí)應(yīng)用系統(tǒng)中,較難有效應(yīng)用。
本文首先對目前性能較好的點(diǎn)特征提取算法的基本原理、屬性、性能及優(yōu)缺點(diǎn)進(jìn)行了分析。理想的關(guān)鍵點(diǎn)特征提取算子應(yīng)具有定位準(zhǔn)確、檢測數(shù)目多、計(jì)算速度快、魯棒性強(qiáng)、可區(qū)分性大和不變性等優(yōu)點(diǎn)。通過實(shí)驗(yàn)對各種點(diǎn)特征提取算法和匹配算法的性能進(jìn)行分析與比較,對關(guān)鍵點(diǎn)特征提取算法的選擇具有重大的理論研究和實(shí)踐意義。
參考文獻(xiàn)
[1] 黃艷.點(diǎn)特征提取算法探討[J].現(xiàn)代商貿(mào)工業(yè), 2009(12):302.
[2] MORAVEC H. Obstacle avoidance and navigation in the real world by a seeing robot rover[D]. Ph.D. dissertation, Stanford University, 1980.
[3] HARRIS C, PIKE J. 3D positional Integration from Image Sequences[C]. In Alvey Vision Conference, 1988.
[4] TOMASI C, SHI J. Good features to rrack[C]. CVPR’94, 1994:593-600.
[5] FORSTNER W. A feature based correspondence algorithm for image matching[J]. International Archives of Photogrammetry,1986(26):150-166.
[6] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: an efficient alternative to SIFT or SURF[C]. ICCVII Proceedings of the 2011 International Conference on Computer vision, 2011:2564-2571.
[7] LOWE D. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision,2003(20):91-110.
[8] BAY H, TUYTELAARS T, GOOL L V. SURF:speeded up robust features[C]. ECCV, 2006:404-417.
[9] AGRAWAL M, KONOLIGE K, BLAS M. Censure: center surround extremas for real time feature detection and matching[C]. European Conference on Computer Vision, 2008.
[10] CALONDER M, LEPETIT V, STRECHA C, et al. Brief: binary robust independent elementary features[C]. European Conference on Computer Vision, 2010:1-14.