《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 設計應用 > 基于機器視覺的鋼軌表面缺陷三維檢測方法
基于機器視覺的鋼軌表面缺陷三維檢測方法
2015年微型機與應用第19期
王時麗,劉桂華
(西南科技大學 信息工程學院,四川 綿陽621010)
摘要: 提出了一種二維視覺與三維視覺相結合的鋼軌表面缺陷檢測方法。該方法通過線陣相機采集二維圖像,由激光掃描儀采集鋼軌深度信息,最后將這兩組數(shù)據(jù)傳送回主機,用Halcon和VC編寫上層圖像處理軟件,獲得鋼軌表面缺陷的大小、形狀、位置及深度,實現(xiàn)了全面檢測鋼軌表面缺陷。實驗表明,與二維圖像識別,或者與單獨使用三維掃描檢測相比,本系統(tǒng)檢測效果更好。
Abstract:
Key words :

  摘  要: 提出了一種二維視覺三維視覺相結合的鋼軌表面缺陷檢測方法。該方法通過線陣相機采集二維圖像,由激光掃描儀采集鋼軌深度信息,最后將這兩組數(shù)據(jù)傳送回主機,用Halcon和VC編寫上層圖像處理軟件,獲得鋼軌表面缺陷的大小、形狀、位置及深度,實現(xiàn)了全面檢測鋼軌表面缺陷。實驗表明,與二維圖像識別,或者與單獨使用三維掃描檢測相比,本系統(tǒng)檢測效果更好。

  關鍵詞: 二維視覺;三維視覺;激光掃描儀;鋼軌表面缺陷;Halcon

0 引言

  在我國的交通運輸行業(yè)中,鐵路運輸發(fā)揮著不可替代的作用。為保證鐵路運輸?shù)陌踩?、快速,除了對鋼軌高平直度、高熱處理強度和高精度的要求外,對鋼軌的表面質量也提出了更為嚴格的要求。而表面缺陷則是衡量鋼軌表面質量的一個重要技術指標,也是保證鐵路運行安全的重要保障。

  近幾年,世界各國加強了對鋼軌表面缺陷檢測的研究,許多發(fā)達國家已自行研制出高速軌檢車,如意大利 MERMEC Group公司開發(fā)的Rail Profile System(RPS)、澳大利亞 SY00970 軌道掃描試驗車以及俄羅斯的 BFSM 檢測系統(tǒng)等,許多學者對基于機器視覺的表面檢測技術也做了深入的研究工作[1-5]。目前,國內常用的鋼軌表面檢測方法主要有人工目視法、磁場法和電渦流法。但是人工疲勞、環(huán)境惡劣等各方面的因素致使檢測受到局限,因此需要研發(fā)一個自動檢測系統(tǒng)來協(xié)助鐵路部門進行檢測。國內一些學者如葉蘇茹、徐科、王平等人[6-9]已經開始研究將視覺技術應用于鋼軌表面缺陷檢測,并且取得了一定成果[10-14]。

  但是,以上所述的這些表面檢測方法主要針對二維圖像進行識別,無法給出量化的缺陷深度信息,一些細小孔洞等難以用二維圖像識別的方法將其檢測出來。另外,根據(jù)大型鋼材生產廠制定的《43 kg/m 75 kg/m鋼軌訂貨技術條件》知,合格的鋼軌表面不應有裂紋,深度超過0.5 mm或者面積超過0.5 mm2的氧化鐵皮或者磨痕、折疊等。因此,本文在這些研究成果和檢測標準的基礎上提出了一種將二維視覺與三維視覺相結合的鋼軌表面檢測系統(tǒng),該系統(tǒng)能準確檢測出鋼軌缺陷的位置、大小及深度,為鋼軌表面缺陷檢測提供一種成本低、檢測精度高的快速有效新途徑。

1 硬件設計


001.jpg

  設計的硬件平臺系統(tǒng)如圖1所示。該系統(tǒng)主要由數(shù)據(jù)采集系統(tǒng)、運動控制系統(tǒng)以及計算機處理系統(tǒng)三部分組成。

002.jpg

  整個圖像采集系統(tǒng)如圖2所示。該系統(tǒng)采集的數(shù)據(jù)主要包括鋼軌表面圖像以及鋼軌表面深度數(shù)據(jù)。

  1.1 鋼軌表面圖像采集系統(tǒng)

  該子系統(tǒng)作為圖像采集系統(tǒng)的一部分,主要由光源、相機與鏡頭組成,負責采集鋼軌表面二維圖像。

 ?。?)光源。在計算機視覺系統(tǒng)中,好的光源與照明方案往往是整個系統(tǒng)成敗的關鍵。光源與照明方案的配合應盡可能地突出物體特征參量,使成像質量不受物體位置變化的影響。在綜合考慮鋼軌表面高反光特性、光源照明亮度、均勻度以及幾何形狀等因素后,選用MVLZ公司MVLZ8080-W型號的大功率LED線型光源(條形光源),照明方案采用“低角度前光照明”。

 ?。?)相機與鏡頭。目前用于視覺系統(tǒng)的相機主要包括線掃描相機和面掃描相機兩類。考慮到鋼軌生產線生產速度為1.5 m/s(5.4 km/h),系統(tǒng)精度設計為±0.2 mm,拍攝視場為300 mm,可推算出相機的參數(shù)如下:

 ?、貱CD分辨率

  橫向方向上的像素單元個數(shù)至少為:300/0.2=1 500。因此,可選擇分辨率為2 048像素的相機,實際精度為300/2 048=0.14 mm。

 ?、贑CD線掃描頻率

  若縱向分辨率為0.2 mm,則可得到線陣CCD的水平掃描頻率:HSF=V/R=5.4/0.2=27 kHz。

  綜上所述,系統(tǒng)選用了Basler公司型號為raL2048-48 gm的線掃描黑白相機。該相機最大行頻48 kHz,分辨率為2 048,鏡頭選擇固定焦距50 mm的C口鏡頭。由于相機本身屬于千兆以太網接口,因此本系統(tǒng)直接通過網線將采集圖像傳輸回計算機而不用圖像采集卡。

  1.2 鋼軌表面深度數(shù)據(jù)采集系統(tǒng)

  由于基于二維圖像的鋼軌表面檢測方法只能根據(jù)缺陷的二維特征進行缺陷識別和分類,忽略(并且也無法得到)了鋼軌缺陷最重要的深度信息,容易漏檢面積較小的凹坑、軋疤等缺陷,因此,本文在二維缺陷識別的基礎上引入激光掃描儀,實現(xiàn)鋼軌表面深度數(shù)據(jù)的獲取。該激光掃描儀采用LMI的Gocator 2300系列傳感器,z軸精度為0.055~0.200 mm。該設備由已經標定好的相機及激光器組成。在掃描鋼軌前,給定一個基準面,即可精確得到掃描面相對于基準面的精確x,y,z軸數(shù)據(jù)(單位:mm)。其中x軸表示縱向位置,y表示掃描橫向位置,z表示掃描面與基準面的差值,即深度。

2 系統(tǒng)軟件設計


003.jpg

  本系統(tǒng)軟件部分由計算機完成,整個軟件流程設計如圖3所示。通過處理線陣相機采集的鋼軌踏面圖像得到擬檢測缺陷的面積、位置、長寬比、圓形度等特征,通過激光掃描儀獲得鋼軌踏面的深度數(shù)據(jù),經過處理得到各擬檢測缺陷的最大深度h,最后再將這兩組數(shù)據(jù)進行融合,綜合判斷該鋼軌是否有缺陷,若有則報警并存儲,若無則繼續(xù)掃描。

  2.1 鋼軌表面缺陷檢測與特征提取


004.jpg

  表面缺陷檢測與特征提取流程圖如圖4所示。首先,對線陣相機獲得的圖像進行預處理,包括鋼軌區(qū)域定位、去噪以及增強;然后進行圖像分割和形態(tài)學處理,實現(xiàn)擬缺陷區(qū)域提取;最后計算所提取出擬缺陷區(qū)域的相關特征值。

  2.1.1 鋼軌區(qū)域定位

005.jpg

  攝像機采集的圖像中除了鋼軌表面區(qū)域外還包含其他背景區(qū)域,去掉無關的背景區(qū)域能大幅減少存儲空間和運算時間,能有效提高檢測結果的有效性。通過對采集的圖像進行觀察和分析發(fā)現(xiàn):鋼軌區(qū)域相對于圖像背景區(qū)域灰度差異明顯,鋼軌所在區(qū)域的灰度值比背景所在區(qū)域的灰度值高,如圖5(a)所示。對圖5(a)中灰度值進行垂直積分投影,得到圖像的投影曲線如圖5(b)所示。截取投影積分最大的兩個值間的部分得到如圖5(c)所示鋼軌區(qū)域。

  2.1.2 圖像分割算法

  為降低噪聲對圖像處理效果的影響,本文首先選用3×3的窗口對圖5(c)進行自適應中值濾波,然后采用迭代閾值法對圖像進行分割,具體步驟如下:

 ?。?)求出圖像中最小灰度值Zmin和最大灰度值Zmax,令閾值初值T0=(Zmin+Zmax)/2;

 ?。?)根據(jù)閾值Tk將圖像分割成目標和背景兩部分,并分別求出兩區(qū)域的像素平均灰度值,記為μ1和μ2;

  (3)求出新閾值為Tk+1=(μ1+μ2)/2,k=1,2,3…;

 ?。?)重復(2)~(3),直到Tk+1=Tk,結束循環(huán)并跳轉至(5);

 ?。?)此時得到的Tk為最佳閾值,將大于Tk的部分判定為目標,灰度值設為255;將小于Tk的部分判定為背景,灰度值設為0,再對圖像進行二值化操作。

  2.1.3 缺陷區(qū)域提取與特征值計算

  通過對形態(tài)學處理后的二值圖片從左至右、從上到下遍歷,標記連通區(qū)域并計算特征值,實現(xiàn)缺陷區(qū)域提取與特征值計算。目前,選用如下特征值對缺陷進行描述:

 ?。?)區(qū)域面積Ai。對一幅圖像,存在圖像區(qū)域Ri,Ri中像素點數(shù)構成其面積Ai,對一幀圖像,設共有k個這樣的圖像區(qū)域,即i=1,2,3,…,k,則該幀圖像總面積A是各區(qū)域面積Ai之和:

  EEE`~RXWI94@R%[S{X$%H_Q.png

  其中,(x,y)∈Ri。

 ?。?)區(qū)域圓形度Ci。圓形度又稱為復雜度或分散度,主要反應目標區(qū)域Ri的緊湊程度,對于區(qū)域面積相同的區(qū)域,其區(qū)域周長越小,其圓形度越小。圓形度定義為:

  A3K}}1(J_9OF(F`%[@}2VX4.png

  其中,Ai為區(qū)域Ri的面積,Pi為區(qū)域Ri的周長。

 ?。?)長寬比r。它是區(qū)域最小外接矩形長和寬的比值。利用r可以將細長的物體與圓形或方形的物體區(qū)分開來。

  r=LMER/WMER(3)

  其中,MER表示區(qū)域最小外接矩形,L表示外接矩形長,W表示外接矩形寬。

  2.2 鋼軌缺陷深度處理

  在用激光掃描儀連續(xù)掃描鋼軌前,首先將標定板放于鋼軌踏面,通過掃描儀自帶軟件校正基準面,使標定板所在平面Z0=0。然后讓激光掃描儀掃描一段無缺陷鋼軌,將所得數(shù)據(jù)求和取平均,得到一行無缺陷的鋼軌表面相對于基準面的數(shù)據(jù)Z1(單位:mm)。隨后,將Z1與掃描得到的每行數(shù)據(jù)Z2做差得到]T}873VTCGCP6]KDL2W1H8E.jpgh(缺陷深度),]T}873VTCGCP6]KDL2W1H8E.jpgh即可作為評判鋼軌有無缺陷的指標之一。如果鋼軌無缺陷,那么0≤]T}873VTCGCP6]KDL2W1H8E.jpgh<0.5 mm,反之]T}873VTCGCP6]KDL2W1H8E.jpgh≥0.5 mm。

  2.3 數(shù)據(jù)融合

  二維視覺能夠明顯地提取裂紋、軋痕、結疤等缺陷,但也容易將小凹坑等缺陷區(qū)域判定為非缺陷。利用激光掃描儀獲得的深度數(shù)據(jù),可以快捷地判定出深度大于0.5 mm的凹坑等缺陷,但由于受掃描儀本身檢測精度影響,很難檢測出裂紋等平面缺陷。因此,適當?shù)貙⒍S視覺與三維視覺的結果融合起來能大大提高系統(tǒng)的準確度。本文采用“并”操作進行融合,即根據(jù)二維圖像中缺陷區(qū)域的位置求得每個區(qū)域的最大缺陷深度Ri(max)(Ri表示二維圖像中第i個缺陷區(qū)域),將缺陷二維特征與三維特征組成一組特征描述向量,共同表示缺陷。

3 實驗結果與分析

006.jpg

007.jpg

  實驗采用的是自主搭建的鋼軌表面缺陷檢測平臺。系統(tǒng)搭建環(huán)境為Win7操作系統(tǒng),編程開發(fā)環(huán)境為Visual Studio 2012。利用HALCON11.0視覺庫,搭建智能圖像處理軟件系統(tǒng),實現(xiàn)鋼軌表面缺陷三維檢測。圖6為實驗結果。表1為檢測得到的缺陷特征描述數(shù)據(jù)。

  本系統(tǒng)在獲取缺陷特征描述向量后,首先判定缺陷最大深度是否大于0.5 mm,如果是則直接報警并存儲該缺陷,否則根據(jù)缺陷的幾何特征和形狀特征進行判別。本系統(tǒng)從二維視覺和三維視覺兩方面綜合判斷鋼軌表面缺陷,能有效減少缺陷誤判率和漏檢率。

4 結束語

  本文設計了一個基于機器視覺的鋼軌表面缺陷三維檢測系統(tǒng),詳細介紹了系統(tǒng)總體設計、 圖像采集成像系統(tǒng)和缺陷檢測算法,基于VC++語言編寫了系統(tǒng)軟件,并對現(xiàn)場采集的鋼軌表面圖像進行了缺陷檢測實驗。實驗結果表明,該系統(tǒng)能夠完成對鋼軌表面缺陷的檢測,并獲取缺陷的深度、面積等特征信息。

  但是,該檢測系統(tǒng)目前還存在許多不足,在檢測速度、精度上仍然有待提高,應進一步改進算法,同時提高系統(tǒng)設計的穩(wěn)定性,增加缺陷識別模塊,以滿足檢測系統(tǒng)對高速實時處理的更高要求。

參考文獻

  [1] BABENKO P. Visual inspection of railroad tracks[D]. Florida: University of Central Florida Orlando, 2009.

  [2] DEUTSCHL E, GASSER C, NIEL A, et al. Defect detection on rail surfaces by a vision based system[C]. Intelligent Vehicles Symposium, 2004 IEEE. 2004: 507-511.

  [3] HASHMI M F, KESKAR A G. Computer-vision based visual inspection and crack detection of railroad tracks[J]. Recent Advances in Electrical and Computer Engineering, 2014:102-110.

  [4] CHEN L, LIANG Y, WANG K. Inspection of rail surface defect based on machine vision system[C]. Information Science and Engineering (ICISE), 2010 2nd International Conference on. IEEE, 2010: 3793-3796.

  [5] LIU Z, WANG W, ZHANG X, et al. Inspection of rail surface defects based on image processing[C]. Informatics in Control, Automation and Robotics(CAR), 2010 2nd International Asia Conference on. IEEE, 2010: 472-475.

  [6] 葉蘇茹.基于機器視覺的熱態(tài)重軌表面缺陷檢測關鍵技術研究[D].重慶:重慶大學,2008.

  [7] 徐科,楊朝霖,周鵬,等.基于激光線光源的L軌表面缺陷三維檢測方法[J].機械工程學報,2010,46(8):1-5.

  [8] 劉澤,王嵬,王平.鋼軌表面缺陷檢測機器視覺系統(tǒng)的設計[J].電子測量與儀器學報,2010,24(11):1012-1017.

  [9] 王海濤,甄理,楊春霞,等.基于計算機視覺的鐵軌表面缺陷檢測系統(tǒng)[J].無損檢測,2011,33(11):38-41.

  [10] 郝曉莉,李斌.基于機器視覺的鋼軌表面損傷檢測算法[J].北京交通大學學報,2015,39(2):28-34.

  [11] 陳濤.熱態(tài)重軌表面缺陷在線檢測系統(tǒng)關鍵技術研究[D].重慶:重慶大學,2011.

  [12] 吳祿慎,朱磊,陳華偉.基于線陣CCD相機的軌道圖像采集系統(tǒng)設計[J].鐵道標準設計,2014,58(8):55-59.

  [13] 劉蘊輝,劉鐵,王權良,等.基于圖像處理的鐵軌表面缺陷檢測算法[J].計算機工程,2007,33(11):236-238.

  [14] 張朝勇,蘇真?zhèn)ィ瑔帖?,?一種基于LED和線激光的鋼軌表面缺陷檢測系統(tǒng)[J].科學技術與工程,2013,20(36):9877-9880.


此內容為AET網站原創(chuàng),未經授權禁止轉載。