??? 摘 ?要: 相關(guān)系數(shù)法模板匹配是數(shù)字?jǐn)z影檢測中的一種經(jīng)典的基于灰度的匹配方法。提出了一種基于模板匹配的電子器件針腳檢測方法,以實(shí)際針腳影像和自動生成的標(biāo)準(zhǔn)模板的相關(guān)系數(shù)作為匹配測度以確定針腳的實(shí)際位置。同時(shí)為了達(dá)到生產(chǎn)流水線快速檢測的要求,首先在粗一級的金字塔影像上獲取初始位置再反算到原始影像進(jìn)行精密定位,實(shí)驗(yàn)結(jié)果表明該方法的定位精度高,速度快,可以滿足工業(yè)檢測的要求。
??? 關(guān)鍵詞: 相關(guān)系數(shù);模板匹配;金字塔影像;針腳檢測
?
隨著大規(guī)模集成電路和半導(dǎo)體工藝的發(fā)展,工業(yè)檢測領(lǐng)域上出現(xiàn)了許多針對電子元器件的檢測需求,高精度和在線檢測是這些檢測系統(tǒng)的共同特征。圖1是幾種典型的針腳(PIN)器件。左邊元件的針腳個(gè)數(shù)為9個(gè),右邊兩個(gè)元件的針腳個(gè)數(shù)均為19個(gè),隨著CPU和各種串并行接口等制造工藝的發(fā)展,有些器件的針腳個(gè)數(shù)還會超過1 000個(gè)。器件上的每個(gè)針腳都有其特定的物理意義,其位置的確定十分重要。由于受到實(shí)際生產(chǎn)針腳器件的設(shè)備精度的影響,針腳的實(shí)際位置可能會和圖紙?jiān)O(shè)計(jì)的距離有所偏離,如果偏離大于設(shè)定的誤差值則屬于不合格的產(chǎn)品,不能流入市場。單個(gè)針腳的大小一般都小于1,誤差一般要求在50~100 μm,類似微小物體的檢測不可能依靠人眼,研究專門的檢測系統(tǒng)非常有必要。類似的非接觸檢測在幾何尺寸檢測、外觀檢測、遙感測量、機(jī)器人視覺以及醫(yī)療診斷等領(lǐng)域有較廣的應(yīng)用,主要的實(shí)現(xiàn)方法有攝影測量法、光測法以及利用圖像傳感器測量等諸多方法[1]。檢測系統(tǒng)一般需要安裝在工廠的流水線上,因此要求具有高精度和在線檢測的能力。高精度確保針腳檢測的準(zhǔn)確性從而有效降低質(zhì)量控制成本;在線檢測能極大地提高生產(chǎn)效率。為此本文研究了一套基于數(shù)字?jǐn)z影測量的針腳視覺檢測系統(tǒng)。
?
1 系統(tǒng)構(gòu)成及檢測目標(biāo)
針腳視覺檢測系統(tǒng)包括硬件系統(tǒng)和軟件系統(tǒng)兩部分。硬件系統(tǒng)負(fù)責(zé)圖像獲取,軟件系統(tǒng)負(fù)責(zé)數(shù)據(jù)處理并得出檢測結(jié)果。其中,硬件系統(tǒng)構(gòu)成如圖2所示,包括以下幾部分:
??? (1)成像設(shè)備。CCD或CMOS的工業(yè)相機(jī),要求像素在100萬以上。本文中的試驗(yàn)系統(tǒng)采用的是分辨率為1 600×1 200的工業(yè)相機(jī),成像質(zhì)量基本滿足檢測要求。利用基于32位操作系統(tǒng)的WDM(Windows Driver Model)視頻捕捉構(gòu)架——DirectShow[2]進(jìn)行影像的采集,作為一種高級流式媒體的應(yīng)用接口,DirectShow屏蔽了硬件之間的差異,從系統(tǒng)設(shè)計(jì)與開發(fā)的角度而言具有較高的兼容性與通用性[3,4],就成本和開發(fā)難度而言,非常適合本文所介紹的工業(yè)檢測系統(tǒng)。
(2)光源。由于物體比較小,所以成像距離小,為了采集到比較好的影像,需要設(shè)計(jì)專門的光源,這個(gè)非常重要。搭載平臺:放置電子元器件同時(shí)也作為檢測的基準(zhǔn),因此對其加工精度要求較高,一般采用鋼質(zhì)的不易變形的材料,同時(shí)還要求成像時(shí)和目標(biāo)元器件的區(qū)分度較高。
(3)傳送設(shè)備。采用機(jī)器手來放置和取走檢測完畢的電子元器件,機(jī)器手和PC機(jī)的通訊一般是通過PCI采集卡來進(jìn)行的。
??? (4)PC機(jī)。加載檢測軟件,同時(shí)負(fù)責(zé)向機(jī)器手發(fā)出信號。這部分也可以采用帶LED顯示屏的單片機(jī)。
??? 業(yè)內(nèi)評價(jià)針腳是否合格一般有三個(gè)指標(biāo):
??? (1)平整度。以平臺為基準(zhǔn)評價(jià)針腳距離平臺的距離,是Y方向上的測度。
??? (2)正位度。以第一個(gè)針腳或以電子元器件的站腳為基準(zhǔn),評價(jià)每個(gè)針腳到基準(zhǔn)的距離,是X方向上的測度。
??? (3)PIN間距。即相鄰兩個(gè)針腳中心的水平距離,是X方向上的測度。
??? 以上三個(gè)指標(biāo)若有至少一個(gè)超出限差,則認(rèn)為該產(chǎn)品不合格。為了獲取以上三個(gè)指標(biāo),一是要提取臺面的位置,二是要確定站腳的位置,三是要確定每個(gè)針腳的位置,這三個(gè)任務(wù)也是本系統(tǒng)檢測的主要目標(biāo)。針腳的外形可用外接的最小矩形來擬合,這樣針腳的中心及長寬就可以用矩形的中心、XY方向的邊長來表達(dá)。
2 基本原理
2.1 相關(guān)系數(shù)匹配
??? 相關(guān)系數(shù)匹配中用到的匹配測度是標(biāo)準(zhǔn)化的協(xié)方差函數(shù)[5],對于離散的灰度數(shù)據(jù)而言,相關(guān)系數(shù)的計(jì)算有如實(shí)用公式(1):
其中g(shù)i,j和g′i,j分別為目標(biāo)區(qū)和搜索區(qū)在(i,j)處的灰度值;m,n為目標(biāo)區(qū)窗口的長和寬。
2.2 金字塔影像
??? 金字塔影像的簡易構(gòu)建公式如公式(2):
其中g(shù)′i,j和gi,j分別為金字塔影像和原始影像在(i,j)處的灰度值;k為金子塔影像的分辨率,金字塔影像上的一個(gè)像素對應(yīng)原始影像上k2的個(gè)像素。
2.3 基于模板匹配的檢測算法
電子器件針腳的成像如圖3所示。針腳影像一般呈現(xiàn)方形的高亮區(qū)域,因此根據(jù)高亮區(qū)域的大小可以生成一個(gè)標(biāo)準(zhǔn)模板。將該模板與針腳影像做模板匹配,計(jì)算模板與影像的相關(guān)系數(shù),相關(guān)系數(shù)最大的地方對應(yīng)著針腳的正確位置,這就是本系統(tǒng)檢測算法的根本出發(fā)點(diǎn)。但是由于相關(guān)系數(shù)的計(jì)算比較花時(shí)間,為了提高計(jì)算的速度,可以采用分級匹配的方法,即首先將模板和針腳影像分別生成金字塔影像,首先在粗分辨率的影像上做匹配,確定針腳的初始位置,然后在高分辨率影像上精確定位,這就是本算法的基本流程。該算法不僅保證檢測的精度,而且考慮了檢測的速度,具有明顯的優(yōu)點(diǎn)。
3 檢測方案及流程
??? 本系統(tǒng)的成像設(shè)備采用1 600×1 200的分辨率實(shí)時(shí)采集影像,但檢測目標(biāo)主要集中的區(qū)域只占到全部影像的1/5左右,因此合理設(shè)置檢測的感興趣區(qū)域十分重要,可大大提高檢測效率。選取一個(gè)包含所有檢測針腳的矩形區(qū)域,檢測工作主要是在這個(gè)區(qū)域內(nèi)進(jìn)行。
??? 具體采用的檢測方案及流程如下:
??? (1)首先在感興趣區(qū)域中利用相關(guān)系數(shù)模板(根據(jù)針腳的反光特點(diǎn),標(biāo)準(zhǔn)模板應(yīng)該是內(nèi)白外黑且大小應(yīng)該能包含針腳(如圖4右下角圖像所示))匹配提取出針腳的個(gè)數(shù)和初始位置,并根據(jù)設(shè)計(jì)數(shù)據(jù)進(jìn)行規(guī)則化即相鄰針腳的位置即是圖紙中的設(shè)計(jì)數(shù)據(jù),這樣做的目的是為了下次檢測相同規(guī)格的器件時(shí),如果放置得比較偏時(shí)不至于檢測失敗。
??? (2)接著生成一幅感興趣區(qū)域的粗一級的金字塔影像(如圖4左上角圖像所示)(可取分辨率為2,即原始影像中每4個(gè)像素對應(yīng)金字塔影像中的1個(gè)像素)及對應(yīng)的標(biāo)準(zhǔn)模板,圖4中的感興趣區(qū)域的大小為1 141×42,其模板大小為31×27,對應(yīng)的金字塔影像的大小為570×21,其模板大小為17×15,單位均為像素。
??? (3)將(1)中針腳的坐標(biāo)換算到金字塔影像中,換算按公式(2)進(jìn)行,按相關(guān)系數(shù)實(shí)用化公式(1)逐一計(jì)算每個(gè)針腳在臨近區(qū)域的相關(guān)系數(shù),相關(guān)系數(shù)最大的位置對應(yīng)針腳的正確位置。
??? (4)將針腳在金字塔影像中的中心位置及外包矩形的邊長按照公式(2)反算到原始影像中,重復(fù)(3)的過程,只是此時(shí)要注意移動步長可設(shè)為kΔx和kΔy,k為金字塔分辨率,這樣可縮短在原始影像中的計(jì)算時(shí)間,這也是使用金字塔影像的好處。
4 實(shí)驗(yàn)
??? 利用相關(guān)系數(shù)模板匹配在原始影像上獲取到初始位置,如圖5所示。較準(zhǔn)確的初值能減少迭代次數(shù),提高運(yùn)算效率。按照本文第三部提出的檢測流程,在金字塔影像中提取針腳的位置,再次反算到原始影像上,對初始值進(jìn)行修改,為在原始影像中進(jìn)行相關(guān)系數(shù)匹配提供更為精確的初值,從而提高效率。在具備準(zhǔn)確的初值的條件下,程序能較快地定位到精確位置,如圖6所示。為了測試精度和效率,用上述方法對不同針腳連續(xù)檢測,統(tǒng)計(jì)消耗時(shí)間和平面度、正位度以及間距三個(gè)指標(biāo)。測試計(jì)算機(jī)配置為CPU:Inter(R) Core 2 Duo T5870 2.0 G;內(nèi)存:1 G;顯卡:ATI Mobility Radeon HD 3400 Series。檢測之前,首先利用量規(guī)塊標(biāo)定相機(jī)的放大倍數(shù)為一個(gè)像素對應(yīng)8.23μm,然后重復(fù)進(jìn)行100次檢測試驗(yàn),共耗時(shí)41 219 μm,相當(dāng)于每次檢測412.19μm,整個(gè)檢測過程中,最大跳動為8μm。試驗(yàn)結(jié)果表明,速度和精度都能滿足要求。?
???
??? 對實(shí)驗(yàn)中發(fā)生跳動的針腳局部影像(如圖7所示)進(jìn)行分析,發(fā)現(xiàn)有跳動的7號針腳的圖像周圍毛邊較嚴(yán)重;對比沒有發(fā)生跳動的13號針腳,目標(biāo)與背景能很好地區(qū)分開來。因此,建議為了提高檢測的精度和可靠性,應(yīng)該盡量使電子器件保持干凈,避免粘上污垢。
??? 以模板匹配為基礎(chǔ),提出一種電子器件針腳質(zhì)量檢測方法,同時(shí)對提高檢測的效率和精度提出了具體的措施,試驗(yàn)結(jié)果證明該方法是可行的。該方法的提出對同類產(chǎn)品的檢測提供了很好的思路,具有借鑒意義。進(jìn)一步提高系統(tǒng)檢測的效率和精度是今后研究的重點(diǎn)。
參考文獻(xiàn)
[1] 張紅娜,王祁.圖像測量技術(shù)及其應(yīng)用[J].電測與儀表,2003,40(451):19-22.
[2] Microsoft Corporation DirectX 9.0[M]. New York: Microsoft Corporation, 2006.
[3] 陸其明.DirectShow開發(fā)指南[M].北京:清華大學(xué)出版社,2003.
[4] 魏立誠,朱桂林.基于DirectShow的視頻采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程,2005,31(14):187-189.
[5] 張祖勛,張劍清.數(shù)字?jǐn)z影測量學(xué)[M].武漢:武漢大學(xué)出版社,2001:166-167.