《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 嵌入式技術(shù) > 設(shè)計(jì)應(yīng)用 > 基于圖像處理的產(chǎn)品表面缺陷檢測(cè)系統(tǒng)研究
基于圖像處理的產(chǎn)品表面缺陷檢測(cè)系統(tǒng)研究
2017年電子技術(shù)應(yīng)用第5期
高正中,趙晨暉,薛 寒,商春雷
山東科技大學(xué) 電氣與自動(dòng)化工程學(xué)院,山東 青島266590
摘要: 隨著嵌入式技術(shù)的發(fā)展,基于圖像處理的產(chǎn)品表面缺陷檢測(cè)技術(shù)的優(yōu)勢(shì)越來(lái)越突出,其技術(shù)主要包括產(chǎn)品表面圖像的采集、匹配和識(shí)別。本系統(tǒng)采用單精度浮點(diǎn)運(yùn)算的STM32F405作為核心處理器,CMOS彩色數(shù)字?jǐn)z像芯片OV7610作為圖像采集傳感器,并在VC++環(huán)境下使用面向?qū)ο蟮姆椒ㄔO(shè)計(jì)控制程序,主要用于產(chǎn)品表面圖像的采集與處理。實(shí)驗(yàn)結(jié)果表明,該系統(tǒng)工作穩(wěn)定,實(shí)時(shí)性和可控性達(dá)到設(shè)計(jì)要求。
中圖分類號(hào): TN911;TP391.41
文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.2017.05.015
中文引用格式: 高正中,趙晨暉,薛寒,等. 基于圖像處理的產(chǎn)品表面缺陷檢測(cè)系統(tǒng)研究[J].電子技術(shù)應(yīng)用,2017,43(5):64-66.
英文引用格式: Gao Zhengzhong,Zhao Chenhui,Xue Han,et al. Research of product surface defects detection system based on image processing[J].Application of Electronic Technique,2017,43(5):64-66.
Research of product surface defects detection system based on image processing
Gao Zhengzhong,Zhao Chenhui,Xue Han,Shang Chunlei
College of Electrical Engineering and Automation,Shandong University of Science and Technology,Qingdao 266590,China
Abstract: With the development of embedded technology, the advantage of product surface defects detection technology based on image processing is more and more prominent. The technology mainly includes acquisition, matching and recognition of product surface image. This system uses STM32F405 with single-precision floating operation as a core processor, CMOS color digital camera IC OV7610 as an image acquisition sensor, and uses the method of object-oriented with VC++ environment to design control program. They are mainly used for acquisition and processing of image. Experiments show that this system has high stability and meets the demands of real-time and controllable.
Key words : product surface defects detection;image processing;STM32F405;CMOS image sensor

0 引言

    流水線產(chǎn)品的缺陷檢測(cè)目前仍靠人工來(lái)完成,對(duì)于微小的、區(qū)別不明顯的缺陷,人眼無(wú)法精確識(shí)別,這極大地影響了產(chǎn)品的生產(chǎn)效率[1]。基于STM32F405和CMOS OV7610的產(chǎn)品表面圖像處理系統(tǒng),以其完全脫離計(jì)算機(jī)且運(yùn)行速度快、設(shè)計(jì)成本低、性價(jià)比高等優(yōu)點(diǎn),更好地滿足了圖像處理在產(chǎn)品表面的圖像采集與智能檢測(cè)方面的工作要求。

1 系統(tǒng)硬件設(shè)計(jì)

    系統(tǒng)主要由STM32F405微處理器、CMOS圖像采集模塊、LCD顯示模塊、存儲(chǔ)器模塊、通信模塊等組成,系統(tǒng)框圖如圖1所示。在光源的配合下通過(guò)圖像采集模塊獲取產(chǎn)品表面的圖像信息,由DMA將圖像數(shù)據(jù)傳輸?shù)絊TM32F405微處理器,處理器調(diào)用圖像處理算法對(duì)產(chǎn)品表面圖像數(shù)據(jù)進(jìn)行處理,利用控制終端的圖像處理軟件匹配、識(shí)別產(chǎn)品表面是否存在缺陷,并在LCD顯示屏上實(shí)時(shí)顯示結(jié)果,實(shí)現(xiàn)對(duì)產(chǎn)品表面圖像的采集和處理。

qrs2-t1.gif

2 主要模塊設(shè)計(jì)

2.1 主控模塊

    基于圖像處理的產(chǎn)品表面圖像采集和處理系統(tǒng)選用STM32F405作為主處理器,該芯片具有高性能的信號(hào)處理和浮點(diǎn)運(yùn)算能力,同時(shí)帶有8~14 bit并行照相機(jī)接口、DMA控制器、2路I2C接口,圖像數(shù)據(jù)的傳輸可以通過(guò)DMA直接傳輸,在I2C總線讀取數(shù)據(jù)到緩沖區(qū),提高了圖像數(shù)據(jù)的采樣和處理速度,完成包括數(shù)據(jù)處理、檢測(cè)算法實(shí)現(xiàn)、結(jié)果提取和分析等工作[2]。主控芯片獲得處理結(jié)果后,將數(shù)據(jù)傳輸?shù)綀?zhí)行機(jī)構(gòu),執(zhí)行機(jī)構(gòu)根據(jù)最終獲取的控制信號(hào)進(jìn)行相應(yīng)操作。

2.2 圖像采集模塊

    圖像采集模塊采用Omnivision公司的OV7610,這是一種自帶圖像敏感陣列、能直接采集圖像信息的低功耗CMOS型彩色數(shù)字?jǐn)z像芯片[3]。采集圖像時(shí)最高速度可達(dá)30幀/s,最大圖像陣列為640×480,通過(guò)I2C總線對(duì)有關(guān)存儲(chǔ)器賦值,可靈活改變窗口大小、A/D轉(zhuǎn)換速度、幀/場(chǎng)模式等工作參數(shù)。

    圖像采集芯片OV7610既可以幀模式掃描也可以場(chǎng)模式掃描,為提高圖像存儲(chǔ)質(zhì)量、簡(jiǎn)化圖像采集控制電路,本系統(tǒng)設(shè)置OV7610圖像采集方式為幀模式掃描[4]。OV7610的輸出信號(hào)主要有:垂直同步信號(hào)(Vs)、水平同步信號(hào)(Hs)及像素同步信號(hào)(Ps),其理論波形如圖2所示。

qrs2-t2.gif

    完整的一幀產(chǎn)品表面圖像在垂直同步信號(hào)的兩個(gè)正脈沖之間掃描完成,水平同步信號(hào)高電平時(shí)為掃描一行像素的有效時(shí)間,像素同步信號(hào)高電平輸出的圖像數(shù)據(jù)有效[5]。若一個(gè)圖像的陣列為160×120,則在垂直同步信號(hào)兩個(gè)脈沖之間有120個(gè)水平同步信號(hào)的正脈沖,在每個(gè)水平同步信號(hào)正脈沖期間有160個(gè)像素同步信號(hào)正脈沖。為獲取完整幀圖像,將上述3個(gè)同步信號(hào)組合成一個(gè)輸出信號(hào)(OUT)。

3 系統(tǒng)軟件設(shè)計(jì)

    系統(tǒng)選用KeilμVision5 軟件開(kāi)發(fā)平臺(tái)和Visual C++可視化編程軟件協(xié)同工作[6]。系統(tǒng)運(yùn)行時(shí),啟動(dòng)采集信號(hào)發(fā)送到STM32F405主控制器,控制器接收指令后立即進(jìn)行初始化,初始化成功后響應(yīng)DMA中斷,根據(jù)圖像采集時(shí)序來(lái)控制CMOS OV7610啟動(dòng)圖像采集,采集的圖像數(shù)據(jù)將通過(guò)DMA先進(jìn)先出傳送到STM32F405的外部存儲(chǔ)器中[7]。在采集完成后,STM32F405將進(jìn)行點(diǎn)陣采樣、量化處理和二值化等過(guò)程完成產(chǎn)品表面圖像處理工作。系統(tǒng)流程圖如圖3所示。

qrs2-t3.gif

    產(chǎn)品表面的圖像采樣是選取圖像的采樣點(diǎn)在空間坐標(biāo)上作離散化的過(guò)程。本系統(tǒng)設(shè)計(jì)使用二維采樣函數(shù)對(duì)產(chǎn)品表面的圖像進(jìn)行采樣,獲得圖像預(yù)處理采樣點(diǎn)陣。

    設(shè)f(x,y)為一個(gè)有限帶寬的二維連續(xù)圖像,f(x,y)的傅里葉變化對(duì)為:

qrs2-gs1-2.gif

    對(duì)圖像f(x,y)采樣,就是將f(x,y)乘以采樣函數(shù)s(x,y)。采樣后的圖像可以用式(3)表示:

qrs2-gs3-6.gif

    由卷積與脈沖函數(shù)可得采樣圖像fs(x,y)的頻譜是連續(xù)圖像在(u,v)方向上以Δx、Δy間隔分布,間隔選擇合適,采樣就不會(huì)重疊,可獲得期望的采樣點(diǎn)陣。由于經(jīng)過(guò)采樣的圖像是連續(xù)點(diǎn)陣,各個(gè)像素的值有無(wú)窮多個(gè),為了方便主控制器處理,需將無(wú)窮多個(gè)離散值簡(jiǎn)化為有限個(gè)離散值,即量化處理后才能將每個(gè)互異的離散值編碼處理[8]。

    為了加快處理速度,系統(tǒng)將16 bit RGB彩色圖像轉(zhuǎn)化成8 bit灰度圖像,由此不但可以提高主控制器的處理速率,而且減小了圖像的冗余量。圖像灰度化后,利用Canny邊緣檢測(cè)算子提取圖像邊緣,將邊緣二值化。在選定一個(gè)閾值時(shí),將灰度直方圖中大于該閾值的像素點(diǎn)變成1,小于該閾值的像素點(diǎn)變成0:

     qrs2-gs7.gif

其中,f(x,y)為輸入圖像像素的灰度值,g(x,y)為輸出圖像,θ為閾值。

    將處理后的產(chǎn)品表面圖像與預(yù)存模板匹配,由對(duì)比結(jié)果得出該產(chǎn)品是否存在缺陷。圖像匹配過(guò)程就是在基準(zhǔn)圖像和待處理圖像之間尋找兩幅圖像差異最小的相對(duì)位置,通常將其描述為求距離度量:

    qrs2-gs8.gif

式中,k為灰度變化幅度。

4 調(diào)試及實(shí)驗(yàn)結(jié)果分析

    系統(tǒng)測(cè)試主要針對(duì)硬件和軟件進(jìn)行測(cè)試。硬件測(cè)試主要針對(duì)核心處理器的外圍電路,其中包括電源模塊、I/O輸入輸出模塊及通信接口等電路。軟件測(cè)試分別對(duì)STM32F405和CMOS OV7610的各個(gè)功能的子程序進(jìn)行測(cè)試。

    為了驗(yàn)證本系統(tǒng)表面缺陷檢測(cè)的準(zhǔn)確性和可靠性,對(duì)金屬產(chǎn)品表面進(jìn)行缺陷檢測(cè)實(shí)驗(yàn)。缺陷檢測(cè)部分的灰度圖像大小為160×120像素。圖4為裂縫缺陷和污點(diǎn)缺陷的檢測(cè)結(jié)果。

qrs2-t4.gif

5 結(jié)論

    本系統(tǒng)旨在將圖像采集與處理技術(shù)應(yīng)用于產(chǎn)品表面缺陷檢測(cè),以及識(shí)別復(fù)雜、模糊的產(chǎn)品表面圖像[9]。利用STM32F405超強(qiáng)的計(jì)算性能和低功耗優(yōu)勢(shì),提出了CMOS圖像采集與STM32圖像處理結(jié)合的平臺(tái)架構(gòu),設(shè)計(jì)了處理能力強(qiáng)、接口可靠穩(wěn)定的產(chǎn)品表面圖像采集與檢測(cè)系統(tǒng),在系統(tǒng)中實(shí)現(xiàn)了點(diǎn)陣采樣、灰度轉(zhuǎn)化和二值化等算法設(shè)計(jì),并對(duì)平臺(tái)應(yīng)用的處理性能、實(shí)時(shí)性和可靠性進(jìn)行了實(shí)驗(yàn)測(cè)試,取得了一定的階段性成果。

參考文獻(xiàn)

[1] 彭向前.產(chǎn)品表面缺陷在線檢測(cè)方法研究及系統(tǒng)實(shí)現(xiàn)[D].武漢:華中科技大學(xué),2008.

[2] 曾浩.基于STM32F407的嵌入式及其視覺(jué)裝置研發(fā)[D].廣州:廣東工業(yè)大學(xué),2015.

[3] 汪麗華,吳維嘉.基于CMOS圖像傳感器的嵌入式機(jī)器視覺(jué)系統(tǒng)設(shè)計(jì)[J].黃山學(xué)院學(xué)報(bào),2010,12(3):25-27.

[4] 吳小平,劉萬(wàn)春,朱玉文,等.基于TMS320C32的視覺(jué)圖像處理系統(tǒng)[J].探測(cè)與控制學(xué)報(bào),2000,22(1):18-22.

[5] 仲林國(guó).基于機(jī)器視覺(jué)技術(shù)的嵌入式系統(tǒng)研究[D].杭州:浙江大學(xué),2006.

[6] SING N,DELWICHE M.Machine vision methods for defect sorting stonefruit[J].Trans of ASAE,1994,37(6):1989-1997.

[7] 魏麗玲,朱平,石永亮.基于FPGA的圖像采集與存儲(chǔ)系統(tǒng)設(shè)計(jì)[J].電子技術(shù)應(yīng)用,2015,41(11):67-69,73.

[8] 譚林秋.基于VC++的數(shù)字圖像處理系統(tǒng)的開(kāi)發(fā)及算法研究[D].西安:西安理工大學(xué),2008.

[9] SONKA M,HLAVAC V,BOYLE R.Image processing[M].London:Analysis and Machine Vision,1993.



作者信息:

高正中,趙晨暉,薛  寒,商春雷

(山東科技大學(xué) 電氣與自動(dòng)化工程學(xué)院,山東 青島266590)

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。