田鑫，施成章，朱學(xué)軍

　?。▽幭拇髮W(xué) 機(jī)械工程學(xué)院，寧夏 銀川 750021）

　　摘要：機(jī)器人通過(guò)視覺(jué)對(duì)工件位置信息進(jìn)行分析處理，完成相應(yīng)搬運(yùn)任務(wù)已成為機(jī)器人應(yīng)用的主要發(fā)展方向。本文主要針對(duì)立體倉(cāng)儲(chǔ)系統(tǒng)中基于視覺(jué)定位的物料搬運(yùn)應(yīng)用進(jìn)行研究。系統(tǒng)中采用智能相機(jī)Vision Hawk對(duì)目標(biāo)進(jìn)行視覺(jué)定位，運(yùn)用攝像機(jī)標(biāo)定技術(shù)實(shí)現(xiàn)相機(jī)—機(jī)器人坐標(biāo)系的標(biāo)定，通過(guò)控制軟件Workvisual來(lái)完成機(jī)器人的運(yùn)動(dòng)控制和軌跡規(guī)劃，進(jìn)而實(shí)現(xiàn)機(jī)器人對(duì)多種類型工件的識(shí)別、定位及搬運(yùn)。

　　關(guān)鍵詞：視覺(jué)定位；搬運(yùn)；攝像機(jī)標(biāo)定；運(yùn)動(dòng)控制

0引言

　　近年來(lái)，視覺(jué)引導(dǎo)與定位技術(shù)已經(jīng)成為工業(yè)機(jī)器人獲得環(huán)境信息的主要手段，它可以實(shí)現(xiàn)工業(yè)機(jī)器人在實(shí)際應(yīng)用中的自主判斷能力，使機(jī)器人應(yīng)用的靈活性和工作質(zhì)量大大提高。隨著機(jī)器人技術(shù)的飛速發(fā)展，機(jī)器視覺(jué)系統(tǒng)這一新興技術(shù)也進(jìn)入到日常的生產(chǎn)應(yīng)用當(dāng)中。機(jī)器人視覺(jué)廣泛應(yīng)用于工業(yè)領(lǐng)域，主要集中在電子行業(yè)、半導(dǎo)體行業(yè)、航天、測(cè)量等行業(yè)，并取得了很多成就。目前視覺(jué)應(yīng)用已經(jīng)發(fā)展得相當(dāng)成熟，許多工業(yè)生產(chǎn)線上都已經(jīng)投入使用［1］。主要應(yīng)用如破損檢測(cè)、條形碼讀取、位置檢測(cè)等。視覺(jué)還可分為單目視覺(jué)和雙目視覺(jué)，單目視覺(jué)就是對(duì)二維平面進(jìn)行視覺(jué)檢測(cè)，這樣對(duì)于立體空間的檢測(cè)就受到限制；而雙目視覺(jué)則是對(duì)立體三維空間的檢測(cè)，因此應(yīng)用范圍更加廣泛。本文中的應(yīng)用主要是在平面內(nèi)的檢測(cè)，因此單目視覺(jué)就能夠滿足需要［2］。

　　智能化立體倉(cāng)儲(chǔ)系統(tǒng)的結(jié)構(gòu)組成有立體存取倉(cāng)庫(kù)、AGV小車、基于視覺(jué)搬運(yùn)機(jī)械手等幾部分，這里主要對(duì)基于視覺(jué)的機(jī)械手搬運(yùn)應(yīng)用進(jìn)行研究。采用視覺(jué)定位機(jī)器人對(duì)七巧板（模擬需要搬運(yùn)的工件）進(jìn)行拆分和組合，本文將對(duì)這一部分的應(yīng)用做一些簡(jiǎn)單的說(shuō)明。

1結(jié)構(gòu)組成

　　圖1可視化搬運(yùn)系統(tǒng)組成如圖1所示，視覺(jué)搬運(yùn)系統(tǒng)是由機(jī)器手臂、控制柜、智能相機(jī)、吸盤、拆分臺(tái)、運(yùn)輸臺(tái)、組合臺(tái)幾部分組成。其中，機(jī)械手為KUKA機(jī)械手，攝像頭采用VisionHawk智能相機(jī)，兩者相互組合形成機(jī)器人可視化系統(tǒng)，用來(lái)完成工件的定位和搬運(yùn)，保證在搬運(yùn)過(guò)程中，機(jī)器人吸盤能夠準(zhǔn)確吸取工件［34］。

2視覺(jué)定位原理

　　2.1視覺(jué)工作流程

　　KUKA機(jī)械手與Vision Hawk智能相機(jī)組成可視化搬運(yùn)系統(tǒng)，其工作基本流程如下［5］：（1）系統(tǒng)開始運(yùn)行，通過(guò)相機(jī)進(jìn)行圖像采集；（2）利用應(yīng)用軟件Visionscape對(duì)目標(biāo)圖像進(jìn)行對(duì)比分析和處理；（3）通過(guò)像素網(wǎng)格劃分對(duì)目標(biāo)圖像的具體位置進(jìn)行定位運(yùn)算；（4）將所得圖像坐標(biāo)利用Visionscape軟件進(jìn)行轉(zhuǎn)換運(yùn)算，即圖像坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換，實(shí)現(xiàn)對(duì)七巧板所在實(shí)際位置的坐標(biāo)數(shù)據(jù)的輸出。

　　2.2攝像機(jī)標(biāo)定方法

　　計(jì)算機(jī)視覺(jué)的基本任務(wù)之一是從攝像機(jī)獲取的圖像信息出發(fā)計(jì)算空間物體的幾何信息，并由此重建和識(shí)別物體?？臻g物體表面某點(diǎn)的幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系是由攝像機(jī)成像的幾何模型決定的，這些幾何模型參數(shù)就是攝像機(jī)參數(shù)。在大多數(shù)條件下，這些參數(shù)必須通過(guò)實(shí)驗(yàn)與計(jì)算才能得到，這個(gè)過(guò)程被稱為攝像機(jī)標(biāo)定［6］。

　　通過(guò)攝像機(jī)標(biāo)定，可以實(shí)現(xiàn)空間中各個(gè)坐標(biāo)系之間的相互轉(zhuǎn)換，從而得到所采集目標(biāo)圖像在實(shí)際空間中的坐標(biāo)，實(shí)現(xiàn)視覺(jué)定位。下面將簡(jiǎn)單對(duì)攝像機(jī)標(biāo)定方法進(jìn)行說(shuō)明。

　　在視覺(jué)系統(tǒng)中，常用到的坐標(biāo)系有相機(jī)坐標(biāo)系Oc—XcYcZc；世界坐標(biāo)系Ow—XwYwZw；圖像坐標(biāo)系，包括圖像物理坐標(biāo)系o—xy和圖像像素坐標(biāo)系o—uv。坐標(biāo)系之間存在相對(duì)應(yīng)的關(guān)系，需要通過(guò)計(jì)算來(lái)實(shí)現(xiàn)坐標(biāo)的轉(zhuǎn)換，從而實(shí)現(xiàn)靈活、準(zhǔn)確地定位，進(jìn)而實(shí)現(xiàn)對(duì)目標(biāo)工件的吸取。

　　而通過(guò)攝像機(jī)標(biāo)定技術(shù)可實(shí)現(xiàn)圖像、相機(jī)、世界坐標(biāo)系的轉(zhuǎn)換［78］。其轉(zhuǎn)換計(jì)算關(guān)系如下：

　　世界坐標(biāo)系中一點(diǎn)P（Xw，Yw，Zw），(u,v)是P點(diǎn)的成像點(diǎn)p的實(shí)際圖像像素坐標(biāo)，單位是像素?cái)?shù)(pixel)，f為焦距。P在圖像上的成像位置p的幾何關(guān)系如式(1)所示：

　　其中， (Xc，Yc，Zc)是P點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)。(xu，yu)是p點(diǎn)的物理圖像坐標(biāo)，單位為mm。

　　圖像坐標(biāo)中圖像像素坐標(biāo)與圖像物理坐標(biāo)之間的關(guān)系如式(2)所示：

　　其中，sx，sy為圖像平面單位距離上的像素?cái)?shù)(pixels/mm)，(u0，v0)為攝像機(jī)與圖像平面的交點(diǎn)，稱為主點(diǎn)坐標(biāo)。由式(1)、（2）可得：

　　其中，fu=fsx，fv=fsy，fu稱為圖像u軸的尺度因子，fv稱為圖像v軸的尺度因子。

　　令p為規(guī)一化的理想圖像坐標(biāo)，即相當(dāng)于假設(shè)攝像機(jī)焦距等于1，其中x=Xc/Zc，y=Yc/Zc，則有：

　　則圖像點(diǎn)的像素坐標(biāo)m與規(guī)一化坐標(biāo)p之間的關(guān)系以齊次坐標(biāo)表示為：

　　其中，K包含5個(gè)內(nèi)參數(shù)，它反映的是攝像機(jī)內(nèi)部的成像參數(shù)，所以稱為內(nèi)參數(shù)矩陣。

　　可以得到世界坐標(biāo)系與攝像機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系為：

　　其中，R和T分別為從世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)和平移變換。由式(5)、(6)可得空間點(diǎn)的實(shí)際坐標(biāo)與像素坐標(biāo)之間的關(guān)系為：

　　其中M為3×4矩陣，稱為透視變換矩陣，M1只與攝像機(jī)內(nèi)部結(jié)構(gòu)有關(guān)，稱為攝像機(jī)內(nèi)部參數(shù)；M2只與攝像機(jī)對(duì)于世界坐標(biāo)系的方位有關(guān)，稱為攝像機(jī)外部參數(shù)。X為空間點(diǎn)在世界坐標(biāo)系下的齊次坐標(biāo)。

　　以上換算過(guò)程是通過(guò)Visionscape軟件設(shè)置完成的，通過(guò)進(jìn)行相應(yīng)的設(shè)置，實(shí)現(xiàn)采集圖像與目標(biāo)圖像的分析對(duì)比及坐標(biāo)的轉(zhuǎn)換，并將運(yùn)算坐標(biāo)結(jié)果傳送至機(jī)械手，從而實(shí)現(xiàn)對(duì)工件的準(zhǔn)確定位、吸取和搬運(yùn)［9］。

3搬運(yùn)工作流程

　　AGV將出庫(kù)的托盤運(yùn)送至拆分臺(tái)后，根據(jù)上位機(jī)發(fā)出的拆分指令，機(jī)械手將托盤上的七巧板拆分并依次放置在輸送臺(tái)的傳送帶上，這里每放置一個(gè)，放置位傳感器接收信號(hào)，步進(jìn)電機(jī)就向前運(yùn)動(dòng)一段固定的距離，直到七巧板全部拆分完成，停止動(dòng)作待命。而后根據(jù)上位機(jī)發(fā)送的組合指令，將傳送帶上的七巧板按照上位機(jī)事先預(yù)設(shè)的圖形在組合臺(tái)上進(jìn)行擺放，這里從輸送臺(tái)上取走工件，每取走一個(gè)，提取位傳感器接收信號(hào)，步進(jìn)電機(jī)就向前運(yùn)動(dòng)一段固定的距離，直到七個(gè)工件全部提取完成，停下等待指令。

　　在執(zhí)行操作前需要通過(guò)上位機(jī)對(duì)其搬運(yùn)效果圖形進(jìn)行選擇設(shè)定，設(shè)定完成后運(yùn)行圖2預(yù)設(shè)圖形，視覺(jué)搬運(yùn)系統(tǒng)將會(huì)按照上位機(jī)發(fā)出的預(yù)設(shè)圖形進(jìn)行拆分組合，其預(yù)設(shè)圖形如圖2所示。

　　使用KUKA機(jī)械手完成吸取和搬運(yùn)，通過(guò)WorkVisual控制軟件編程實(shí)現(xiàn)搬運(yùn)的運(yùn)動(dòng)控制和軌跡規(guī)劃，其基本流程如下圖3所示。

　　最終實(shí)現(xiàn)的搬運(yùn)效果如圖4所示，這里只是預(yù)設(shè)7種圖案中的一種搬運(yùn)效果。前者為搬運(yùn)操作前的狀態(tài)，后者為搬運(yùn)完成后的狀態(tài)。

4結(jié)論

　　如今越來(lái)越多基于視覺(jué)應(yīng)用的機(jī)器人進(jìn)入到生產(chǎn)工作中，而其中基于視覺(jué)的搬運(yùn)機(jī)器人是視覺(jué)應(yīng)用的主要研究方向之一。本文研究的是一種基于單目相機(jī)的視覺(jué)搬運(yùn)系統(tǒng)，利用坐標(biāo)系標(biāo)定方法實(shí)現(xiàn)圖像和空間坐標(biāo)系之間的相互轉(zhuǎn)換，快速準(zhǔn)確地得到目標(biāo)的坐標(biāo)數(shù)據(jù)，實(shí)現(xiàn)在空間中對(duì)工件的視覺(jué)識(shí)別定位及搬運(yùn)。系統(tǒng)可以應(yīng)用于高重復(fù)性的生產(chǎn)工作中，降低人工及工裝成本，使得自動(dòng)化生產(chǎn)更具柔性以及智能化。目前這種基于視覺(jué)的搬運(yùn)系統(tǒng)已在實(shí)際工業(yè)現(xiàn)場(chǎng)中得到應(yīng)用。

參考文獻(xiàn)

　?。?］ MALASSIOTIS S, STRINTZIS M G. Stereo vision system for precision dimensional inspection of 3D holes［J］.Machine Vision and Applications,2003, 15(2):101113.

　　［2］ 劉子豪,樊留群. 工件的視覺(jué)定位及機(jī)器人控制的應(yīng)用研究［J］. 機(jī)電產(chǎn)品開發(fā)與創(chuàng)新, 2014,27（6）：46,9.

　?。?］ 李金義,楊成,王京.基于視覺(jué)定位的機(jī)器人搬運(yùn)系統(tǒng)［J］. 制造業(yè)自動(dòng)化, 2011,33(2):4142.

　?。?］ 劉振宇,李中生,馮柏潤(rùn),等.機(jī)器視覺(jué)在工業(yè)生產(chǎn)線上的應(yīng)用實(shí)現(xiàn)［J］.微型機(jī)與應(yīng)用,2013,32(17):2730.

　　［5］ 潘武.基于機(jī)器視覺(jué)的工件的識(shí)別和定位［D］. 北京：北京化工大學(xué), 2012.

　?。?］ 夏群峰,彭勇剛.基于視覺(jué)的機(jī)器人抓取系統(tǒng)應(yīng)用研究綜述［J］.機(jī)電工程, 2014,31(6):697701.

　?。?］ 舒娜.攝像機(jī)標(biāo)定方法的研究［D］. 南京：南京理工大學(xué), 2014.

　?。?］ 賈丹.攝像機(jī)現(xiàn)場(chǎng)標(biāo)定算法研究［D］. 哈爾濱：哈爾濱工程大學(xué), 2007.

　?。?］ 朱海波.基于視覺(jué)引導(dǎo)的工業(yè)機(jī)器人工件搬運(yùn)技術(shù)研究［D］. 沈陽(yáng)：沈陽(yáng)工業(yè)大學(xué), 2013.