《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 設計應用 > 基于DaVinciTM的360°全景泊車影像系統(tǒng)的設計與實現(xiàn)
基于DaVinciTM的360°全景泊車影像系統(tǒng)的設計與實現(xiàn)
2014年電子技術應用第10期
周 猛,喬瑞萍,王效鵬,俞 璐
西安交通大學 電子與信息工程學院,陜西 西安710049
摘要: 全景泊車影像系統(tǒng)通過安裝在車身前后左右的4個超廣角攝像頭實時采集車輛四周的影像,經過圖像處理器矯正變換和全景拼接后,形成一幅車輛四周的360°全景俯視圖,并實時傳送到中控臺的顯示設備上,駕駛員坐在車中即可看到車輛所處的位置以及車輛周圍的障礙物,有效減少刮蹭、碰撞、陷落等事故的發(fā)生。
中圖分類號: TN911.73
文獻標識碼: A
文章編號: 0258-7998(2014)10-0020-03
Design and implementation of around view parking system based on DaVinci platform
Zhou Meng,Qiao Ruiping,Wang Xiaopeng,Yu Lu
School of Electronic and Information Engineering,Xi′an Jiaotong University,Xi′an 710049,China
Abstract: Around view parking system is one of the popular automotive safety applications which is on the rise in recent years. The system collects the real-time video around the car by four fish-eye cameras installed in the car′s front, back, left and right. A 360° overlooking panorama image of the vehicle can be formed through the correction transform and panorama mosaic by the image processor, and this image is sent to the center console display device. Drivers can use the system to see car′s accurate position and the obstacles around the car. It makes parking into place or visually through complex road easier and safer, and reduces the probability of accidents effectively. This system uses DaVinci(TM) DSP TMS320DM6437 and 4-channel video decoder TVP5158 as the core of the hardware, and uses fish-eye correction algorithm, bird′s-eye view trsformation algorithm and panorama mosaic technology as the core of the software. The experiment results show that the around view parking system can achieve high-resolution image quality and fluency processing speed.
Key words : around view parking;TMS320DM6437;TVP5158;fish-eye correction;bird′s-eye view trsformation;panorama mosaic

0 引言

    360°全景泊車影像系統(tǒng)是近年來興起的一項熱門的汽車安全應用,有效彌補了倒車雷達和倒車影像存在盲區(qū)的不足。其基本原理為:在車的前后保險杠和左右后視鏡下安裝4個超廣角魚眼攝像頭,攝像頭采集到的視頻信號送到視頻處理器,視頻處理器首先使用魚眼矯正算法和鳥瞰變換算法把畸變的圖像變成俯視的非畸形的視頻圖像,再使用全景拼接技術把四幅圖像進行裁剪拼接,形成汽車周圍的360°全景影像[1]。其原理如圖1所示。

qrs4-t1.gif

1 系統(tǒng)方案與指標

    系統(tǒng)主要由三部分組成:水平視角為180°的魚眼攝像頭、主機板卡、7英寸TFT顯示屏幕。全景泊車影像系統(tǒng)是安裝于汽車上的電子設備,因此其各類接口以及可靠性設計必須符合車載環(huán)境的要求。系統(tǒng)的性能指標如表1所示。

qrs4-b1.gif

2 硬件系統(tǒng)設計與實現(xiàn)

    TMS320DM6437是TI公司的32位定點DSP達芬奇技術的處理器,主頻最高可達700 MHz,具有32 bit、256 MB尋址空間的DDR2存儲器接口和8 bit、64 MB尋址空間的異步存儲器接口,片上集成了視頻處理子系統(tǒng)VPSS,支持汽車上用于電子設備通信的CAN總線,因此TMS320DM6437非常適合車載視頻設備的開發(fā)應用[2]。主機板卡主要由視頻采集模塊、外圍存儲模塊、視頻輸出接口、通信接口和電源模塊5部分構成,其結構如圖2所示。

qrs4-t2.gif

    (1)視頻采集模塊:視頻采集模塊將4路180°魚眼攝像頭采集的模擬視頻信號通過標準AV接口輸入到4路視頻編解碼芯片TVP5158中,TVP5158芯片對模擬視頻信號進行AD采樣、濾波、壓縮編碼,使用該芯片獨有的行交叉模式以8位BT.656數據格式輸入到TMS320DM6437中。

    (2)外圍存儲模塊:板卡使用三星公司的2片K4T51163芯片擴展1 GB容量的DDR2 SDRAM,用于存放運行過程中的數據和程序,使用1片飛索公司的S29GL128P擴展128 MB Flash用于存放固定程序和數據。

    (3)視頻輸出接口:TMS320DM6437通過芯片內部集成的視頻處理子系統(tǒng)VPSS將處理后的圖像經DA變換形成CVBS的模擬視頻信號,然后通過視頻濾波放大器OPA361輸出到標準AV接口上。

    (4)通信接口:板卡通過JTAG接口進行仿真和調試。預留RS232串行接口用于與PC通信。預留CAN總線接口連接汽車的OBD接口,用于高級功能擴展。

    (5)電源模塊:板卡采用5 V單電源供電,使用4片TI公司的高精度開關穩(wěn)壓電源芯片TPS54310,為各芯片提供所需的+1.1 V、+1.2 V、+1.8 V、+3.3 V電源,其最大輸出電流可達3 A[3],并使用TPS54310的啟動控制功能將板卡上電順序嚴格控制為先內核再IO,確保板卡上電時邏輯狀態(tài)的確定性。

    在PCB布線中運用了DDR芯片分組等長走線、數字部分和模擬部分單點共地、電源層不規(guī)則分割等抗干擾技術保證了主機板卡運行的可靠性和穩(wěn)定性。

3 軟件構架以及核心算法的實現(xiàn)

    本文使用了CCS3.3集成開發(fā)環(huán)境、DSP/BIOS操作系統(tǒng)和數字視頻軟件開發(fā)包DVSDK來建立系統(tǒng)的軟件構架,其主要由圖像采集、4路視頻分離、魚眼矯正、鳥瞰變換、全景拼接、圖像顯示六部分組成,系統(tǒng)的軟件組成如圖3所示。

qrs4-t3.gif

    (1)圖像采集與顯示:圖像的采集與顯示通過DSP/BIOS操作系統(tǒng)在軟件后臺自動維護一個采集隊列和一個顯示隊列來實現(xiàn)。當板卡上電后,DSP/BIOS自動生成并調用BIOS_init()函數初始化注冊的VPFE0、VPBE0、I2C0微型驅動,再調用main()函數對DM6437的功能寄存器進行初始化配置,DSP/BIOS創(chuàng)建視頻采集、顯示任務線程后調用IDL_loop()函數使DSP進入空閑循環(huán),等待采集中斷VDINT0和顯示中斷VENC。當接收到VDINT0時DSP將從VPFE采集到的一幀放入到采集隊列中,當接收到VENC時DSP從顯示隊列中取出一幀交給VPBE顯示,這樣視頻的采集和顯示在后臺自動運行,應用程序只需要從采集隊列里取出一幀處理后交給顯示隊列即可。流程圖如圖4所示。

qrs4-t4.gif

    (2)4路視頻分離:TVP5158將4路D1格式的視頻幀先分別壓縮為cif格式即360×240大小的幀,再將4個cif格式幀采用行交叉的模式復合成720×1 052大小的超級幀,并在每一行有效數據的前端插入通道號和行號以標識這一行有效數據的位置,應用程序中通過讀取超級幀中每行數據的通道號和行號將有效數據剝離并拼接成4個視頻幀[4]。4路視頻分離的示意圖如圖5所示。

qrs4-t5.gif

    (3)魚眼矯正:本文將魚眼鏡頭整體上理解為一個非線形系統(tǒng),如圖6所示,其中點P(u,v,z)為鏡頭球面上一點,P′(x,y)為校正后P點對應坐標,魚眼鏡頭可以用下面的方程式來描述:

qrs4-t6.gif

qrs4-gs1-9.gif

    至此便完成了魚眼圖像與正常圖像之間的坐標變換,通過圖像處理中的雙線性插值法,便可以得到校正后的圖像。魚眼矯正的效果如圖7所示。

qrs4-t7.gif

    (4)鳥瞰變換:系統(tǒng)的前后攝像頭是以一定的角度向前后照的,因此前后圖像會產生梯形形變,需要用鳥瞰變換將梯形形變矯正成俯視的效果。本文自制了標定盤,在前后攝像頭中首先標定出矩形的角點,由6對角點的坐標來計算透射變換矩陣,利用雙線性差值將圖像變換成鳥瞰圖像[5],鳥瞰變換的原理如圖8所示。

qrs4-t8.gif

    (5)全景拼接:將標定板分別放置于車體的前后,標定板中線與車身中軸線重合,在4個攝像頭中會分別看見重合的區(qū)域,在每個攝像頭中通過標定重合點作為裁剪的參考,最后以標定點的位置將裁剪圖像拼接在一起。全景拼接的原理如圖9所示。

qrs4-t9.gif

4 系統(tǒng)測試與效果

    在實驗室搭建測試平臺,使用400 cm×150 cm×90 cm的桌子模擬汽車,在桌子前后左右固定了4個魚眼攝像頭,將主機板卡和顯示器固定在桌子上,使用開關穩(wěn)壓電源為系統(tǒng)提供12 V和5 V電源。系統(tǒng)調試實驗的效果如圖10所示。

qrs4-t10.gif

    通過系統(tǒng)聯(lián)調實驗得出以下結論:

    (1)圖像魚眼矯正和鳥瞰變換效果基本達到設計要求,但圖像邊緣處仍有一些變形。

    (2)拼接效果良好,如圖10(b)所示,在圖像拼接處放置白紙,可以看到接縫處的拼接準確。

    (3)經過時間分析軟件的測試,圖像的處理速度在每秒28幀左右,視頻動態(tài)效果流暢。

    (4)系統(tǒng)連續(xù)工作4 h,發(fā)熱量很小,且工作穩(wěn)定無異常。

參考文獻

[1] 丁鑫.全景視覺泊車輔助系統(tǒng)研究[D].杭州:浙江大學,2010.

[2] Texas Instrument.TMS320DM6437 datasheet[Z].2006.

[3] Texas Instrument.TPS54310 datasheet[Z].2002.

[4] Texas Instrument.TVP5158 datasheet[Z].2009.

[5] 馬頌德,張友正.計算機視覺——計算理論與算法基礎[M].北京:科學出版社,1998.

此內容為AET網站原創(chuàng),未經授權禁止轉載。