《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 其他 > 設(shè)計(jì)應(yīng)用 > 基于Zynq的視頻實(shí)時(shí)拼接系統(tǒng)
基于Zynq的視頻實(shí)時(shí)拼接系統(tǒng)
2021年電子技術(shù)應(yīng)用第2期
陳子為，陳 龍，朱美吉，蘇魯陽(yáng)
成都信息工程大學(xué) 電子工程學(xué)院，四川 成都610225
摘要： 針對(duì)目前視頻拼接系統(tǒng)實(shí)時(shí)性不高、拼接效果不理想、成本高等問題，對(duì)傳統(tǒng)的ORB算法進(jìn)行了改進(jìn)，并采用軟硬件協(xié)同設(shè)計(jì)的方法,在Zynq平臺(tái)上實(shí)現(xiàn)了一款視頻實(shí)時(shí)拼接系統(tǒng)。該系統(tǒng)利用Zynq的PS搭建嵌入式Linux系統(tǒng)，進(jìn)行用戶界面開發(fā)，實(shí)現(xiàn)任務(wù)調(diào)度；利用Vivado HLS工具將改進(jìn)的視頻拼接算法進(jìn)行硬件加速并部署到Zynq的PL中。實(shí)驗(yàn)結(jié)果表明，該視頻拼接系統(tǒng)拼接后的圖像清晰度高、無拼接縫隙，而且基于Zynq和改進(jìn)ORB算法的視頻拼接方案使視頻拼接速度獲得到了很大的提升，滿足實(shí)時(shí)性的要求。
關(guān)鍵詞： Zynq 視頻拼接 ORB算法 HLS
中圖分類號(hào)： TN911.73；TP368
文獻(xiàn)標(biāo)識(shí)碼： A
DOI：10.16157/j.issn.0258-7998.200806
中文引用格式： 陳子為，陳龍，朱美吉，等. 基于Zynq的視頻實(shí)時(shí)拼接系統(tǒng)[J].電子技術(shù)應(yīng)用，2021，47(2)：67-71.
英文引用格式： Chen Ziwei，Chen Long，Zhu Meiji，et al. Real-time video stitching system based on Zynq[J]. Application of Electronic Technique，2021，47(2)：67-71.
Real-time video stitching system based on Zynq
Chen Ziwei，Chen Long，Zhu Meiji，Su Luyang
School of Electronic Engineering, Chengdu University of Information Technology，Chengdu 610225，China
Abstract： Aiming at the existing problems of low real-time performance, unsatisfactory stitching effect and high cost in video stitching system at present, a real-time video stitching system was implemented on Xilinx Zynq platform using software and hardware collaborative design method after improving traditional ORB algorithm. The system used PS on Zynq to build an embedded Linux system, develop user interface programs, and implement task scheduling. The improving video stitching algorithm was packaged into an IP core that can be deployed into the PL on Zynq through Vivado HLS tools to achieve hardware accelerated processing. Experimental results showed that stitched video image had high clarity and no stitching gap, while this Zynq-based software and hardware collaborative processing architecture had greatly improved the speed of video stitching, which can meet the requirements of real-time processing.
Key words : ZYNQ；video stitching；ORB algorithm；HLS

0 引言

    隨著生產(chǎn)生活和科學(xué)技術(shù)的進(jìn)步，數(shù)碼攝像設(shè)備得到了廣泛地普及與應(yīng)用。但是由于數(shù)碼攝像設(shè)備自身物理?xiàng)l件的限制，普通數(shù)碼攝像設(shè)備獲取視頻的視野范圍較小，超廣角鏡頭或者魚眼鏡頭又會(huì)對(duì)圖像產(chǎn)生畸變[1]，不能滿足實(shí)際的應(yīng)用需求。利用單一攝像頭捕捉多張視頻畫面合成寬視野圖像的辦法不僅費(fèi)時(shí)費(fèi)力，而且獲得的全景圖像的質(zhì)量一般不佳。視頻拼接技術(shù)很好地解決了這一問題。所謂視頻拼接就是將幾個(gè)存在內(nèi)容相關(guān)性的窄視野視頻的每一幀圖像進(jìn)行拼接融合處理，得到一幅寬視野的甚至是全景的視頻圖像。視頻拼接本質(zhì)上就是圖像拼接，但由于其對(duì)于實(shí)時(shí)性的要求很高，使得在該領(lǐng)域的技術(shù)實(shí)踐更需要關(guān)注平臺(tái)的處理性能和算法的復(fù)雜性。

    目前市面上普遍采用基于ARM、DSP、FPGA的嵌入式平臺(tái)方案，以及多通道圖像采集拼接形成全景的通用計(jì)算機(jī)平臺(tái)方案來實(shí)現(xiàn)視頻拼接。這些實(shí)現(xiàn)方案存在一定的缺陷,基于ARM的實(shí)現(xiàn)方案處理能力較弱，無法進(jìn)行復(fù)雜視頻算法；基于DSP的實(shí)現(xiàn)方案處理速度比FPGA慢[2]；基于FPGA的實(shí)現(xiàn)方案靈活性較差且成本較高；基于計(jì)算機(jī)平臺(tái)的實(shí)現(xiàn)方案憑借性能優(yōu)勢(shì)獲得好的效果，但設(shè)備體積龐大、功耗高且價(jià)格昂貴[3]。

    針對(duì)以上問題，本文首先對(duì)特征點(diǎn)檢測(cè)效率表現(xiàn)優(yōu)異的ORB算法進(jìn)行改進(jìn)，并利用Vivado HLS工具將改進(jìn)的視頻拼接算法進(jìn)行硬件加速并部署到Zynq的PL中，然后利用Zynq的PS搭建嵌入式Linux系統(tǒng)，進(jìn)行用戶界面開發(fā)，實(shí)現(xiàn)任務(wù)調(diào)度，最后提出了一種基于Zynq平臺(tái)對(duì)多通道視頻進(jìn)行無縫拼接處理的解決方案。




本文詳細(xì)內(nèi)容請(qǐng)下載:http://theprogrammingfactory.com/resource/share/2000003389




作者信息:

陳子為，陳  龍，朱美吉，蘇魯陽(yáng)

(成都信息工程大學(xué) 電子工程學(xué)院，四川 成都610225)

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。