摘要:介紹了一種解決視頻圖像抖動問題的電子穩(wěn)像" title="電子穩(wěn)像">電子穩(wěn)像方法,系統(tǒng)利用灰度投影算法" title="灰度投影算法">灰度投影算法和德州儀器公司的定點數(shù)字信號處理器芯片TMS320DM642" title="TMS320DM642">TMS320DM642實現(xiàn)電子穩(wěn)像。文中提出了電子穩(wěn)像性能的基本要求,介紹了穩(wěn)像的基本原理,根據(jù)要求選擇了穩(wěn)像算法,從而設(shè)計了系統(tǒng)的硬件框圖,并完成了算法的仿真。實驗結(jié)果表明,該算法穩(wěn)效果好,且達到準確性要求。
關(guān)鍵詞:電子穩(wěn)像;灰度投影算法;數(shù)字信號處理器
電子穩(wěn)像集合了計算機、數(shù)字圖像處理和數(shù)字信號處理等技術(shù)為一體的新一代實現(xiàn)圖像序列穩(wěn)定的綜合性技術(shù)。實時性和準確性是衡量電子穩(wěn)像系統(tǒng)的兩個重要指標。因此,電子穩(wěn)像算法要體現(xiàn)其優(yōu)越性,就要滿足實時性和準確性。
1 基于灰度投影的電子穩(wěn)像算法
1.1 電子穩(wěn)像基本原理
電子穩(wěn)像(Electronic Image Stabilization,EIS)是集電子技術(shù)、計算機、數(shù)字信號處理、視頻圖像處理等為一體的實現(xiàn)數(shù)字圖像序列穩(wěn)定的技術(shù)。電子穩(wěn)像技術(shù)中最基本的是像移補償技術(shù)是直接從像面上通過檢測參考圖像和被比較圖像的運動矢量,然后利用算法進行補償?shù)募夹g(shù)。穩(wěn)像的基本原理:(1)根據(jù)圖像序列或視頻的各種信息進行局部運動估計。(2)進行全局運動估計。(3)經(jīng)過運動估計后取得運動參數(shù),然后進行綜合評價。(4)根據(jù)綜合評價的結(jié)果進行運動補償,并最終取得穩(wěn)定的輸出序列。由此可知,獲得圖像的全局運動矢量是電子穩(wěn)像的前提條件。基本流程如圖1所示。對于全局運動矢量可以通過灰度投影算法獲得。
1.2 灰度投影算法
灰度投影算法(Projection Algorithm,PA)是利用圖像灰度分布變化的特點得到圖像幀間運動矢量。對于灰度細節(jié)豐富、直方圖無明顯特征、對比度差的圖像難以識別特征量,尋找特征量不僅無法保證所需的穩(wěn)像精度,更難以滿足穩(wěn)像的實時性要求。針對此種圖像序列,用灰度投影法來實現(xiàn)圖像運動矢量的準確獲取,從而達到穩(wěn)定圖像序列的目的。視頻圖像序列是圖像的灰度發(fā)生變化的圖像序列,各種運動矢量估計算法均是以灰度變化為依據(jù)。投影算法能充分利用圖像的灰度變化這一特點,較準確地估計出圖像的運動矢量。此算法的優(yōu)點是:灰度曲線匹配速度快,從而提高了穩(wěn)像速度,適用于圖像照度變化導(dǎo)致的灰度變化的情況?;叶韧队八惴ㄊ菍崿F(xiàn)只含平移運動或旋轉(zhuǎn)運動較小的圖像序列電子穩(wěn)像的較理想算法。
(1)灰度映射。
灰度映射就是把每一幀輸入的初始的二維圖像信息映射成為兩個獨立的一維波形,如下為列投影的映射方法
式(1)~式(3)中,Colk(j)為第k幀圖像第j列的灰度值;Curk(i,j)是第k幀圖像上(i,j)位置上的像素值;NC是列數(shù),ColProjk(j)是第k幀圖像第j列修正后的投影值。行方向灰度投影映射的算法可以同理推出。
(2)投影濾波。
投影濾波是為了降低邊界信息的幅值,保留中間區(qū)域的幅值,使用濾波器經(jīng)行濾波。由于邊緣信息在互相關(guān)計算時會對互相關(guān)的峰值產(chǎn)生不利影響,因此要將邊界處的投影值去除。由于圖像移動量大時,邊緣信息在每一幅圖像上是惟一的,所以通過對投影值進行濾波可提高算法精度。
(3)互相關(guān)運算。
互相關(guān)運算就是將當(dāng)前幀圖像的行、列投影曲線與參考幀圖像的行、列投影曲線做互相關(guān)計算。運算后得到的相關(guān)值曲線中的惟一峰值即為補償運動矢量所求的位移值。得到了水平方向和垂直方向的位移矢量后,就將當(dāng)前圖像向位移矢量的反方向平移相應(yīng)大小的像素距離,從而實現(xiàn)圖像序列的穩(wěn)定。行、列相關(guān)運算的計算如式(4)所示
式(4)中Colk(j)為第k幀圖像第j列的灰度投影值;NC為列的長度;m為位移矢量相對于參考幀在一側(cè)的搜索寬度。設(shè)wmin為C(w)最小時w的值,則第k幀圖像相對于參考幀圖像在垂直方向的位移矢量如式(5)所示。
得到了水平方向和垂直方向的位移矢量后,就可以把當(dāng)前圖像向位移矢量的反方向運動,響應(yīng)大小的像素距離,從而實現(xiàn)圖像序列的穩(wěn)定。
2 基于TMS320DM642系統(tǒng)的設(shè)計
2.1 TMS320DM642介紹
TMS320DM642是TI公司推出的一款DSP芯片,這款芯片是專門面向多媒體應(yīng)用而設(shè)計開發(fā)的32位定點DSP芯片,是目前業(yè)界公認的性能良好的視頻處理器。良好的處理性能和豐富的片上外設(shè),可以滿足實時視頻處理的要求。DM642采用兩級緩存結(jié)構(gòu),第一級,包括相互獨立的L1P(16 kB)和L1D(16 kB),只能作為高速緩存使用。第二級,L2(256 kB)是一個統(tǒng)一的程序、數(shù)據(jù)空間,可以整體作為SRAM映射到存儲空間,也可以整體作為第二級Cache,或是二者按比例的一種組合來使用。DM642具有64個獨立通道的增強型直接存儲器訪問控制器,負責(zé)片內(nèi)L2與外設(shè)之間數(shù)據(jù)高速傳輸。具有豐富的外圍設(shè)備接口:3個可配置的雙通道視頻端口Video Port;64 bit的外部內(nèi)存接口EMIF;10/100 Mbit以太網(wǎng)MAC;66 MHz32 bit的PCI接口。
2.2 系統(tǒng)設(shè)計
本系統(tǒng)的硬件框圖如圖2所示,仿真圖像通過CCD攝像設(shè)備取得,對于取得的圖像信息,通過數(shù)字視頻解碼器處理,把模擬圖像轉(zhuǎn)換成數(shù)字圖像,再將數(shù)字信息存入到DM642芯片中,經(jīng)過DM642芯片的處理,得到相鄰幀之間的運動矢量,進而實時準確地對運動矢量經(jīng)行補償,得到輸出視頻序列,最后將處理后的視頻圖像顯示到顯示器上。
3 算法仿真結(jié)果分析
如圖3和圖4所示,分別反映的是穩(wěn)像前后圖像的列投影曲線,穩(wěn)像后的列投影曲線的形狀和位置基本一致,說明補償后圖像的相似度提高了,其穩(wěn)定性也提高了。同時,可以使用峰值信噪比(Peak Siginalto Noise Ratio,PSNR)來評價準確度的品質(zhì)因子。試驗結(jié)果表明,準確性達到了好的滿足要求,但實時性稍差還需要進行程序優(yōu)化,以達到較好的效果。
4 結(jié)束語
文中使用灰度投影算法,基于TI公司的TMS320DM642嵌入式系統(tǒng)實現(xiàn)了電子穩(wěn)像。試驗結(jié)果表明,文中采用的算法不僅穩(wěn)像效果好,而且達到了準確性的要求。對于不同的應(yīng)用場景,具有一定的使用價值。