摘 要： 一種新型運動自適應(yīng)去隔行視頻處理算法，并進(jìn)行了數(shù)字邏輯電路實現(xiàn)。該算法利用全局運動統(tǒng)計方法對傳統(tǒng)的運動檢測結(jié)果進(jìn)行校正處理，以提升運動檢測處理的準(zhǔn)確性。對場內(nèi)空間插值進(jìn)行定向邊緣平滑濾波，保持邊緣的清晰平滑。
關(guān)鍵詞： 去隔行; 運動自適應(yīng); 全局運動統(tǒng)計; 邊緣平滑濾波; 數(shù)字邏輯電路
?
視頻去隔行處理的功能是將隔行掃描的視頻序列轉(zhuǎn)換為逐行掃描視頻序列，從而用于逐行播放設(shè)備,主要包括：逐行CRT顯示器、液晶LCD、等離子顯示器以及投影儀等的顯示。目前的去隔行算法分為兩類：運動補償算法MC(Motion Compensation）和非運動補償算法NMC[1-2]。
非運動補償算法的基礎(chǔ)為時間域插值算法和空間域插值算法[2]。時間域插值也稱為場間（inter-field）插值算法，其優(yōu)點是對于靜止區(qū)域能還原得到最好的圖像結(jié)果，但在運動區(qū)域則會出現(xiàn)羽化現(xiàn)象?？臻g域插值算法即場內(nèi)（intra-field）插值算法，適用于運動區(qū)域的處理，目前多采用邊緣方向插值的方法以保護(hù)圖像邊緣信息。但是由于空間域信息的不足，因此這種方法會出現(xiàn)圖像模糊和邊沿鋸齒現(xiàn)象。運動自適應(yīng)方法[3]結(jié)合了上述兩種方法的特點，通過對像素點進(jìn)行運動檢測，判斷其運動狀態(tài)，從而確定最終的插值方法[4-5]。該方法的問題在于不準(zhǔn)確的運動狀態(tài)檢測結(jié)果會直接影響最終的圖像質(zhì)量，而被檢測為運動狀態(tài)的區(qū)域依然存在場內(nèi)插值的模糊與鋸齒問題。
運動補償算法[6]是更為先進(jìn)的去隔行處理算法，主要是根據(jù)運動估計處理得到運動矢量信息，并以此作為像素插值的參考依據(jù)。理論上這種方案能提供更高質(zhì)量的圖像處理結(jié)果，但其計算復(fù)雜，會極大地增加運算量以及硬件實現(xiàn)的資源開銷。此外，運動補償算法本身對運動估計精度的要求較高，在無法完全確定運動矢量的準(zhǔn)確性時仍然需要運動自適應(yīng)算法作為補充方案[7]，以達(dá)到最佳的處理結(jié)果。
針對以上問題，本文提出一種基于全局運動統(tǒng)計和邊緣平滑濾波的運動自適應(yīng)去隔行視頻處理算法，并進(jìn)行了數(shù)字邏輯電路實現(xiàn)。該方法提升了運動檢測的準(zhǔn)確性，保證了邊緣的平滑，達(dá)到提高圖像處理質(zhì)量的目標(biāo)，同時其適當(dāng)?shù)倪\算開銷適于硬件邏輯電路應(yīng)用。
1 算法描述
運動自適應(yīng)去隔行方法利用像素點空間和時間鄰域上的像素信息對其進(jìn)行運動檢測，得到歸一化運動狀態(tài)值M[8]。而后分別采用時間域場間平均插值和空間域場內(nèi)定向邊緣插值方法[9]，得到中間結(jié)果Pinter和Pintra，并按照公式(1)以M為系數(shù)進(jìn)行加權(quán)平均，得到最終結(jié)果Presult。該方法影響圖像質(zhì)量的關(guān)鍵在于改進(jìn)運動檢測的準(zhǔn)確性以及提高場內(nèi)插值方法的處理效果，這也是本文研究的重點。
1.1 基于全局運動統(tǒng)計的運動檢測
傳統(tǒng)的運動檢測是利用相隔場(即奇-奇場或偶-偶場)對應(yīng)位置的局部時空域內(nèi)像素信息進(jìn)行計算，本文稱其為幀間運動檢測結(jié)果Mframe。由于該方法受到幀頻的限制以及噪聲等因素的影響，往往會出現(xiàn)檢測誤差，從而導(dǎo)致處理結(jié)果的錯誤。針對該問題本文提出了基于全局運動統(tǒng)計的運動檢測算法，其基本流程如圖 1所示。本方法利用邊緣檢測處理和場間運動檢測處理得到的參考信息，判斷圖像的全局運動狀態(tài)。而后根據(jù)上述信息從全局的角度對局部幀間運動檢測結(jié)果進(jìn)行分類校正，從而提高運動檢測的準(zhǔn)確性。
?
1.1.1 場間運動檢測
幀間運動檢測使用相隔場之間信息進(jìn)行運動的判斷無法檢測出高于幀頻的運動，針對這個問題本文的方法是引入場間運動檢測處理。首先計算待處理像素與相鄰場對應(yīng)位置像素的絕對差值，然后利用閾值處理得到是否存在場間運動的標(biāo)志信號Ffield。
式(2)中，由于當(dāng)前場中該位置并沒有對應(yīng)的原始像素點，因此采用垂直濾波的方法得到該位置的估計值。其中n表示時間軸上待插值像素點所在的場序號，i和j分別表示像素點的垂直和水平坐標(biāo)位置，a(m)(m∈{-3,-1,1,3})為低通濾波器系數(shù)，Tfield為場間運動閾值。
1.1.2 邊緣檢測
邊緣檢測用于檢測待插值像素是否處于圖像中物體的邊緣位置，如圖2所示，其中黑色為原始像素點，白色為插值像素點，而灰色為待檢測像素。D1～D5進(jìn)行當(dāng)前第n場邊緣檢測，D6利用第n-1場輔助檢測當(dāng)前場高頻的雙向跳變邊緣。而后計算上述差值集合的最大值是否超過閾值Tedge，即得該像素點是否為邊緣點的標(biāo)志信號Fedge。
?
?
1.1.3 運動統(tǒng)計校正
運動統(tǒng)計校正功能整體流程如圖3所示。經(jīng)過實驗表明，圖像中邊緣的運動狀態(tài)往往更能代表圖像的運動狀態(tài)，即如果邊緣像素點普遍運動，則圖像偏向有運動；反之則圖像偏向無運動，因此，使用邊緣檢測得到邊緣處像素點的幀間運動信息進(jìn)行全局統(tǒng)計，而非邊緣點則忽略不計。
?
首先按照閾值式(4)得到是否存在幀間運動的標(biāo)志Fframe，而后逐點統(tǒng)計一幅圖像的邊緣點中有幀間運動和無幀間運動的像素個數(shù)，分別得到運動量Nm和靜止量Ns,再按照式(5)條件得到全局運動狀態(tài)C(n)。
?
接下來利用上述得到的三個像素局部運動特征(幀間運動標(biāo)志Fframe、場間運動標(biāo)志Ffield、邊緣標(biāo)志Fedge）以及一個全局特征（全局運動狀態(tài)C(n)）形成四維狀態(tài)分類，以確定每個像素所屬的狀態(tài)以及對應(yīng)的校正系數(shù){kp,q|p∈[0,2]、q∈[1,5]}，如表 1所示。
?
根據(jù)校正系數(shù)k，對原有幀間運動檢測結(jié)果按式(6)進(jìn)行校正，得到運動檢測校正值M′用于式(1)的運動自適應(yīng)加權(quán)。
1.2 邊緣平滑濾波
場內(nèi)邊緣方向濾波插值的流程如圖4所示。首先需要對像素點的邊緣方向進(jìn)行檢測，而后沿該方向θP對像素進(jìn)行定向濾波插值，得到插值結(jié)果Pdir_flt。處理后的圖像會出現(xiàn)一定程度的鋸齒現(xiàn)象，特別是在一些比較細(xì)微的斜向邊緣或斜線處，這種情況更為明顯。這里提出新型邊緣平滑濾波算法，即利用定向插值信息，對插值結(jié)果進(jìn)行有選擇的濾波處理，可以有效地消除鋸齒現(xiàn)象，提升圖像質(zhì)量。
?
以圖5所示待處理像素A為例，其方向濾波的插值方向θP如雙箭頭虛線所示。平滑濾波以該方向為基準(zhǔn)，沿第1、3象限分別計算該方向側(cè)上方像素差值絕對值DBC=|PB-PC|、側(cè)下方像素差值絕對值DDE=|PD-PE|以及角點像素差值絕對值DGH=|PG-PH|（方向為第2、4象限同理可得）。而后比較DBC和DDE得到較小值Dmin和較大值Dmax。再分別判斷以下四項條件，以確定是否滿足選擇性濾波要求，其中T1、T2和T3分別為判定閾值。
(1) C1: Dmin
(2) C2: Dmax>T2（該條件表示差值較大的一側(cè)相關(guān)性較弱）;
(3) C3: DGH>T3（該條件表示角點之間的相關(guān)性較弱）;
(4) C4: θP(0,π/2)（該條件表示當(dāng)方向為水平或垂直時不做處理）。
上述判定條件是為了保證選擇出待處理像素的某鄰近像素之間具有足夠大的相關(guān)性的同時，其他鄰近像素的相關(guān)性比較弱，以避免出現(xiàn)誤平滑的情況。平滑處理是對滿足條件的待處理像素A以及對應(yīng)較小值Dmin的兩個像素進(jìn)行低通平滑濾波（其中{a(m),m∈[0,2]}為濾波器系數(shù)），從而得到最終像素A的濾波結(jié)果Pintra。如果不滿足條件則略過此過程。
2 邏輯電路實現(xiàn)
圖6所示為去隔行邏輯電路單元結(jié)構(gòu)圖。該電路設(shè)計要求處理10位亮度和色度信號，接收NTSC制(525/60Hz)以及PAL制(625/50Hz)視頻輸入。數(shù)據(jù)格式為4:2:2的YUV類型，最大圖像尺寸支持1920×1080像素(HDTV)。由于需要同時對三場圖像進(jìn)行處理，因此外接了二場緩沖存儲器。改進(jìn)功能模塊電路(全局運動統(tǒng)計和邊緣平滑濾波)共使用了23個加(減)法器和31個比較器，而并不包含復(fù)雜的乘除法運算以及占用開銷較大的行/場緩存，因此硬件開銷較小，同時有利于保證電路的高速處理。
?
3 實驗結(jié)果
3.1 客觀數(shù)據(jù)比較
對常用去隔行處理方法（場內(nèi)線性插值(BoB)、場間平均(weave)[2]、運動自適應(yīng)插值(MA)以及本方法（即在運動自適應(yīng)插值基礎(chǔ)上增加全局運動統(tǒng)計校正算法和邊緣平滑濾波算法）進(jìn)行峰值信噪比(PSNR)[10]的比較，此外加入四場運動自適應(yīng)算法[11]（4F-MA）、3D遞歸運動補償算法[4](3DRS-MC)以及四場自適應(yīng)全局運動補償算法[7](4F-AGMC)作為對比。各算法處理結(jié)果如圖7所示。根據(jù)數(shù)據(jù)可以看出，本文方法與原有運動自適應(yīng)方法相比，由于運動檢測結(jié)果更為準(zhǔn)確，同時減少了場內(nèi)插值的鋸齒效應(yīng)，因此PSNR值有所提高，已經(jīng)達(dá)到或接近運動補償方法的效果。雖然對于運動較為劇烈的圖像中本文方法結(jié)果有所不足(如Stefan和Tennis)，但優(yōu)勢是在運算代價較小的前提下，仍能保證較高的圖像處理質(zhì)量。
?
3.2 主觀評價對比
PSNR比較雖然是圖像處理中重要的評測方法，但有時難以完全體現(xiàn)算法的處理效果，因此主觀評價同樣重要。這里以測試視頻Stefan和tin序列為例來說明算法的改進(jìn)效果。測試視頻Stefan中球拍的高速運動會導(dǎo)致運動檢測的失敗而使圖像出現(xiàn)柵狀橫線，如圖8所示，本文全局運動統(tǒng)計的校正方法可以有效地消除這個缺陷，從而達(dá)到更好的圖像質(zhì)量。測試視頻tin存在一些運動的斜向細(xì)線，如果場內(nèi)插值不夠準(zhǔn)確就會出現(xiàn)如圖9所示鋸齒，而本文方法改進(jìn)了場內(nèi)濾波將細(xì)線變得更清晰和平滑，改善了最終的視覺效果。
?
本文提出一種基于全局運動統(tǒng)計和邊緣平滑濾波的運動自適應(yīng)去隔行視頻處理算法，并進(jìn)行了數(shù)字邏輯電路實現(xiàn)。該方法利用全局運動統(tǒng)計方法對傳統(tǒng)的運動檢測結(jié)果進(jìn)行校正處理，得到更為精確的運動狀態(tài)信息用于自適應(yīng)加權(quán)插值。此外，對場內(nèi)空間插值的結(jié)果進(jìn)行沿邊緣方向的平滑濾波，從而保持邊緣的清晰平滑。
實驗表明，本文方法在只增加較少運算開銷的前提下，達(dá)到或接近運動補償算法的處理效果，提高了運動自適應(yīng)去隔行視頻處理方法的圖像質(zhì)量，適用于硬件邏輯電路實現(xiàn)以及視頻實時處理應(yīng)用，具有較高的實用價值。
參考文獻(xiàn)
[1] ?JACK K. Video demystified[M]. Englewood Cliffs, Elsevier Inc, 2005.
[2] HAAN G D,BELLERS E B.De-interlacing-an overview[J]. ?Proceeding of the IEEE, 1998,86(9):1839-1857.
[3] ?ACHIHA M, ISHIKURA K, FUKINUKI T. A motionadaptive high-definition converter for NTSC Color TV
?Signals[J]. SMPTE Journal, 1984,93(5):470-476.
[4] ?MARTINS B, FORCHHAMMER S. A unified approach to?restoration, deinterlacing and resolution enhancement in?decoding MPEG-2 video[J]. IEEE Trans. Circuits and?Systems for Video Technology, 2002,12(9):803-811.
[5] ?LEE S G, LEE D H. A motion-adaptive de-interlacing?method using an efficient spatial and temporal interpolation [J]. IEEE Trans. Consumer Electronics, 2003,49(4):1266-1271.
[6] ?HAAN G D, KETTENIS J, LOORE B D. IC for motion?compensated 100Hz TV with natural-motion movie-mode
[J]. IEEE Trans. Consumer Electronics, 1996:165-174.
[7] ?CHANG Y L, LIN S F, CHEN C Y, et al. Video deinterlacing by adaptive 4-field global/local motion com-
?pensated approach[J], IEEE Trans. Circuits and Systems?for Video Technology,2005,15(12):1569-1582.
[8] ?YU L J, LI J T, ZHANG Y D, et al. Motion adaptive?deinterlacing with accurate motion detection and antialiasing interpolation filter[J]. IEEE Trans. Consumer?Electronics, 2006,52(2).
[9] ?HAAN G D, LODDER R. De-interlacing of video data?using motion vectors and edge information[C]. Digest of?the ICCE′02, 2002:70-71.
[10] WANG Yao, OSTERMANN, ZHANG Y Q. Video processing and communications[M]. Pearson Education, 2003.
[11] LIN? S F, CHANG Y L, CHEN L G. Motion adaptive?de-interlacing by horizontal motion detection and enhan-
?ced ?ELA processing[C]. Proc. 2003 IEEE Int. Symp.?Circuits?and Systems,2003: 696-699.