文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.2015.10.040
中文引用格式: 李如春,李林,常麗萍. 基于變采樣率壓縮感知的視頻壓縮研究[J].電子技術(shù)應(yīng)用,2015,41(10):147-149,153.
英文引用格式: Li Ruchun,Li Lin,Chang Liping. Block compressed sensing of video based on variable sampling rates[J].Application of Electronic Technique,2015,41(10):147-149,153.
0 引言
壓縮感知理論(Compressed Sensing,CS)于2004年由Candès,Donoho和Tao等人提出,2006年Candès等人從數(shù)學(xué)上證明壓縮傳感可以從部分傅里葉變換系數(shù)中精確重構(gòu)出原始信號(hào), 奠定了壓縮感知的理論基礎(chǔ)[1-2]。壓縮感知理論的基本思想為,如果某個(gè)變換域下信號(hào)是稀疏的,那么使用與該變換算子不相關(guān)的測(cè)量矩陣對(duì)原始信號(hào)投影,就可以通過(guò)稀疏優(yōu)化算法從少量測(cè)量值中高概率地重構(gòu)出原始信號(hào)。
基于壓縮感知的視頻壓縮,通常把整幀圖像作為一個(gè)整體進(jìn)行處理,由此使得測(cè)量矩陣需要非常大的存儲(chǔ)空間,并且增加了重構(gòu)過(guò)程的復(fù)雜度。為此,Gan于2007年提出一種分塊采樣模式,將單幀圖像分塊并對(duì)每一塊采用相同的測(cè)量矩陣采樣[3],但這種采用相同采樣率的分塊模式忽略了每個(gè)塊具有不同復(fù)雜度的事實(shí),為了克服這一缺陷,文獻(xiàn)[4-5]提出了率失真優(yōu)化法、像素熵方法對(duì)塊進(jìn)行分類(lèi)并分配不同的采樣率的方法,文獻(xiàn)[6]又提出一種易于用硬件實(shí)現(xiàn)的自適應(yīng)測(cè)量率方法。但這些方法在處理過(guò)程中需要獲取圖像原始數(shù)據(jù),違背了壓縮感知中采樣與壓縮同步進(jìn)行的基本精神。
綜上,本文提出一種簡(jiǎn)便且有效的基于變采樣率的分塊視頻壓縮感知方法,使用全變差(Total Variation,TV)算法重構(gòu)壓縮視頻,并且不區(qū)分關(guān)鍵幀與非關(guān)鍵幀,避免因網(wǎng)絡(luò)環(huán)境不穩(wěn)定造成參考幀的丟失,造成無(wú)法重構(gòu)視頻的后果。
1 分塊自適應(yīng)測(cè)量率壓縮感知算法
由于視頻的不同區(qū)域具有不同場(chǎng)景復(fù)雜度和變化強(qiáng)度,據(jù)此,本文根據(jù)分塊視頻幀間的變化程度合理分配采樣率,即變化程度較小的塊分配較低的采樣率,變化程度較大的塊分配較高的采樣率,并將視頻塊分成近似靜止塊、緩慢變化塊和快速變化塊3類(lèi),這樣保證了在較低的總采樣率下仍能較高質(zhì)量地重構(gòu)視頻圖像[7]。具體處理流程如圖1所示。
進(jìn)行自適應(yīng)測(cè)量率設(shè)定時(shí),首先選取合適的塊大小B,將視頻幀不重疊分塊得到K個(gè)B×B大小的塊,然后利用相同的測(cè)量矩陣進(jìn)行預(yù)采樣,得到每個(gè)圖像塊的測(cè)量向量。由于視頻場(chǎng)景復(fù)雜度和變化強(qiáng)度與幀間像素的差值直接相關(guān),因此,可以根據(jù)殘差能量進(jìn)行視頻塊的分類(lèi),即分類(lèi)判別標(biāo)準(zhǔn)設(shè)定為:
式中,表示第i(i=1,2,…,K)個(gè)圖像塊某一幀與上一幀對(duì)應(yīng)位置上的像素值[8]。在實(shí)際應(yīng)用中,由于把單幀圖像劃分為不同大小的塊,不同大小的塊兩幀之間具有不同的殘差能量,所以,選擇使用殘差能量密度作為判別標(biāo)準(zhǔn),即
上述方法需要在采集端獲得原始數(shù)字圖像,這在實(shí)際的壓縮成像設(shè)備中無(wú)法實(shí)現(xiàn)。為了克服這一缺陷,采用測(cè)量域的殘差能量密度作為判別標(biāo)準(zhǔn),具體如式(3)所示。
為確保式(3)能夠準(zhǔn)確分類(lèi),需要對(duì)塊進(jìn)行預(yù)采樣得到測(cè)量向量,保證測(cè)量向量能夠提供足夠的信息量,使得其能夠正確反映當(dāng)前塊的變化程度,但預(yù)采樣率太高會(huì)影響采樣速度,加大存儲(chǔ)硬件的實(shí)現(xiàn)難度[9]以及采樣時(shí)間。因此,要選擇合適的預(yù)采樣率,保證能夠?qū)崿F(xiàn)準(zhǔn)確分類(lèi),并且避免影響采樣速度。
2 重構(gòu)算法
壓縮感知的重構(gòu)算法很多,主要有貪婪迭代算法和凸優(yōu)化算法兩大類(lèi),其中全變差(TV)算法[10]是凸優(yōu)化算法中較為典型的一種,雖然重構(gòu)速度較慢,但重構(gòu)效果好,其基本思想是基于梯度的二維信號(hào)重構(gòu)。TV算法以信號(hào)的稀疏性為基礎(chǔ),對(duì)粗糙的初值圖像進(jìn)行連續(xù)迭代,逐步減小誤差直至恢復(fù)出最小誤差信號(hào)。定義大小為n×n的圖像數(shù)據(jù)用U表示,i和j分別表示圖像的行坐標(biāo)與列坐標(biāo),則可以用Ui,j表示坐標(biāo)點(diǎn)的像素值,圖像的水平與垂直一階微分算子表示如下:
由于TV算法是以梯度算法為基礎(chǔ),圖像中的導(dǎo)數(shù)可以用相鄰像素間的差值表示,因此要求出圖像在水平與豎直方向的導(dǎo)數(shù),并以這兩個(gè)方向的導(dǎo)數(shù)判斷圖像的最快變化方向,并以最快變化的反方向作為梯度的搜索方向,從而最快逼近原始圖像,結(jié)束迭代過(guò)程。
由式(4)、(5)得出離散梯度向量,可表示如下:
由全變差的定義以及以上3個(gè)公式,可得知全變差值為所有像素離散梯度向量模的總和,如下式:
迭代過(guò)程中,迭代閾值可以設(shè)為全變差的值,當(dāng)?shù)档陀陂撝禃r(shí)可認(rèn)為重構(gòu)出原始圖像[11-12]。
基于上述TV重構(gòu)算法的思想,利用其進(jìn)行圖像重構(gòu)時(shí),像素梯度即為幀間殘差,可以無(wú)需選取關(guān)鍵幀,對(duì)每一幀做相同的處理,更適合無(wú)線(xiàn)視頻的壓縮處理。
3 實(shí)驗(yàn)結(jié)果
本文基于MATLAB軟件平臺(tái),在傅里葉域下測(cè)試提出基于自適應(yīng)采樣率的壓縮感知方法,采用TV重構(gòu)算法,對(duì)視頻序列進(jìn)行壓縮。使用4組標(biāo)準(zhǔn)視頻序列測(cè)試文中提出的方法性能:Football、Foreman、News、Suzie。Foreman的分辨率為176×144,其余3個(gè)序列的分辨率都為352×288。其中Football序列的場(chǎng)景變化較劇烈,其余3個(gè)序列變化較緩慢,并且選取每個(gè)序列的前50幀圖像作為測(cè)試對(duì)象。
(1)預(yù)采樣率設(shè)定
采用32×32大小的塊,由于變采樣率方法中需要進(jìn)行預(yù)采樣,下面對(duì)預(yù)采樣率的選取進(jìn)行試驗(yàn)。選用上述4種視頻序列作為測(cè)試對(duì)象,分別設(shè)置預(yù)采樣率從10%~30%,計(jì)算視頻幀的峰值信噪比PSNR和重構(gòu)得平均時(shí)間,測(cè)試結(jié)果如表1~表4所示。
從表1中可以看出,采用的預(yù)采樣率越高,重建效果越好,但是重建所用時(shí)間也越多,綜合圖像PSNR以及編碼時(shí)間,本文選取預(yù)采樣率25%。
?。?)變采樣率視頻壓縮
視頻幀的塊大小設(shè)置為32×32,固定采樣率取45%;關(guān)于自適應(yīng)采樣率大小,通過(guò)對(duì)視頻序列進(jìn)行多次試驗(yàn)選擇了一組通用性較強(qiáng)的參數(shù),既可以保證采樣率較低,又可以保證重構(gòu)質(zhì)量較好,3種類(lèi)別的塊采樣率分別設(shè)為S1=10%,S2=20%,S3=45%。針對(duì)表1~表4所列的測(cè)試序列,對(duì)固定采樣率和變采樣率分別基于壓縮感知進(jìn)行視頻壓縮測(cè)試,其迭代次數(shù)及PSNR變化結(jié)果如圖2所示。
觀(guān)察圖2可知,本文提出的自適應(yīng)采樣率方法比固定采樣率處理的圖像PSNR值提高約3~4 dB,而趨于收斂的重構(gòu)迭代次數(shù)并沒(méi)有增加。
關(guān)于兩種方法處理視頻圖像所消耗的時(shí)間,以Foreman前50幀圖像為例,使用固定采樣率方法處理所用的平均時(shí)間為264.2 s,自適應(yīng)采樣率方法所需時(shí)間略低,約為253.4 s。這是由于自適應(yīng)變采樣率雖然增加了計(jì)算能量殘差的步驟,但是可以根據(jù)不同場(chǎng)景的變化程度和結(jié)構(gòu)復(fù)雜度,自適應(yīng)分配采樣率,減少了運(yùn)算時(shí)間。由此可見(jiàn),在重構(gòu)質(zhì)量和時(shí)間上,自適應(yīng)采樣率方法性能均較優(yōu)。
對(duì)于內(nèi)容變化較簡(jiǎn)單的測(cè)試序列,如Foreman序列,自適應(yīng)采樣率方法可以降低采樣率,獲得較好的重構(gòu)效果。而對(duì)于內(nèi)容變化較復(fù)雜的測(cè)試序列,如Football序列,自適應(yīng)采樣率方法可以提高采樣率,在所用時(shí)間不會(huì)大幅增加的前提下,使得重構(gòu)效果可以接受??傊疚奶岢龅淖赃m應(yīng)采樣率方法可以根據(jù)視頻內(nèi)容與變化程度自適應(yīng)地調(diào)整采樣率,使本文方法應(yīng)用于不同視頻時(shí)可以獲得較好的重構(gòu)質(zhì)量。
4 結(jié)論
本文基于壓縮感知思想提出一種自適應(yīng)分配測(cè)量采樣率的視頻壓縮方法。在編碼端,選取合適的塊大小,將圖像分成不重疊的相同大小塊,按照幀間相關(guān)性對(duì)圖像塊進(jìn)行分類(lèi)并分配不同的采樣率。在解碼端采用全變差算法以充分利用幀間相關(guān)性,使得視頻壓縮時(shí)不需要參考幀與非參考幀,更適合于無(wú)線(xiàn)網(wǎng)絡(luò)的傳輸。實(shí)驗(yàn)結(jié)果表明,本文提出的方法能夠在總采樣率較低的情況下,重構(gòu)出較高質(zhì)量的視頻圖像,而且重構(gòu)時(shí)間縮短。
參考文獻(xiàn)
[1] CANDES E J,ROMBERG J,TAO T.Robust uncertainty principles:exact signal reconstruction from highly incompletefrequency information[J].IEEE Transactions on Information Theory,2006,52(2):489-509.
[2] DONOHO D L.Compressed sensing[J].IEEE Transaction on Information Theory,2006,52(4):1289-1306.
[3] GAN L.Block compressed sensing of natural images[C].Proceedings of the 15th International Conference on Digital Signal Processing,Cardiff,UK,2007:403-406.
[4] VIJAYANAGAR K R,LIU Y,KIM J.Adaptive measurementrate allocation for block-based compressed sensing of depthmaps[C].Image Processing(ICIP),2014 IEEE International Conference on.IEEE,2014:1307-1311.
[5] BAI H,ZHANG M,LIU M,et al.Depth image coding using entropy-based adaptive measurement allocation[J].Entropy,2014,16(12):6590-6601.
[6] 李然,干宗良,崔子冠,等.圖像分塊壓縮感知中的自適應(yīng)測(cè)量率設(shè)定方法[J].通信學(xué)報(bào),2014,35(7):77-85.
[7] 張秋余,孫媛,晏燕.基于分塊自適應(yīng)壓縮感知的可逆水印算法[J].電子與信息學(xué)報(bào),2013,35(4):797-804.
[8] 田天.基于幀間相關(guān)性的視頻壓縮感知算法[D].秦皇島:燕山大學(xué),2013.
[9] 練秋生,田天,陳書(shū)貞,等.基于變采樣率的多假設(shè)預(yù)測(cè)分塊視頻壓縮感知[J].電子與信息學(xué)報(bào),2013,35(1):203-208.
[10] LI C,JIANG H,ZHANG Y.Video coding using compres-sive sensing for wireless communications[C].IEEE WirelessCommunications and Networking Conference.2011:2077-2082.
[11] 王田川.壓縮感知算法改進(jìn)及其在圖像和視頻編碼中的應(yīng)用[D].南京:南京郵電大學(xué),2013.
[12] 趙彥孟,宋建新.一種基于壓縮感知全變差算法的圖像去噪方法[J].電視技術(shù),2014,38(5):5-8.