辛亞坤

　?。ㄉ虾：Ｊ麓髮W(xué) 信息工程學(xué)院,上海 201306）

       摘要：針對(duì)Merge模式中存在的運(yùn)算時(shí)間長(zhǎng)且計(jì)算復(fù)雜度高的問題，通過對(duì)候選PU的合并過程進(jìn)行研究，提出了優(yōu)化的候選決策算法?；跁r(shí)域候選和空域候選決策算法在不同情況下對(duì)當(dāng)前塊的影響程度不同，自適應(yīng)地改變候選決策列表來減少計(jì)算復(fù)雜度和提高預(yù)測(cè)精度。與標(biāo)準(zhǔn)算法相比，該算法在視頻序列的PSNR值略有增高、碼率減少的情況下，編碼時(shí)間得到有效減少。而且該算法在提高HEVC編碼率失真性能的同時(shí)有效降低了計(jì)算復(fù)雜度。

　　關(guān)鍵詞：高效視頻編碼；Merge模式；自適應(yīng)候選；幀間預(yù)測(cè)

　　0引言

　　近年來，隨著高清、超高清視頻應(yīng)用逐步走進(jìn)人們的視野，對(duì)網(wǎng)絡(luò)帶寬提出了更高的要求。因此，國際電聯(lián)(ITUT)、國際標(biāo)準(zhǔn)化組織(ISO)、國際電工委員會(huì)(IEC)聯(lián)合發(fā)起聯(lián)合視頻編碼小組(Joint Collaborative Team on Video Coding，JCTVC) 制定下一代的視頻編碼標(biāo)準(zhǔn)HEVC (High Efficiency Video Coding)。此標(biāo)準(zhǔn)相比H.264/AVC視頻壓縮標(biāo)準(zhǔn)，在相同的視覺質(zhì)量下能節(jié)約50%的比特率［1］ 。

　　在大多數(shù)圖像和視頻中，一個(gè)運(yùn)動(dòng)物體可能會(huì)覆蓋多個(gè)運(yùn)動(dòng)補(bǔ)償塊，因此空間域相鄰塊的運(yùn)動(dòng)向量具有較強(qiáng)的相關(guān)性。若使用相鄰已編碼塊對(duì)當(dāng)前塊運(yùn)動(dòng)矢量（Motion Vector，MV）進(jìn)行預(yù)測(cè)，將二者差值進(jìn)行編碼，則會(huì)大幅度節(jié)省編碼MV所需的比特?cái)?shù)。同時(shí)，由于物體運(yùn)動(dòng)具有連續(xù)性，因此相鄰圖像同一位置像素塊的MV也具有一定相關(guān)性。H.265/HEVC在MV的預(yù)測(cè)方面提出了Merge技術(shù)［2］和AMVP技術(shù)［3］。

　　Merge技術(shù)使用了空域和時(shí)域MV預(yù)測(cè)的思想，通過建立MV列表，選取性能最優(yōu)的一個(gè)作為當(dāng)前預(yù)測(cè)單元（Prediction Unit，PU）預(yù)測(cè)MV。Merge可以看成一種編碼模式，在該模式下，當(dāng)前PU的MV直接由空域（或時(shí)域）上鄰近的PU預(yù)測(cè)得到，不存在運(yùn)動(dòng)矢量殘差MVD。

1Merge模式

　　Merge模式會(huì)為當(dāng)前PU建立一個(gè)MV候選列表［4］，列表中存在5個(gè)候選MV（及其對(duì)應(yīng)的參考圖像）。通過遍歷這5個(gè)候選MV，并進(jìn)行率失真代價(jià)的計(jì)算，最終選取率失真代價(jià)最小的一個(gè)作為該Merge模式的最優(yōu)MV。若編碼端和解碼端按照相同的方式建立該候選列表，則編碼器只需要傳輸最優(yōu)MV在候選列表中的索引即可，這樣大幅度節(jié)省了運(yùn)動(dòng)信息的編碼比特?cái)?shù)。Merge模式建立的MV候選列表中包括了空域和時(shí)域兩種情況，以下將分別介紹。

　　1.1空域候選列表的建立

　　空域MV候選列表的建立如圖1所示，圖中A1表示當(dāng)前PU左側(cè)最下方的PU，B1表示當(dāng)前PU上方最右側(cè)的PU，B0和A0分別表示當(dāng)前PU右上方和左下方距離最近的PU，B2表示當(dāng)前PU左上方距離最近的PU。H.265/HEVC標(biāo)準(zhǔn)規(guī)定，空域候選最多提供4個(gè)候選MV，即最多使用上述5個(gè)侯選塊中4個(gè)候選塊的運(yùn)動(dòng)信息，列表按照A1→B1→B0→A0→(B2)的順序建立，其中B2為替補(bǔ)，即當(dāng)A1、B1、B0、A0中一個(gè)或多個(gè)不存在時(shí)，則需要使用B2的運(yùn)動(dòng)信息。

　　1.2時(shí)域候選列表的建立

　　時(shí)域MV候選列表的建立利用了當(dāng)前PU在鄰近塊已編碼圖像中對(duì)應(yīng)位置PU［57］（即同位PU）的運(yùn)動(dòng)信息。H.265/HEVC規(guī)定，時(shí)域最多只提供1個(gè)候選MV，如圖2所示，圖中H位置同位PU的MV經(jīng)伸縮得到。若H位置同位PU不可用，則用C3位置的同位PU進(jìn)行替換。需要注意的是，若當(dāng)前MV候選列表中候選MV的個(gè)數(shù)達(dá)不到5個(gè)時(shí)，需要使用（0,0）進(jìn)行填補(bǔ)以達(dá)到規(guī)定的數(shù)目。

2Merge候選決策的探究

　　通過對(duì)Merge模式候選決策的過程研究［8］發(fā)現(xiàn)：

　?。?）在建立候選列表時(shí)需要進(jìn)行至少5次率失真計(jì)算來選取率失真代價(jià)最小的一個(gè)。由于A1和A0、B1和B0是相鄰塊，所以往往包含著共同的運(yùn)動(dòng)信息，如果在含有相同信息的情況下進(jìn)行率失真計(jì)算，會(huì)增加計(jì)算復(fù)雜度和降低預(yù)測(cè)精度。

　?。?）率失真計(jì)算過程中，有多個(gè)重要因素需要考慮，其中編碼參數(shù)和運(yùn)動(dòng)矢量傳輸?shù)骄幋a端所需要的比特?cái)?shù)，這兩個(gè)因素尤其重要。HEVC中編碼Merge_idx時(shí)采用的是一元截?cái)啻a，Merge模式中候選順序是按照先空域后時(shí)域的方法，來分配截?cái)啻a的位數(shù)，這樣時(shí)域在進(jìn)行率失真計(jì)算時(shí)得到的結(jié)果會(huì)受到影響，從而在與空域的率失真結(jié)果進(jìn)行比較時(shí)處于劣勢(shì)。

　?。?）通過對(duì)PU在不同尺寸中出現(xiàn)的概率的研究結(jié)果發(fā)現(xiàn)，A1、B1和時(shí)域候選T出現(xiàn)的概率最高并且所占之和高達(dá)90%以上。出現(xiàn)這種現(xiàn)象的原因是由于A1、B1所占的bin位數(shù)較低，因而在率失真計(jì)算中往往能作為最優(yōu)結(jié)果。另一方面，在A1和A0、B1和B0帶有相同運(yùn)動(dòng)信息時(shí)，A0和B0將無法出現(xiàn)在最優(yōu)結(jié)果的候選中。

　　對(duì)于T候選在bin位數(shù)較高的情況下，依然有較高的出現(xiàn)率，這是因?yàn)橐韵聝蓚€(gè)原因：（1）Merge模式中的時(shí)域預(yù)測(cè)主要運(yùn)用了自然界物體勻速運(yùn)動(dòng)的思想，間隔數(shù)幅圖像的兩幅圖像之間的運(yùn)動(dòng)向量一旦確定，則期間每一幅圖像的運(yùn)動(dòng)向量預(yù)測(cè)值都能利用當(dāng)前圖像與兩端參考圖像的距離計(jì)算得出。因而，對(duì)于很多運(yùn)動(dòng)緩慢的視頻序列，時(shí)域相關(guān)性往往強(qiáng)于空域相關(guān)性。正因?yàn)槿绱?，雖然時(shí)域候選T的bin位數(shù)在較高的情況下，依然在率失真計(jì)算中占有了優(yōu)勢(shì)。（2）當(dāng)編碼單元（Code Unit，CU）劃分方式為N×2N，NL×2N或nR×2N時(shí)，第二個(gè)PU的候選列表中不能存在A1的運(yùn)動(dòng)信息。這是由于第二個(gè)PU一旦使用了A1（即第一個(gè)PU）的信息，則會(huì)使第一個(gè)PU和第二個(gè)PU的MV一致，這與2N×2N劃分方式無異。同理，對(duì)于CU劃分方式為2N×N、2N×nU或2N×nD，第二個(gè)PU的候選列表中也不能存在B1的運(yùn)動(dòng)信息。基于以上兩種情況，時(shí)域候選T在bin位數(shù)較高的情況下，依然有了較高的出現(xiàn)率。

　　（4）在H.265/HEVC標(biāo)準(zhǔn)中，對(duì)于時(shí)域候選T，若H位置同位PU不可用，則用C3位置的同位PU進(jìn)行替換。但研究發(fā)現(xiàn)，這樣用C3位置替換后，降低了T的預(yù)測(cè)準(zhǔn)確度。因此可以利用當(dāng)前塊下方相鄰塊和右方的相鄰塊來提高時(shí)域候選T的預(yù)測(cè)精度。

3優(yōu)化后的Merge候選決策

　　本文對(duì)Merge模式的候選決策進(jìn)行了以下優(yōu)化和改進(jìn)：

　?。?）首先判斷當(dāng)前幀相對(duì)于前一幀是否發(fā)生了劇烈運(yùn)動(dòng)，具體方法采用基于灰度的算法［910］。在場(chǎng)景切換幀位置，圖像像素灰度的絕對(duì)差比前一幀圖像要大很多，灰度值平均絕對(duì)差公式：

　　式中DMVD(n)為第n幀的灰度平均絕對(duì)值差，fn(i,j)和fn－1(i,j)分別為第n幀與第n-1幀(i,j)位置的亮度分量值，M和N分別為圖像的寬和高。DMVD(n)的取值范圍為0~255，經(jīng)過大量實(shí)驗(yàn)發(fā)現(xiàn)，DMVD(n)＞40時(shí)，當(dāng)前幀相較于前一幀發(fā)生了劇烈運(yùn)動(dòng)。因此，若DMVD(n)＞40，則判定第n幀發(fā)生了劇烈運(yùn)動(dòng)。

　?。?）若當(dāng)前幀沒有發(fā)生劇烈運(yùn)動(dòng)，則說明當(dāng)前幀的時(shí)域相關(guān)性大于空域相關(guān)性。更改Merge候選順序，將時(shí)域候選T放到空域候選之前，這樣時(shí)域候選T就能分配到較小的bin位數(shù)，從而使得時(shí)域相關(guān)性在率失真計(jì)算時(shí)能夠得到充分應(yīng)用。并且減少空域候選的個(gè)數(shù)，將空域候選個(gè)數(shù)由4個(gè)減少為2個(gè)，并且按照A1→B1→B0→A0→(B2)的順序進(jìn)行選擇，直到數(shù)目達(dá)到兩個(gè)為止。這樣做的目的是，由于時(shí)域相關(guān)性大于空域相關(guān)性并且A0和B0的出現(xiàn)概率較低，因而減少數(shù)目后不會(huì)影響預(yù)測(cè)精度反而會(huì)大大降低編碼時(shí)間。若當(dāng)前MV候選列表中候選MV的個(gè)數(shù)達(dá)不到3個(gè)，需要使用（0,0）進(jìn)行填補(bǔ)以達(dá)到規(guī)定的數(shù)目。

　?。?）若當(dāng)前幀發(fā)生了劇烈運(yùn)動(dòng)，則可以判斷空域相關(guān)性大于時(shí)域相關(guān)性。此時(shí)，按照H.265/HEVC標(biāo)準(zhǔn)規(guī)定，空域提供4個(gè)候選MV，以A1→B1→B0→A0→(B2)的順序建立，其中B2為補(bǔ)位，即當(dāng)A1、B1、 B0、A0中有一個(gè)或多個(gè)不存在時(shí)，則需要用B2的運(yùn)動(dòng)信息填補(bǔ)。若當(dāng)前MV候選列表中候選MV的個(gè)數(shù)達(dá)不到5個(gè)時(shí)，需要使用（0,0）進(jìn)行填補(bǔ)以達(dá)到規(guī)定的數(shù)目。

　　（4）若時(shí)域候選中右下方編碼塊H不可用時(shí)，則檢測(cè)參考幀中與當(dāng)前幀位置相同的下方塊和右方塊以及時(shí)域候選中心位置C3。若下方塊和右方塊都存在，則取它們?nèi)齻€(gè)的平均值作為時(shí)域候選項(xiàng)。若右方塊和下方塊只存在一個(gè)，則取兩個(gè)的平均值。若右方塊和下方塊都不存在，則直接使用C3。這樣做既充分利用了右方塊和下方塊的運(yùn)動(dòng)信息，又提高了時(shí)域候選的利用率，使預(yù)測(cè)精度得到了提高，同時(shí)也提高了視頻的再現(xiàn)質(zhì)量也即提高了信噪比。

4實(shí)驗(yàn)結(jié)果及分析

　　仿真實(shí)驗(yàn)采用的是最新的HM16.0代碼，實(shí)驗(yàn)平臺(tái)是操作系統(tǒng)為Windows 7的計(jì)算機(jī)，內(nèi)存為4 GB。實(shí)驗(yàn)結(jié)果如表1所示?？梢钥闯?，本文優(yōu)化后的Merge候選決策算法與高效視頻編碼標(biāo)準(zhǔn)之間的對(duì)比結(jié)果。

　　從表1中可以發(fā)現(xiàn)，優(yōu)化后的Merge候選決策算法與原標(biāo)準(zhǔn)的結(jié)果相比，編碼時(shí)間得到了有效的減少；因?yàn)閮?yōu)化后的Merge候選決策的預(yù)測(cè)精度得到了提高，使得Merge在與AMVP競(jìng)爭(zhēng)時(shí)，PU使用Merge模式的概率得到了進(jìn)一步提高，從而降低了比特率，降低程度從0.33%~5.16%不等；由于增加了Merge模式的候選決策中改進(jìn)的第（4）點(diǎn)，即充分利用了右方塊和下方塊的運(yùn)動(dòng)信息，提高了時(shí)域候選的利用率，也使預(yù)測(cè)精度得到了提高，同時(shí)還提高了視頻的再現(xiàn)質(zhì)量以及信噪比。峰值信噪比（Power SignaltoNoise Ratio，PSNR）的增加從0.006 6~0.815 dB不等。

　　本文算法首先使用目前最常用且最簡(jiǎn)單的基于灰度的算法來判斷當(dāng)前幀是否發(fā)生了劇烈運(yùn)動(dòng)，根據(jù)當(dāng)前幀相比于前一幀是否發(fā)生了劇烈運(yùn)動(dòng)來更加合理地優(yōu)化Merge候選決策的順序。優(yōu)化后的Merge候選決策順序更加合理，而且使得時(shí)域相關(guān)性得到了充分應(yīng)用，從而提高了Merge模式的預(yù)測(cè)精度，增加了Merge模式在與AMVP模式的競(jìng)爭(zhēng)中的優(yōu)勢(shì)，提高了Merge模式的利用率。由于Merge模式是一種編碼模式，在該模式下不存在MVD；而AMVP是一種MV預(yù)測(cè)技術(shù)，編碼器只需要對(duì)實(shí)際MV與預(yù)測(cè)MV的差值進(jìn)行編碼，是存在MVD的。提高了Merge模式的利用率后，相比于使用AMVP技術(shù)，會(huì)大幅節(jié)省運(yùn)動(dòng)信息的編碼比特?cái)?shù)，從而降低了比特率。

　　另一方面，通過調(diào)整時(shí)域候選的位置，分配給T較小的bin位數(shù)，使得在時(shí)域相關(guān)性大于空域相關(guān)性時(shí)，能夠充分利用時(shí)域候選，從而使得預(yù)測(cè)結(jié)果更加準(zhǔn)確且消耗較少的比特?cái)?shù)。

　　本文通過減少候選模式的個(gè)數(shù)和改變最優(yōu)的候選順序來減少計(jì)算復(fù)雜度，通過優(yōu)化標(biāo)準(zhǔn)中的Merge候選決策，來降低計(jì)算復(fù)雜度和提高預(yù)測(cè)精度，這是一個(gè)全新的方向和視角。

5結(jié)束語

　　本文首先分析了標(biāo)準(zhǔn)中Merge模式的候選決策過程，然后針對(duì)原標(biāo)準(zhǔn)中存在的計(jì)算復(fù)雜度高的問題，提出了一種優(yōu)化的Merge候選決策算法。實(shí)驗(yàn)結(jié)果表明，優(yōu)化后的算法在信噪比略有升高的情況下，可使比特率降低，編碼時(shí)間減少。

　　參考文獻(xiàn)

　?。?］ SULLIVAN G J, OHM J, HAN W J, et al． Overview of the high efficiency video coding(HEVC) standard［J］．IEEE Transactions on Circuits and Systems for Video Technology， 2012， 22(12):16491668．

　　［2］ 彭金虎，岑峰. HEVC幀間運(yùn)動(dòng)歸并技術(shù)的研究［D］.上海：同濟(jì)大學(xué)，2013.

　　［3］ LI B, LI H Q, LI L, et al. Rate control by Rlambda model for HEVC［C］.Proc. the 11th JCTVC Meeting， 2012:38413854.

　?。?］ 朱秀昌, 李欣, 陳杰. 新一代視頻編碼標(biāo)準(zhǔn)——HEVC［J］.南京郵電大學(xué)學(xué)報(bào)：自然科學(xué)版, 2013, 33(3):111.

　?。?］ WIEGAND T.Draft ITUT recommendation and final draft international standard of joint video specification［Z］.ITUT Rec. H.264|ISO/IEC 1449610 AVC, 2003:12241229.

　?。?］ 萬帥，楊付正.新一代高效視頻編碼H.265/HEVC:原理、標(biāo)準(zhǔn)與實(shí)現(xiàn)［M］.北京：電子工業(yè)出版社,2014.

　?。?］ 黃朝明. 下一代視頻壓縮標(biāo)準(zhǔn)HEVC的模式選擇快速算法研究［D］.成都：西南交通大學(xué), 2012.

　?。?］ 張娜.下一代視頻編碼標(biāo)準(zhǔn)中MERGE模式相關(guān)技術(shù)的研究［D］.哈爾濱：哈爾濱工業(yè)大學(xué)，2012.

　?。?］ 史久根，許林，張超. 一種場(chǎng)景自適應(yīng)的H.264幀層碼率控制算法［J］.計(jì)算機(jī)應(yīng)用研究，2010，27(5)：19681969.

　?。?0］ 胡乾乾，沈禮權(quán)，趙振軍．基于場(chǎng)景切換的 HEVC 碼率控制算法［J］．電視技術(shù)，2015，39(5)：13，25．