0 引言

    當前，隨著數(shù)碼電子產(chǎn)品和多媒體終端設備的普及，圖像信號獲得了廣泛的應用^[1-3]，伴隨而來的圖像質(zhì)量評價的研究引起了人們的重視^[4]。誤差或者信噪比等經(jīng)典方法都是基于像素失真程度大小來評價圖像質(zhì)量，這些方法雖具有最廣泛的應用領域，但卻與人眼主觀判斷結果存在較大的差距。通過引入人眼視覺機制而提出的結構相似度(Structural Similarity，SSIM)方法則基于局部像素域相似度大小來評價圖像質(zhì)量^[5]。近年來，學者們相繼提出了一些改進的SSIM評價方法，例如，多尺度結構(Multi Scale Structural，MSS)方法融合了圖像的多個尺度評價結果^[6]，梯度相似度(Gradient Similarity Metric，GSM)方法融合了圖像的邊緣信息^[7]，特征相似度(Feature Similarity，F(xiàn)SIM)方法結合了相位信息和邊緣信息^[8]，視覺顯著索引(Visual Saliency Index，VSI)方法融合了圖像的頻率、顏色和局部3種先驗視覺特征^[9]。此外，基于圖像特征和視覺特性的聯(lián)合處理還提出了一些其他SSIM類方法^[10-13]?？偨Y起來，上述SSIM類改進方法雖然取得了一些成果，但仍然存在一些問題，主要體現(xiàn)在：(1)僅僅提高了部分失真類型圖像的評價指標水平，整體上仍與人眼主觀判斷結果存在一定差距；(2)對于圖像不同失真程度的評價結果不穩(wěn)定性；(3)多特征評價結果的乘積融合算法導致性能的改進效果不明顯。上述問題說明針對復雜的實際應用場景，現(xiàn)有方法性能將會出現(xiàn)非常明顯的退化。

    針對上述問題，本文提出了一種融合視覺結構顯著和視覺能量顯著(Visual Saliency of Structure and Energy，VSSE)特征互補的評價方法，并通過實驗測試了所提方法的評價性能。

1 VSSE方法原理

    VSSE方法原理可用圖1描述，包括了視覺特征處理、視覺特征評價和視覺特征評價融合3個階段，其中，每個階段都融合了人眼視覺系統(tǒng)(Human Vision System，HVS)的感知處理特性。VSSE方法具體包括以下步驟：(1)利用高斯濾波函數(shù)^[8-9]對原始圖像進行卷積處理，模擬了HVS的瞳孔感光散射特性；(2)利用Log-gabor小波對濾波后的圖像進行二維變換，提取圖像不同層次的信息特征，模擬了HVS的多通道信息感知特性，并通過對比度算子^[5]和梯度算子^[9]提取每個尺度分辨率下的對比度視圖和梯度視圖；(3)將HVS的中央凹特性函數(shù)T(i，j)和對比度敏感特性函數(shù)CSF[f(s，o)]融入恰可識別閾值濾波算法，獲取每個尺度下的每層視覺特征稀疏視圖，其中，s代表Log-gabor小波的尺度因子，o代表Log-gabor小波的方向因子；(4)基于SSIM評價算法計算失真圖像在每個尺度下的每層視覺特征的評價視圖；(5)以T(i，j)作為權重，對失真圖像的每個尺度下的每層視覺特征的評價視圖分別進行融合，獲得對應尺度下的對應視覺特征的評價結果分值；(6)以CSF[f(s，o)]作為權重，對失真圖像同一個視覺特征下的多個尺度評價結果分值進行融合，獲得對應視覺特征下的評價結果分值；(7)基于HVS的視覺自適應特性和圖像失真程度，對視覺灰度能量特征評價、視覺對比度能量特征評價和視覺梯度結構評價依次進行融合，最終獲得失真圖像質(zhì)量的結果分值。

1.1 視覺特征評價原理

    基于SSIM評價算法，分別對失真圖像的視覺灰度特征、視覺對比度特征和視覺梯度特征的多尺度通道視圖進行評價，原理如下：

1.2 視覺特征評價融合原理

1.2.1 尺度內(nèi)局部中央凹空域加權融合

    鑒于現(xiàn)有參考文獻的不足^{[5，8，14-16]}，本研究提出視覺特征顯著和視覺中央凹空域分辨率兩步聯(lián)合權重，視覺特征顯著加權融合算法如下：

1.2.2 尺度間對比度頻域加權融合

    基于對比度頻域權重的尺度間融合算法如下：

式中，J為o的數(shù)量，K為s的數(shù)量。

1.2.3 基于圖像失真度的視覺自適應融合

    基于回歸擬合函數(shù)將各層視覺特征評價從內(nèi)至外逐層融合，首先將視覺灰度評價Z_L和視覺對比度評價Z_σ進行融合，獲得視覺能量評價Z_E如下：

2 實驗分析

2.1 實驗方案設置

    本實驗方案如圖2所示，本實驗采用了國際上權威的LIVE數(shù)據(jù)庫，根據(jù)LIVE數(shù)據(jù)庫中不同的圖像失真類型，將每幀失真圖像的客觀評價分值通過曲線方程進行數(shù)據(jù)擬合，然后根據(jù)主觀評價結果(Difference Mean Opinion Score，DMOS)測試所提方法的評價指標水平。

    參照VQEG標準，本實驗曲線擬合方程如下：

式中，x為客觀評價結果分值，y(x)為擬合結果分值，β₁、β₂、β₃、β₄、β₅均為根據(jù)VQEG標準設置的擬合參數(shù)。測試指標采用了VQEG標準建議的RMSE、PLCC和SROCC，其中，RMSE為均方根誤差指標，該項數(shù)值越大說明對應方法的RMSE指標水平越低，PLCC為主客觀評價結果的擬合相關系數(shù)，SROCC為主客觀評價結果的排序相關系數(shù)，PLCC和SROCC的數(shù)值越大說明對應方法的PLCC和SROCC指標水平越高。參照相關參考文獻^[10-13]對有關參數(shù)進行設置，其中，C=0.000 1，[Q(s，o)，P(s，o)]=16×16。

2.2 失真類型的測試結果分析

    表1是各種方法基于5種失真類型圖像的均方根誤差RMSE、Spearman秩序相關系數(shù)PLCC和Pearson線性相關系數(shù)SROCC 3個指標水平的測試結果，參與比較的方法除了引言中介紹的一些方法外還增加了多尺度結構相似度(Multi Scale Structure Similarity，MSSIM)、信息評價(Information Fidelity Criterion，IFC)和視覺信息評價(Visual Information Fidelity，VIF)3個主流方法。實驗結果數(shù)據(jù)說明，針對復雜的實際應用場景，當圖像面臨不同的干擾因素而表現(xiàn)出不同的失真類型時，現(xiàn)有客觀方法的評價性能將會出現(xiàn)非常明顯的退化。其中，SSIM方法的3項評價指標水平在JPEG失真類型上退化明顯(RMSE=6.749 3，PLCC=0.960 5，SROCC=0.961 0)，MSSIM方法的RMSE和PLCC兩項評價指標水平在JPEG2000、JPEG和fastfading 3種失真類型上均出現(xiàn)明顯下降(RMSE=6.010 5，PLCC=0.958 1)，IFC方法的RMSE評價指標水平在JPEG2000和JPEG兩種失真類型上出現(xiàn)明顯下降(RMSE=6.316 7)，VIF方法的3項評價指標水平在gblur失真類型上均出現(xiàn)嚴重下降(RMSE=8.252 7，PLCC=0.925 2，SROCC=0.900 3)，GSM方法的RMSE和PLCC兩項評價指標水平在JPEG、gblur和fastfading 3種失真類型上均出現(xiàn)明顯下降(RMSE=6.844 1，PLCC=0.959 4)，F(xiàn)SIM方法的RMSE和PLCC兩項評價指標水平在JPEG2000、JPEG和fastfading 3種失真類型上均出現(xiàn)明顯下降(RMSE=7.122 9，PLCC=0.955 9)，VSI方法的RMSE和PLCC兩項評價指標水平在JPEG2000、JPEG、gblur和fastfading 4種失真類型上均出現(xiàn)明顯下降(RMSE=7.059 6，PLCC=0.947 6)。

    相對上述方法的不足，本研究所提VSSE方法的優(yōu)勢非常明顯，針對JPEG2000、JPEG、WN、gblur和fastfading 5種不同的失真類型，VSSE方法的3項評價指標均保持了較高的水平（RMSE≤6.0，PLCC≥0.962 0，SROCC≥0.960 9）。表1中數(shù)據(jù)還說明，當圖像的失真機理很難明確或者存在較多的綜合失真因素時，即針對各種失真類型的總體ALL評價上，SSIM、MSSIM、VIF、GSM、FSIM和VSI方法的3項評價指標水平均有非常嚴重的退化（RMSE≥7.276 2，PLCC≤0.949 2，SROCC≤0.960 9），而IFC方法也僅僅是對PLCC一個指標水平取得了提高（PLCC=0.964 3），但是RMSE和SROCC兩個指標水平仍然不高（RMSE=6.122 1，SROCC=0.949 2)。相對上述方法的不足，本研究所提VSSE方法的3項評價指標水平均取得了明顯的優(yōu)勢（RMSE=5.760 1，PLCC=0.968 5，SROCC=0.963 0），其中，RMSE指標水平相對最優(yōu)IFC方法提高了6個百分點，PLCC和SROCC兩項指標也分別優(yōu)于其他的最優(yōu)方法。綜上，針對實際應用場景，其他方法客觀評價性能均出現(xiàn)了非常明顯的退化，但是所提VSSE方法卻具有較好的性能，評價結果更接近人眼的主觀判斷。圖3是SSIM、MSSIM、VSI、FSIM、IFC、VIF、GSM和所提VSSE方法的主、客觀評價結果散點分布圖，對比說明所提VSSE方法的主、客觀評價結果具有最好的線性度和區(qū)分度。

3 結論

    本文充分將人眼視覺系統(tǒng)的多種顯著感知特性融入圖像特征處理、圖像特征評價和圖像評價融合的多個環(huán)節(jié)，并基于視覺特性和圖像失真度將各層特征評價逐步進行深度自適應融合。實驗結果表明，所提方法提高了現(xiàn)有方法在實際應用場景下的評價性能。下一步研究將結合人類視覺系統(tǒng)和人工智能理論探討圖像質(zhì)量客觀評價算法的評價融合策略。

參考文獻

[1] 李先友，趙曙光，段永成，等.基于FPGA的實時MIPI CSI-2圖像采集與處理系統(tǒng)[J].電子技術應用，2019，45(1)：97-100.

[2] 吳曉元，常海濤，茍軍年.Faster R-CNN定位后的工業(yè)CT圖像缺陷分割算法研究[J].電子技術應用，2019，45(1)：76-80.

[3] 陳文藝，張龍，楊輝.HDR圖像色調(diào)映射的自適應色彩調(diào)節(jié)算法[J].電子技術應用，2018，44(11)：107-110.

[4] ZHANG Y C，KING N N，MA L，et al.Objective quality assessment of image retargeting by incorporating fidelity measures and inconsistency detection[J].IEEE Transactions on Image Processing，2017，26(11)：5980-5993.

[5] WANG Z，BOVIK A C，SHEIKH H R，et al.Image quality assessment：from error visibility to structural similarity[J].IEEE Transactions on Image Processing，2004，13(4)：600-612.

[6] GUO L，CHEN W L，LIAO Y，et al.Multi-scale structural image quality assessment based on two-stage low-level features[J].Computers and Electrical Engineering，2014，40(4)：1101-1110.

[7] LIU A，LIN W，NARWARIA M.Image quality assessment based on gradient similarity[J].IEEE Transaction on Image Processing，2012，21(4)：1500-1512.

[8] ZHANG L，ZHANG L，MOU X Q，et al.FSIM：a feature similarity index for image quality assessment[J].IEEE Transaction on Image Processing，2011，20(8)：2378-2386.

[9] ZHANG L，SHEN Y，LI H Y.VSI:a visual saliency-induced index for perceptual image quality assessment[J].IEEE Transaction on Image Processing，2014，23(10)：4270-4281.

[10] 豐明坤，王中鵬，葉綠.視覺稀疏化多通道多特征自適應的圖像評價[J].儀器儀表學報，2016，37(3)：667-674.

[11] 豐明坤，趙生妹，邢超.基于視覺顯著失真度的圖像質(zhì)量自適應評價方法[J].電子與信息學報，2015，37(9)：2062-2068.

[12] 豐明坤，趙生妹，施祥.視覺多通道梯度與低階矩自適應圖像評價[J].儀器儀表學報，2015，36(11)：2531-2537.

[13] 林志潔，豐明坤.深度視覺特征與策略互補融合的圖像質(zhì)量評價[J].模式識別與人工智能，2017，30(8)：682-691.

[14] XUE W F，ZHANG L，MOU X Q，et al.Gradient magnitude similarity deviation：s highly efficient perceptual image quality index[J].IEEE Transactions on Image Processing，2014，23(2)：684-695.

[15] ZHANG X D，F(xiàn)ENG X C，WANG W W，et al.Edge strength similarity for image quality assessment[J].IEEE Signal Processing Letters，2013，20(4)：319-322.

[16] WANG T H，JIA H Z，SHU H Z.Full reference image quality assessment algorithm based on gradient magnitude and histogram of oriented gradient[J].Journal of Southeast University，2018，48(2)：276-281.

作者信息:

王賽嬌1，2

(1.臺州廣播電視大學，浙江 臺州318000；2.杭州電子科技大學 計算機學院，浙江 杭州310018)