《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 設(shè)計(jì)應(yīng)用 > 擬人視覺系統(tǒng)的顯著性檢測方法
擬人視覺系統(tǒng)的顯著性檢測方法
2016年電子技術(shù)應(yīng)用第11期
張文康1,朱 倩2,陳瀟君2
1.江蘇大學(xué)附屬醫(yī)院 信息科,江蘇 鎮(zhèn)江212013;2.江蘇大學(xué) 計(jì)算機(jī)科學(xué)與通信工程學(xué)院,江蘇 鎮(zhèn)江212013
摘要: 從人眼的視覺機(jī)制出發(fā),提出了一種擬人視覺系統(tǒng)的顯著性檢測方法。該方法首先對圖像進(jìn)行量化并選取出高頻顏色,降低了計(jì)算的復(fù)雜度,然后對圖像進(jìn)行分割對比,初始的視覺點(diǎn)以圖像的中心作為基準(zhǔn)點(diǎn),通過提出的視覺引力模型迭代計(jì)算出視覺點(diǎn)的移動軌跡,最終尋找到顯著區(qū)域。在公開的數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,本方法所尋找到的顯著區(qū)域相對于其他方法能夠更精確地對顯著區(qū)域進(jìn)行標(biāo)注,更加符合實(shí)際應(yīng)用。
中圖分類號: TP391
文獻(xiàn)標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.2016.11.033
中文引用格式: 張文康,朱倩,陳瀟君. 擬人視覺系統(tǒng)的顯著性檢測方法[J].電子技術(shù)應(yīng)用,2016,42(11):122-125.
英文引用格式: Zhang Wenkang,Zhu Qian,Chen Xiaojun. The saliency detection based on mimic human visual systems[J].Application of Electronic Technique,2016,42(11):122-125.
The saliency detection based on mimic human visual systems
Zhang Wenkang1,Zhu Qian2,Chen Xiaojun2
1.Department of Information,Affiliated Hospital of Jiangsu University,Zhenjiang 212013,China; 2.Department of Computer Science and Telecommunication Engineering,Jiangsu University,Zhenjiang 212013,China
Abstract: This paper presents a saliency detection based on human visual systems. To begin with,it quantifies image and chooses high frequency color to reduce the complex of calculation. Then, it splits image and chooses the center point of image as the first visual point, iteratively calculates visual point according to visual attraction model,and acquires saliency area. The experimen results show that the method is more accurate than other methods to mark the salient and is very useful for practical application.
Key words : saliency detection;mimic human visual systems;image quantization;visual attraction

0 引言

    顯著性可以描述為場景中的某一元素相對于同場景其他元素更加能吸引人的注意力,是人類在視覺感知的過程中總結(jié)出來的,由于人的視覺共性,使得有些元素對于不同的人來講吸引力是共同的,這些區(qū)域往往集中了最重要的信息,因此顯著性檢測在圖像處理領(lǐng)域顯得十分重要,主要的應(yīng)用領(lǐng)域包括:圖像的檢索、數(shù)據(jù)壓縮、目標(biāo)識別、導(dǎo)航定位等。目前國內(nèi)外學(xué)者對這一領(lǐng)域進(jìn)行了廣泛深入的研究,主要的研究方法有:ITTI L和KOCH C[1]提出跨尺度周邊算子模型來進(jìn)行顯著區(qū)域的檢測,主要原理是通過計(jì)算小尺度和大尺度特征差別來計(jì)算顯著性。但是該方法計(jì)算過程復(fù)雜,并且精確性不高。HARBEL J[2]提出使用馬爾科夫鏈計(jì)算中心周邊概率,并用基于圖論的概率模型得到顯著圖,此方法的提取精度有提升,但是計(jì)算仍然復(fù)雜。GAO D[3]通過最大值法提取中心和周邊區(qū)域中特征分布的相互信息,提取的效果較好。

1 圖像量化

    圖像的顯著性計(jì)算需要對每個像素點(diǎn)進(jìn)行計(jì)算,那么在計(jì)算時就有2563種顏色。顏色變化范圍很小時人眼是無法準(zhǔn)確區(qū)分的。如圖1所示,每個通道的顏色小范圍變化時,所得到的最終顏色圖的差異是不大的。每個通道的顏色變化較大時,最終所得到的圖的顏色可以觀察到明顯的變化。所以,在小范圍減少圖像中顏色數(shù)目,圖像質(zhì)量會下降,但是對最終圖像的顯示影響很小,所以可以將相似的顏色量化為相同的顏色。

jsj5-t1.gif

    定義如下:

jsj5-gs1.gif

jsj5-gs2-3.gif

    經(jīng)過量化后的RGB空間有1 728中顏色,也就是123,很顯然自然圖像的色彩只屬于這1 728種顏色的一小部分,同時人眼也無法精確辨別這些顏色。所以就需要對圖像進(jìn)行篩選,為了不影響圖片的質(zhì)量,就要確保篩選出的色值能夠覆蓋大多數(shù)的像素點(diǎn),對于少部分沒有覆蓋到的像素點(diǎn)可以用距離其最近的色值替代。

jsj5-gs4-10.gif

    根據(jù)式(9)、式(10)可把出現(xiàn)頻率比較低的顏色用最相似的顏色代替。

    經(jīng)過量化后大大降低了顏色的數(shù)目,以圖2為例,量化前顏色數(shù)目為58 921,量化后的顏色數(shù)目為100,這樣就加快了圖像處理的速度。

jsj5-t2.gif

    量化后的數(shù)據(jù)集定義為:

    jsj5-gs11.gif

2 顏色空間轉(zhuǎn)換

    將圖像從RGB空間轉(zhuǎn)換到XYZ空間,轉(zhuǎn)換矩陣如下:

     jsj5-gs12.gif

    轉(zhuǎn)化后得到像素帶點(diǎn)在XYZ空間下每個通道的色值,接著再轉(zhuǎn)換到Lab顏色空間,經(jīng)過一系列的顏色空間轉(zhuǎn)換之后,顏色數(shù)據(jù)集定義為:

    jsj5-gs13.gif

3 擬人視覺系統(tǒng)的顯著性計(jì)算

    使用GB分割算法對圖像進(jìn)行分割,得到每一個小的圖像塊,相同的圖像塊可認(rèn)為是一個整體,則可認(rèn)為一個圖像塊中的像素點(diǎn)具有相同的顯著性。當(dāng)兩個圖像塊距離較遠(yuǎn)時,對人的視覺影響比較大,同理,較近時對人眼的視覺影響較小。則顯著性計(jì)算公式如下:

jsj5-gs14-15.gif

其中,f(ck,j)表示圖像塊sk中第j種顏色出現(xiàn)的次數(shù)。

    視覺角度來講,人眼在觀察圖像的時候首先是會集中在圖像的中心,然后再移動到顯著性區(qū)域,所以本文提出一種擬人視覺系統(tǒng)的顯著性計(jì)算方法,顯著性計(jì)算公式改寫如下:

     jsj5-gs16.gif

其中,Ds(sk,VFn)表示圖像塊sk和視覺點(diǎn)VFn之間的距離。

    分割后不同的圖像塊對人眼的吸引是不同的,人在觀察圖像時最先會被中心吸引,然后才會被顯著性區(qū)域吸引,這種吸引稱為視覺引力。視覺引力的大小與像素點(diǎn)的顯著性和視覺點(diǎn)之間的距離有關(guān),這里定義每個像素對視覺點(diǎn)的引力如下:

jsj5-gs17-18.gif

    想要獲得最終視覺點(diǎn)的位置,就需要計(jì)算初始的視覺點(diǎn)的位移偏量,由式(18)得出每個像素點(diǎn)在水平和垂直方向上的分力:

     jsj5-gs19.gif

其中,px和py表示像素點(diǎn)在水平和垂直方向的坐標(biāo),VFx、VFy表示視覺點(diǎn)在水平和垂直方向的坐標(biāo)。

    這里參考力學(xué)模型,所以可以理解,視覺點(diǎn)在視覺引力的作用下,移動的規(guī)則與力學(xué)中的規(guī)則是一致的。

    例如,如圖3 F2的值比F1的值大,但是他們的方向是相反的,因此視覺點(diǎn)就從L1移到L2

jsj5-t3.gif

    所有像素點(diǎn)在水平和垂直方向上分力的合力為:

     jsj5-gs20-22.gif

    則根據(jù)式(16)可得最終的視覺點(diǎn)。

    算法流程如下:(1)輸入圖像,并分割得到其圖像塊集;(2)計(jì)算圖像塊集中每一個圖像塊的顯著值;(3)計(jì)算每一個像素對上一個視覺點(diǎn)的引力;(4)計(jì)算引力在橫坐標(biāo)和縱坐標(biāo)上的分力;(5)計(jì)算所有像素在橫坐標(biāo)和縱坐標(biāo)上分力的合力;(6)計(jì)算出視覺點(diǎn)移動的距離;(7)計(jì)算出新視覺點(diǎn)的位置;(8)重復(fù)步驟(2~7),直到兩個視覺點(diǎn)的距離小于一個閾值,則可認(rèn)為最終計(jì)算的視覺點(diǎn)為顯著性區(qū)域。

4 實(shí)驗(yàn)與分析

    采用achanta圖像集,選用該圖像集的好處就是每一張圖像都對顯著區(qū)域進(jìn)行了標(biāo)注,有利于確認(rèn)算法最終結(jié)果的準(zhǔn)確性。對其中的圖像進(jìn)行分類,選取200張顯著區(qū)域在中心的圖片,記為數(shù)據(jù)集A;選取200張顯著區(qū)域不在中心的圖片,記為數(shù)據(jù)集B。

    評價指標(biāo)選用準(zhǔn)確率和召回率,并選用目前常用的區(qū)域?qū)Ρ蕊@著性檢測方法[4]和多尺度顯著性檢測方法[5]同時來處理圖片,與本文方法進(jìn)行對比。實(shí)驗(yàn)中分別檢測數(shù)據(jù)集A和數(shù)據(jù)集B中的顯著性區(qū)域,并與人工標(biāo)準(zhǔn)的結(jié)果進(jìn)行對比計(jì)算,獲得每一副圖像的準(zhǔn)確率和召回率。

    使用實(shí)驗(yàn)集A去評估3種方法的顯著性檢測結(jié)果,并計(jì)算出準(zhǔn)確率和召回率的平均值,繪制出直方圖進(jìn)行對比。

    如圖4所示,使用本文方法和區(qū)域?qū)Ρ确ㄓ?jì)算出的準(zhǔn)確率和召回率要高于多尺度法,這是由于選取的數(shù)據(jù)集A中的圖片顯著性區(qū)域都位于圖片的中心,使用本文算法和區(qū)域?qū)Ρ确ǚ椒ㄟM(jìn)行視覺焦點(diǎn)加權(quán)時,顯著性檢測的效果會更好,使得圖片中的顯著性區(qū)域會被準(zhǔn)確地檢測出來。

jsj5-t4.gif

    再使用實(shí)驗(yàn)集B來評估本文算法、區(qū)域?qū)Ρ确ā⒍喑叨确▽τ陲@著性區(qū)域的檢測效果。

    如圖5所示,本文算法和多尺度法的準(zhǔn)確率和召回率比區(qū)域?qū)Ρ确ǜ?,這是由于數(shù)據(jù)集B中的圖片的顯著區(qū)域沒有位于圖像的中心。區(qū)域?qū)Ρ确椒ǖ男Ч^差是因?yàn)榧訌?qiáng)了中心區(qū)域,也就是非顯著性區(qū)域,而使用本文算法,由于是模擬人眼的視覺機(jī)制,可以正確找到視覺顯著區(qū)域,所以在數(shù)據(jù)集B上使用本文算法方法可以更加準(zhǔn)確地檢測出顯著性區(qū)域。

jsj5-t5.gif

    圖6分別表示顯著性區(qū)域在中心和不在中心的檢測結(jié)果??梢钥闯?,區(qū)域?qū)Ρ确椒▽︼@著區(qū)域不在中心的檢測效果不理想,因?yàn)槠鋾指畛霾粚儆陲@著區(qū)域的部分并對其效果進(jìn)行增強(qiáng)。多尺度法對于顯著區(qū)域在中心的圖片檢測效果不理想,是因?yàn)槠鋾?dǎo)致周圍的區(qū)域顯著值過大,從而影響中心區(qū)域的顯著值。

jsj5-t6.gif

5 結(jié)束語

    本文從人眼視覺機(jī)制角度提出了擬人視覺系統(tǒng)的顯著性檢測方法,首先概述了目前常見的顯著性檢測的研究方法,然后詳細(xì)闡述了本文所提算法的前提條件,也就是圖像量化和顏色篩選。從人眼視覺機(jī)制出發(fā),提出了視覺引力的概念,并給出了詳細(xì)的計(jì)算方法,通過視覺引力計(jì)算出人眼對于圖像中的視覺點(diǎn),并最終獲取到顯著性區(qū)域。通過實(shí)驗(yàn)構(gòu)建了兩個不同類型的數(shù)據(jù)集,通過與其他常見算法的對比證明本文所提算法的準(zhǔn)確性要高,并證明了算法的可行性。

參考文獻(xiàn)

[1] ITTI L,KOCH C,NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transaction on Pattern Analysis and Machined Intelligence,1998,20(11):1254-1259.

[2] HAREL J,KOCH C,PERONA P.Graph-based visual saliency[C].Advances in Neural Information Processing Systems,2006:545-552.

[3] GAO D,MAHADEVAN V,VASCONCELOS N.The discriminant center-surround hypothesis for bottom-up saliency[C].Advances in Neural Information Processing Systems,2007:497-504.

[4] 敖歡歡.視覺顯著性應(yīng)用研究[D].合肥:中國科學(xué)技術(shù)大學(xué),2013.

[5] 李勇.多尺度特征檢測:方法和應(yīng)用研究[D].合肥:中國科學(xué)技術(shù)大學(xué),2010.

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。