摘 要: 在圖像獲取過程中,存在很多造成圖像退化的因素,因此需要對(duì)圖像進(jìn)行復(fù)原。本文對(duì)現(xiàn)有的典型復(fù)原方法進(jìn)行了綜合分析。介紹了圖像一般退化模型和運(yùn)動(dòng)模糊退化模型的建立方法;對(duì)退化模型的點(diǎn)擴(kuò)散函數(shù)的估計(jì)方法進(jìn)行了分析;對(duì)當(dāng)前的一些復(fù)原算法進(jìn)行了總結(jié)。對(duì)圖像復(fù)原技術(shù)未來的發(fā)展方向進(jìn)行了預(yù)測。
關(guān)鍵詞: 圖像退化模型;PSF;復(fù)原算法
0 引言
在獲取圖像的時(shí)候,由于相機(jī)聚焦不佳,相機(jī)和物體在曝光的短暫時(shí)間內(nèi)存在相對(duì)的移動(dòng),或者受傳感器的噪聲、大氣湍流、粉塵以及光線明暗變化等影響,都會(huì)造成圖像的退化,導(dǎo)致圖像模糊。為了從模糊的圖像中提取有用的信息,圖像復(fù)原成為了圖像處理中的重要研究方向和數(shù)字圖像處理的一個(gè)重要應(yīng)用[1]。圖像復(fù)原是將退化的圖像進(jìn)行處理,通過一些復(fù)原算法改進(jìn)圖像質(zhì)量,盡可能地復(fù)原圖像的本來面目。目前運(yùn)動(dòng)模糊是造成圖像退化的主要原因,是圖像復(fù)原中較難處理的一類情況,也是目前研究的熱點(diǎn)之一[2]。對(duì)于運(yùn)動(dòng)模糊圖像的復(fù)原一般是通過建立運(yùn)動(dòng)模糊圖像模型得知圖像退化的原因,針對(duì)具體的原因采取相應(yīng)的復(fù)原算法得到清晰的圖像。在模型的建立中點(diǎn)擴(kuò)散函數(shù)(PSF)的確立是最關(guān)鍵的,目前對(duì)于PSF的確立存在很多方法。
1 運(yùn)動(dòng)模糊圖像退化模型的建立
圖像復(fù)原是建立在圖像退化模型基礎(chǔ)上的,因此對(duì)于模型的建立尤為重要。圖像退化原因的多樣性導(dǎo)致退化模型的建立比較復(fù)雜[3]。根據(jù)圖像退化的性質(zhì)一般可以分為兩類退化來建立退化模型。
1.1 圖像一般退化模型的建立
有噪聲的情況下,圖像退化/復(fù)原模型的描述如圖1所示[2,4-8]。
圖中f(x, y)為原始圖像,h(x, y)為退化函數(shù)即點(diǎn)擴(kuò)散函數(shù)(PSF),n(x, y)為噪聲項(xiàng),g(x, y)為退化后圖像。圖1所示退化模型的數(shù)學(xué)表達(dá)式為[4]:
把上式空間域形式轉(zhuǎn)化為頻域形式為:
其中, G(u,v)、F(u,v)、H(u,v)、N(u,v)分別是g(x, y)、f(x, y)、h(x, y)、n(x, y)的傅里葉變換。
1.2 運(yùn)動(dòng)模糊圖像退化模型的建立
圖像獲取中,景物與相機(jī)發(fā)生相對(duì)運(yùn)動(dòng),造成圖像的運(yùn)動(dòng)模糊。由于曝光時(shí)間短,認(rèn)為曝光時(shí)間內(nèi)景物的運(yùn)動(dòng)是勻速運(yùn)動(dòng),因而勻速直線運(yùn)動(dòng)模糊圖像的恢復(fù)是現(xiàn)在圖像復(fù)原研究的主要方向之一。勻速直線運(yùn)動(dòng)模糊退化模型的建立方法如下[6,9]:
令圖像f(x, y)為一個(gè)平面運(yùn)動(dòng)圖像,其中在x和y方向上運(yùn)動(dòng)分量分別為x0(t)和y0(t),采集時(shí)間長度為T,在有噪聲的情況下,運(yùn)動(dòng)模糊圖像g(x, y)為:
圖像運(yùn)動(dòng)模糊常有一定角度,為了方便起見,一般將圖像旋轉(zhuǎn)到水平方向上。如圖2所示,圖像與豎直方向具有一定的角度Φ,為了方便處理需要把圖像順時(shí)針旋轉(zhuǎn)Φ進(jìn)而處理圖像。
令b為物體運(yùn)動(dòng)的距離,T為曝光時(shí)間,即:
對(duì)上式進(jìn)行離散化:
其中,L為像素?cái)?shù),Δt為像素的拖延時(shí)間。一幅模糊圖像由多個(gè)原圖拖延疊加而成。通過離散化式(5)和圖像一般的退化模型的表達(dá)式(1)的對(duì)比可以得出[6]:
式(7)是水平模糊方向的退化模型,h(x, y)即為點(diǎn)擴(kuò)散函數(shù)PSF,G(u, v)、F(u, v)、H(u, v)分別是g(x, y)、f(x, y)、h(x, y)的傅里葉變換,N為圖像的寬度。
2 PSF的確定
由圖像的復(fù)原公式得知,建立圖像退化模型的關(guān)鍵是確定點(diǎn)擴(kuò)散函數(shù)(PSF)。通過點(diǎn)擴(kuò)散函數(shù)可把圖像復(fù)原分為兩種形式[1,10-12]:
第一種是點(diǎn)擴(kuò)散函數(shù)已知的情況下對(duì)圖像進(jìn)行復(fù)原,對(duì)于勻速直線運(yùn)動(dòng)造成的模糊,PSF為[8]:
其中d是模糊長度,θ為模糊角度。把上式的PSF代入圖像復(fù)原公式就可對(duì)圖像進(jìn)行復(fù)原,得到清晰的圖像。
第二種是點(diǎn)擴(kuò)散函數(shù)未知的情況下,通過估計(jì)的方法確定點(diǎn)擴(kuò)散函數(shù)。其方法包括圖像觀察估計(jì)法、模型估計(jì)法、實(shí)驗(yàn)估計(jì)法[1]、頻譜特征估計(jì)法、依據(jù)攝像機(jī)參數(shù)指標(biāo)估計(jì)法等。
3 圖像復(fù)原算法
退化模型建立后,可采取相應(yīng)的處理算法對(duì)圖像進(jìn)行復(fù)原。復(fù)原算法根據(jù)性質(zhì)的不同可分為:基于迭代思想的復(fù)原算法、基于非迭代思想的復(fù)原算法以及一些新興的復(fù)原算法。
3.1 基于非迭代思想的圖像復(fù)原算法
3.1.1逆濾波復(fù)原算法
逆濾波法通過模糊圖像的傅里葉變換來估計(jì)原圖的傅里葉變換。模糊退化模型的傅里葉變換方式為:
通過上式對(duì)圖像進(jìn)行復(fù)原的公式為:
再對(duì)F(x, y)進(jìn)行傅里葉反變換就是復(fù)原圖像f(x, y)。
對(duì)于逆濾波算法來說,由于圖像的復(fù)原公式為一個(gè)分式,所以如果H(x, y)很小,則圖像F(x, y)就會(huì)很大,這相當(dāng)于擴(kuò)大了噪聲,使圖像的復(fù)原效果明顯變差,但是對(duì)于無噪聲的圖像復(fù)原效果則很好。
3.1.2維納濾波復(fù)原算法
算法復(fù)原宗旨是使原始圖像與恢復(fù)圖像之間的均方差最小[13]。其基本的原理是尋找一個(gè)使如下統(tǒng)計(jì)誤差函數(shù)最小的估計(jì)圖像:
其中E是期望值操作符,f是未退化的圖像,該表達(dá)式在頻域可表示為 [14]:
其中,H(u,v)表示退化函數(shù),表示H(u,v)的復(fù)共軛,表示噪聲的功率譜,表示為退化圖像的功率譜。
此算法克服了極點(diǎn)干擾的問題,而且向量和標(biāo)量均適用[15]。但這個(gè)算法在信噪比的確定上存在著計(jì)算復(fù)雜的問題。其未退化圖像和噪聲的功率譜必須已知,而且需要已知系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)??梢詮脑肼暤墓β首V以及退化圖像的功率譜上入手精確地解決信噪比,以提高維納濾波算法的復(fù)原效果。
3.1.3 最小二乘復(fù)原算法
最小二乘法分為有約束條件和無約束條件兩種。無約束條件的最小二乘法是使退化過程中對(duì)原圖的線性估計(jì)在最小二乘意義下接近模糊圖像。
有約束的最小二乘法通過預(yù)先設(shè)定的約束條件(,μ為噪聲項(xiàng)),使得圖像f的像素值接近響應(yīng)圖像g中相應(yīng)像素值,然后把迭代函數(shù)代入復(fù)原公式求得復(fù)原圖像。此算法存在著最優(yōu)解不穩(wěn)定的問題。現(xiàn)在有學(xué)者采用空間迭代的方法求得問題的解[16]。最小二乘復(fù)原算法處理由高噪聲和中等噪聲造成的圖像模糊效果最佳。
維納濾波是建立在最小化統(tǒng)計(jì)準(zhǔn)則基礎(chǔ)上,所以在平均意義上是最優(yōu)的,而本算法對(duì)于每一幅圖像都會(huì)產(chǎn)生最優(yōu)的效果[1]。
3.2 基于迭代思想的圖像復(fù)原算法
3.2.1 最大熵算法
最大熵算法是使用最大熵約束條件對(duì)圖像進(jìn)行恢復(fù)。其基本思想是使復(fù)原圖像的熵與噪聲圖像的熵相加值最大[17]。令圖像函數(shù)有正值,則一幅圖像總的能量為:
圖像的熵為:
噪聲熵為:
使Hf + Hn的值最大,然后進(jìn)行圖像復(fù)原。
這種算法可有效抑制噪聲,而且可以有效地對(duì)圖像的缺失部分進(jìn)行恢復(fù)。由于該算法為非線性算法,數(shù)值的計(jì)算比較麻煩,通常以迭代的方式進(jìn)行計(jì)算,耗時(shí)且計(jì)算量大。因此對(duì)于最大熵復(fù)原算法的改進(jìn)可以從解決計(jì)算量的方式上入手,找到一種快速的計(jì)算方法得到相應(yīng)的數(shù)值,提高算法的效率。
3.2.2 L-R算法
Lucy-Richardson算法是在像素點(diǎn)滿足泊松分布的情況下,在貝葉斯條件概率模型的基礎(chǔ)上采用極大似然估計(jì)通過迭代的方法求解清晰的圖像[7,18]。
這種算法在信噪比比較低的情況下,圖像的復(fù)原可能會(huì)出現(xiàn)斑點(diǎn),而且算法的迭代對(duì)圖像噪聲有放大的功能[15],所以本算法只適用于無噪聲的情況,通過迭代次數(shù)的增加使圖像第k+1次迭代效果即f(x,y)k+1收斂于原清晰圖像f(x,y),則迭代停止。所以如何克服噪聲的干擾是本算法改進(jìn)的關(guān)鍵所在。
3.3 新興的圖像復(fù)原算法
3.3.1 神經(jīng)網(wǎng)絡(luò)圖像復(fù)原算法
伴隨著神經(jīng)網(wǎng)絡(luò)研究的發(fā)展,神經(jīng)網(wǎng)絡(luò)在圖像復(fù)原處理中也得到了應(yīng)用。基于神經(jīng)網(wǎng)絡(luò)的圖像復(fù)原方法大體可以分為兩類:
第一類是基于Hopfield神經(jīng)網(wǎng)絡(luò)的圖像復(fù)原,將圖像復(fù)原問題轉(zhuǎn)化為極小值的問題來處理,再映射為Hopfield的能量函數(shù),從而利用Hopfield網(wǎng)絡(luò)求解最優(yōu)問題[19]。
第二類是運(yùn)用大量的原圖與模糊圖像進(jìn)行學(xué)習(xí)訓(xùn)練,再利用訓(xùn)練后的網(wǎng)絡(luò)進(jìn)行圖像復(fù)原[16]。
神經(jīng)網(wǎng)絡(luò)算法能夠通過輸入數(shù)據(jù)自適應(yīng)找到隱含在樣本中的內(nèi)在規(guī)律,使其具有很高的推廣能力,但是算法的實(shí)施關(guān)鍵在于怎么處理數(shù)據(jù)與網(wǎng)絡(luò)函數(shù)的映射。
3.3.2 圖像超分辨率復(fù)原技術(shù)
這種復(fù)原技術(shù)是指利用多幀低分辨率圖像,求解成像的逆過程,重建原圖的高分辨率圖像。超分辨率重建過程可分為三步:(1)預(yù)處理,即去噪;(2)配準(zhǔn),即對(duì)低分辨率序列間的矢量進(jìn)行估計(jì);(3)重建,即把多幀低分辨率信息融合在一起。這種技術(shù)能夠在不改變成像設(shè)備硬件的前提下實(shí)現(xiàn)優(yōu)于系統(tǒng)分辨率的觀測,最早由Harris和Goodman于上世紀(jì)60年代提出。后來學(xué)者們又提出了長橢球波函數(shù)法、線性外推法和疊加正弦模板等方法。80年代末提出了能量連續(xù)降減法、Bayesian分析法和凸集投影等方法。
4 圖像復(fù)原技術(shù)的總結(jié)與展望
圖像復(fù)原問題特別是運(yùn)動(dòng)模糊圖像復(fù)原問題成為了當(dāng)今圖像技術(shù)研究的熱點(diǎn)。目前的算法都存在弊端,如逆濾波由于無法擺脫噪聲的干擾而只適用于無噪聲或者噪聲比較小的情況;維納濾波復(fù)原算法對(duì)噪聲有很好的抑制但卻很難計(jì)算信噪比;最小二乘法對(duì)于處理受到高噪聲和中等噪聲影響造成的模糊圖像效果最佳。
另外基于迭代思想的方法中,最大熵算法不用對(duì)圖像事先做太多的假設(shè),可以有效地抑制噪聲和對(duì)圖像的細(xì)節(jié)進(jìn)行較好的恢復(fù),提高了分辨率,而且可以有效地對(duì)圖像的缺失部分進(jìn)行恢復(fù),但卻存在著數(shù)值計(jì)算麻煩的問題。Lucy-Richardson算法采用迭代的方法進(jìn)行圖像復(fù)原,但有噪聲干擾的情況下,此算法的迭代對(duì)圖像噪聲有放大的功能。所以如何克服噪聲的干擾是改進(jìn)本算法的關(guān)鍵。
圖像復(fù)原問題的未來研究方向?qū)⒅饕獓@參數(shù)識(shí)別和復(fù)原濾波兩方面展開,參數(shù)識(shí)別問題以后會(huì)向著增加先驗(yàn)知識(shí)的方向發(fā)展,而復(fù)原濾波算法的研究未來會(huì)以去除噪聲與圖像恢復(fù)相結(jié)合做為研究的重點(diǎn),做到在圖像復(fù)原的過程中不引入任何的噪聲。這是對(duì)傳統(tǒng)復(fù)原算法改進(jìn)的方向。還有一種發(fā)展方向就是開發(fā)新的復(fù)原算法,特別是神經(jīng)算法的出現(xiàn)為圖像復(fù)原提供了新的研究思路,也為以后的研究打開了新的方向。另外傳統(tǒng)的圖像復(fù)原技術(shù)能夠分析模糊的原因,但是只能將頻率復(fù)原到衍射極限相應(yīng)的截止頻率處,而截止頻率外的信息將丟失?,F(xiàn)在的超分辨率復(fù)原方法卻能恢復(fù)丟失的信息,這將是未來圖像復(fù)原研究的另一重要方向。
參考文獻(xiàn)
[1] 曾晶. 運(yùn)動(dòng)模糊圖像復(fù)原的探究[J]. 佳木斯教育學(xué)院學(xué)報(bào), 2012(10):451,455.
[2] 王若琳, 程耀瑜. 基于 Radon 變換的運(yùn)動(dòng)模糊圖像復(fù)原研究[J]. 電子測試, 2013 (1): 4-7.
[3] BEN E M, NAYAR S. Motion-based motion deblur-ring[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2004, 26(6):689-698.
[4] 程姝, 趙志剛,呂慧顯,等. 順序結(jié)構(gòu)的運(yùn)動(dòng)模糊圖像復(fù)原技術(shù)綜述[J]. 計(jì)算機(jī)應(yīng)用, 2013, 33(A01): 161-165.
[5] 王敏, 田啟川. 改進(jìn)的運(yùn)動(dòng)模糊圖像復(fù)原算法[J]. 微型機(jī)與應(yīng)用, 2011, 30(6): 37-40.
[6] 王秋云, 王軼群. 基于Lucy-Richardson算法的運(yùn)動(dòng)模糊圖像復(fù)原研究[J]. 自動(dòng)化儀器儀表,2013(2):18-19,22.
[7] 孟凡菲. 基于盲解卷積算法的運(yùn)動(dòng)模糊圖像復(fù)原[J]. 科技信息, 2012 (32): 128-128.
[8] 閆永存, 楊燕翔, 黃小莉, 等. 勻速直線運(yùn)動(dòng)模糊圖像復(fù)原的改進(jìn)算法[J]. 電子設(shè)計(jì)工程, 2012, 20(3): 145-148.
[9] 高治雄, 金韜.一種高魯棒性的運(yùn)動(dòng)模糊圖像復(fù)原算法[J]. 華東理工大學(xué)學(xué)報(bào): 自然科學(xué)版, 2012, 38(4): 506-510.
[10] Rafael C G,Richard E W. 數(shù)字圖像處理(第二版)[M].阮秋琦,阮宇智,等譯.北京:電子工業(yè)出版社,2007.
[11] MOGHADDAM M E,JAMZAD M.A comprehensive study to findthe effect of different noise removal methods on linear motion blurparameter estimation[C]. IEEE 13th International Conference on Systems Signals and Image Processing,Piscataway: IEEE, 2006.
[12] FERGUS R, SINGH B, HERTZMANN A, et al. Removing camerashake from a single photograph[J]. ACM Transactions on Graphics(TOG)-Proceedings of ACM SIGG RAPH 2006, 2006,25( 3) :783 -794.
[13] 孟慶浩, 周榮彪. 復(fù)合幀運(yùn)動(dòng)模糊圖像復(fù)原方法研究[J]. 計(jì)算機(jī)工程, 2006, 32(13): 187-189.
[14] Gonzalez R C,Woods R E,Eddins S L.Digital Image Processing Using MATLAB[M].北京:電子工業(yè)出版社,2005.
[15] 李勇峰. 運(yùn)動(dòng)模糊圖像復(fù)原算法研究[J]. 山西電子技術(shù), 2013 (4): 90-91.
[16] 王芳. 一種新的最小二乘法圖像復(fù)原算法的研究[J]. 包裝工程, 2009, 29(12): 151-153.
[17] 辛玲. 運(yùn)動(dòng)模糊圖像復(fù)原算法綜述[J]. 硅谷, 2010 (1): 55-56.
[18] 余恕梅, 檀結(jié)慶, 王明珠. 運(yùn)動(dòng)模糊圖像復(fù)原結(jié)果中偽像的消除[J]. 計(jì)算機(jī)工程與應(yīng)用, 2013, 49(5): 5.
[19] 吳城磊. 連續(xù) Hopfield 神經(jīng)網(wǎng)絡(luò)圖像復(fù)原算法的改進(jìn)[J]. 電腦知識(shí)與技術(shù): 學(xué)術(shù)交流, 2006 (10): 99-100.
[20] 卓力,王素玉,李曉光.圖像/視頻的超分辨率復(fù)原[M].北京:人民郵電出版社,2011.