林紹輝1,2,杜民2,高欽泉1,2,高躍明1,2
(1. 福州大學 物理與信息工程學院,福建 福州 350116;2. 福州大學 福建省醫(yī)療器械和醫(yī)藥技術重點實驗室,福建 福州 350116)
摘要:圖像配準技術在醫(yī)學圖像處理與分析中扮演著重要的角色,為了促進其在實際臨床中的應用,設計并實現了一款多模態(tài)醫(yī)學圖像配準系統(tǒng)。該系統(tǒng)集成了多種先進的配準算法,包括線性和非線性配準,并提供友好的圖形界面和可視化功能。此外,系統(tǒng)還提供去噪聲預處理并支持混合配準策略,用于提高圖像配準的質量和效率,配準的中間過程實時動態(tài)顯示。實驗結果表明,該系統(tǒng)能夠便捷、高效地完成復雜的醫(yī)學圖像配準。
關鍵詞:醫(yī)學圖像;自動配準系統(tǒng);交互可視化;實時顯示
中圖分類號:TP317.4文獻標識碼:ADOI: 10.19358/j.issn.1674-7720.2017.01.004
引用格式:林紹輝,杜民,高欽泉,等. 基于IRTK與VTK的醫(yī)學圖像配準與可視化系統(tǒng)[J].微型機與應用,2017,36(1):11-14.
0引言
隨著電子成像技術的快速發(fā)展,多模態(tài)的醫(yī)學圖像正改變著傳統(tǒng)醫(yī)療的診斷和治療方式[12],特別在放射治療領域[3]。對不同模態(tài)中特定的解剖學信息進行綜合[4],能夠為疾病的早期診斷和治療提供更加豐富、準確的信息[5]。然而,由于各個模態(tài)圖像的成像原理不同,圖像在分辨率、體素間隔以及圖像的大小等方面存在很大的差異。即使是單模態(tài)成像也會因病人在成像時的擺位,以及軟組織的非線性形變的不同,使得臨床醫(yī)生無法直接對其進行信息提取、綜合和分析。因此,在對多模態(tài)圖像信息的綜合,需要解決圖像之間的匹配問題,即圖像配準。
所謂圖像配準[6]就是尋求一種最優(yōu)的變換關系,使得兩幅或者多幅醫(yī)學圖像上的對應點達到解剖位置與空間位置上的一致。多年以來,國內外已有大量的研究致力于配準算法的發(fā)展[78],但在配準軟件和平臺[9]的研發(fā)上卻少之又少。由于技術和資金限制,目前大多數醫(yī)院配備的系統(tǒng)軟件只包含剛性配準技術,無法滿足軟組織非剛性形變的配準需求。缺乏合適的軟件系統(tǒng)是阻礙先進配準技術在臨床應用中的絆腳石。在數字醫(yī)療時代下,無論哪種模態(tài)的醫(yī)學影像,要在臨床的診斷、治療中發(fā)揮更好的作用都離不開相應軟件系統(tǒng)的支持[10]。
為了促進圖像配準技術在實際臨床中的應用,本文在Qt(Qt creator)提供圖形用戶界面的框架下,采用IRTK(Image Registration Toolkit)實現線性和非線性自動配準,并結合VTK(Visualization Toolkit)完成三維重建,最終設計并實現了一款多模態(tài)醫(yī)學圖像配準與可視化系統(tǒng)。
1系統(tǒng)設計
1.1基于IRTK的自動配準
IRTK是一款專門處理醫(yī)學圖像配準的算法平臺,由英國帝國理工學院編程實現,封裝了許多常用的圖像配準算法,為配準軟件的開發(fā)提供了有利工具。
圖像配準按變換模型可分為剛性、仿射變換,其中剛性最為簡單,只包含旋轉和平移,仿射變換則在此基礎上增加了錯切和縮放兩個變換。然而,對于人體軟組織的非剛性形變形式,上述兩種線性方法卻顯得無能為力,這也是目前大多數醫(yī)院面臨的難題。因此,本系統(tǒng)引入目前最為優(yōu)秀和主流的基于B樣條的自由形變模型非線性配準算法。該方法由RUECKERT D等人提出[11],其形變模型由全局和局部變換兩部分組成:
T(x,y,z)=Tglobal(x,y,z)+Tlocal(x,y,z)(1)
其中,全局變換由剛性變換或仿射變換完成;局部變換為基于B-樣條的自由形變模型,對該方法的詳細介紹見參考文獻[11]。
除了形變模型,圖像配準中還包括相似測度、插值以及優(yōu)化方法。其中相似性度量描述了配準后圖像的相似度,插值器主要應用于移動的圖像中的非網格點數據值的計算,優(yōu)化方法則根據約束條件找到使得兩幅圖像相似測度達到最大的變換矩陣。本系統(tǒng)提供的相似測度包括互信息、歸一化互信息、相關比等。優(yōu)化方法包括梯度下降法、牛頓下山法,聯合下降法等。插值器包括線性插值、B-樣條插值、牛頓插值等,通過設置不同的參數實現特定任務的配準。
系統(tǒng)的非線性配準算法由IRTK算法平臺中的irtkImageFreeFormRegistration類實現。使用該類進行配準的具體步驟如下:
初始化:
?。?)導入參考圖像和待配準圖像。
(2)設置控制點間隔、優(yōu)化器、相似測度、插值器、金字塔層數及其他參數。
運行:irktImageFreeFormRegistration
(3)重復優(yōu)化, 直到找到使得相似測度達到最大的形變矢量場。
輸出:配準結果及形變矢量場
結束。
此外,本文在系統(tǒng)中實現了多種方法聯合配準的策略,通過將初級配準的形變矢量場作為更高級配準方法的輸入,以獲得更好的初始化,最終生成配準結果。該策略用于應對復雜的配準任務時,可避免直接采用非線性配準無法實現準確配準的難題。
1.2基于VTK的圖像顯示及三維重建
VTK是一款進行數據可視化的開發(fā)工具包,其面向通用可視化領域,具有良好的可移植性,提供用于三維計算機圖形學和可視化的類庫,尤其在三維重建具有強大的功能。
本系統(tǒng)的醫(yī)學圖像三準視圖使用VTK的vtkSliceImageViewer與QVTKWidget完成顯示,并結合Qt的信號與槽機制實現人機交互。同時,本文采用多線程編程技術實現圖像配準和可視化過程的并行處理,提供配準過程實時動態(tài)顯示,方便監(jiān)測配準過程以及參數調整。
在三維重建方面,使用VTK的Marching Cubes面繪制提供三維醫(yī)學圖像的空間位置信息。面繪制利用分割技術對一系列的三維圖像進行特征提取,利用提取的特征還原出被檢測物體的三維模型,并以表面的方式顯示,其基本步驟如下:讀取器提取等值面數據處理映射器實例化角色繪制器繪制窗口交互器交換方式。
1.3去噪聲預處理
醫(yī)學圖像在獲取和傳輸過程中容易受到噪聲的影響,不僅會降低圖像質量,同時也會影響配準的精度。因此,在配準之前需要進行去噪聲預處理。本系統(tǒng)提供中值濾波法實現圖像去噪聲功能。中值濾波是一種非線性平滑技術,在去除噪聲的同時能夠較好地保留圖像的邊緣信息。圖1給出T2MRI腦圖像去噪聲的前后對比。
1.4基于Qt的人機交互界面
Qt是一個開源、跨平臺的圖形用戶界面應用框架,其以QWidget為基礎,包含按鈕、標簽以及工具欄等多種類型的圖形用戶界面(Graphic User Interface,GUI)組件,廣泛應用于系統(tǒng)的GIU開發(fā)。此外,Qt提供了豐富的信號與槽(signals/slots)機制實現各個對象之間的通信,為人機交互奠定良好的基礎。
基于上述系統(tǒng)目標,并結合實際臨床應用的場景,本文利用Qt進行系統(tǒng)的界面開發(fā)。系統(tǒng)的主界面如圖2所示。
2應用與結果
本文結合15例實際臨床數據對本系統(tǒng)進行測試,其中包括4例二維(T1,T2) MRI腦圖像和11例三維宮頸癌內外照射放療CT圖像,這些臨床數據由福建省腫瘤醫(yī)院提供。限于本文的篇幅,在此分別給出其中的一套數據進行說明。
2.1二維(T1,T2)MRI腦圖像配準
二維(T1,T2)MRI腦圖像的分辨率均為256×256,像素均為1 mm×1 mm。將T1、T2腦圖像分別作為參考和浮動圖像導入系統(tǒng),使用系統(tǒng)提供的去噪功能對待配準的圖像作預處理。本文分別使用剛性、仿射和非線性三種變換模型進行測試。參數設置:金字塔層數為3,歸一化互信息為相似測度,梯度下降法為優(yōu)化法以及線性插值器。在非線性配準中,設置控制點網格分辨率為20。當然,用戶可以根據具體任務進行參數設置。配準結果如圖3所示。
表1根據圖像的相關比(Correlation Coefficient,CC)總結了噪聲對二維(T1,T2)MRI腦圖像配準結果的影響。
2.2宮頸癌內外照射三維CT圖像的配準
外照射CT圖像分辨率為512×512×40,像素為0.976 6 mm×0.976 6 mm×5 mm;內照射CT圖像分辨率為512×512×40,像素為0.976 6 mm×0.976 6 mm×2.5 mm。將外照射CT作為參考圖像,內照射CT為浮動圖像進行配準,參數設置同上述二維圖像配準。由于腿部存在局部大形變,因此采用仿射與非線性聯合配準的配準策略完成配準。圖4給出了非線性配準的結果。
3討論
筆者發(fā)現,雖然二維(T1,T2)MRI腦圖像屬于同一病人,但由于成像原理不同導致圖像存在很大差異。經過剛性和仿射配準后在一定程度上減少了它們之間的差異,但其效果遠不及非線性配準,這主要是因為線性變換只包含簡單的旋轉和平移變換,無法應對軟組織的非剛性形變問題。另一方面,從配準后兩幅圖像的相關比可知,圖像中的噪聲不僅降低了圖像的質量,而且極大地降低了圖像配準的精度。從圖4可以看出采用多種方法聯合配準的策略能夠準確完成宮頸癌內外照射放療三維CT圖像的配準。
4結束語
本文基于IRTK和VTK并結合Qt實現了多模態(tài)醫(yī)學圖像配準與可視化系統(tǒng),提供包含線性和非線性配準方法。結果證實了系統(tǒng)的去噪聲預處理和混合配準策略提高了圖像配準的精度和靈活性,通過友好的圖形界面和可視化功能簡化了復雜的配準過程。下一步的工作將研究非線性配準方法在腫瘤放療劑量評估的應用,并在系統(tǒng)中實現,為個性化放療提供有力的系統(tǒng)支撐。
參考文獻
?。?] 佟正灝, 王榮福. 多模態(tài)影像技術在臨床中的應用進展[J]. CT 理論與應用研究, 2014,23(4):707 714.
?。?] 李偉, 朱學峰. 醫(yī)學圖像融合技術及其應用[J]. 中國醫(yī)學影像技術, 2005,21(7):1126 1129.
?。?] CHEN S, SCHILDKRAUT J S. Image fusion for radiation therapy:US 7848592[P/OL]. (2010 12 7)
?。?] WANG L, LI B, TIAN L F. Multimodal medical image fusion using the interscale and intrascale dependencies between image shiftinvariant shearlet coefficients[J]. Information Fusion, 2014,19(1):20 28.
[5] SINGH R, KHARE A. Fusion of multimodal medical images using daubechies complex wavelet transform–a multiresolution approach [J]. Information Fusion, 2014,19(3):49 60.
?。?] RUECKERT D, SCHNABEL J A. Medical image registration[J]. Physics in Medicine & Biology,2011,46(3): 145.
[7] OLIVEIRA F P, TAVARES J M R. Medical image registration: a review[J]. Computer Methods in Biomechanics and Biomedical Engineering, 2014,17(2):73 93.
?。?] 申艷平. 醫(yī)學圖像配準技術[J]. 中國醫(yī)學物理學雜志, 2013,30(1):38853889.
?。?] 黃善清, 龍鵬程. 基于ITK與VTK的配準融合方法的研究與應用[J]. 計算機應用, 2010,30(s1):140 142.
?。?0] ElGAMAL E Z A, ELMOGY M, ATWAN A. Current trends in medical image registration and fusion[J]. Egyptian Informatics Journal, 2015,17(1):99 124.
?。?1] RUECKERT D, SONODA L I, HAYES C, et al. Nonrigid registration using freeform deformations: application to breast MR images[J]. IEEE Transactions on Medical Imaging, 1999,18(8):712 721.