《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 嵌入式技術(shù) > 設(shè)計(jì)應(yīng)用 > 基于深度學(xué)習(xí)的胸部X光影像分析系統(tǒng)
基于深度學(xué)習(xí)的胸部X光影像分析系統(tǒng)
2018年電子技術(shù)應(yīng)用第11期
周進(jìn)凡，張榮芬，馬治楠，葛自立，劉宇紅
貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴州 貴陽550025
摘要： 提出一種應(yīng)用嵌入式技術(shù)和深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)對(duì)胸部X光影像分析的設(shè)計(jì)方案。采用NIVIDIA公司生產(chǎn)的Jetson TX2作為核心板，配備以太網(wǎng)模塊、WiFi模塊等功能模塊搭建該分析系統(tǒng)的硬件平臺(tái)。在GPU服務(wù)器上利用MobileNets卷積神經(jīng)網(wǎng)絡(luò)對(duì)標(biāo)注的胸部X光影像數(shù)據(jù)集進(jìn)行訓(xùn)練，將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型移植到Jetson TX2核心板，在嵌入式平臺(tái)下完成對(duì)胸腔積液、浸潤、肺氣腫、氣胸以及肺不張癥狀的檢測(cè)。利用美國國立衛(wèi)生研究院提供的胸部X光影像數(shù)據(jù)進(jìn)行測(cè)試，通過實(shí)驗(yàn)證明，該方法在識(shí)別準(zhǔn)確率上優(yōu)于其他的檢測(cè)方法，同時(shí)識(shí)別所需時(shí)間比其他方法短。
中圖分類號(hào)： TP391
文獻(xiàn)標(biāo)識(shí)碼： A
DOI：10.16157/j.issn.0258-7998.181514
中文引用格式： 周進(jìn)凡，張榮芬，馬治楠，等. 基于深度學(xué)習(xí)的胸部X光影像分析系統(tǒng)[J].電子技術(shù)應(yīng)用，2018，44(11)：29-32.
英文引用格式： Zhou Jinfan，Zhang Rongfen，Ma Zhinan，et al. Chest X-ray image analysis system based on deep learning[J]. Application of Electronic Technique，2018，44(11)：29-32.
Chest X-ray image analysis system based on deep learning
Zhou Jinfan，Zhang Rongfen，Ma Zhinan，Ge Zili，Liu Yuhong
College of Big Data and Information Engineering，Guizhou University，Guiyang 550025，China
Abstract： This paper proposes a design scheme for chest X-ray images analysis by using embedded technology and deep learning technology. The hardware platform of the analysis system using NIVIDIA′s Jetson TX2 as the core board, equipped with Ethernet modules, WiFi modules and other functional modules. It uses the MobileNets convolutional neural network on GPU server to train the marked chest X-ray image dataset then transplants the trained model to the Jetson TX2 core board, detecting the symptoms of pleural effusion, infiltration, emphysema, pneumothorax and atelectasis on the embedded platform. The chest X-ray image data provided by the National Institutes of Health(NIH) were tested in the trained model. Experiments have shown that this method gets higher accuracy and requires less time than other methods.
Key words : embedded technology；deep learning technology；chest X-ray images analysis；Jetson TX2；MobileNets

0 引言

    胸腔積液是臨床常見的胸膜病變，也是多種疾病的伴隨表現(xiàn)，據(jù)統(tǒng)計(jì)有50多種疾病可直接或間接引起胸腔積液[1]。在胸部異常改變的68例白血病患者中，白血病胸部X線表現(xiàn)為浸潤性改變49例，占72%[2]。此外肺氣腫、氣胸以及肺不張也是某些嚴(yán)重疾病的癥狀。由于個(gè)體差異，在疾病前期或者發(fā)生之前這些癥狀并不一定很明顯，醫(yī)院放射科室傳統(tǒng)的診斷方式可能并不能及時(shí)、準(zhǔn)確地檢測(cè)出相應(yīng)的癥狀為醫(yī)生提供決策依據(jù)，導(dǎo)致患者不能及早得到相應(yīng)的治療而錯(cuò)過最佳治療時(shí)間。

    傳統(tǒng)的計(jì)算機(jī)輔助胸部X光醫(yī)學(xué)影像識(shí)別主要是針對(duì)特定任務(wù)建立識(shí)別規(guī)則，手動(dòng)提取特征并進(jìn)行特征訓(xùn)練，該方案依然脫離不了人工標(biāo)注這一過程。人工標(biāo)注因?yàn)橹饔^性問題，所以識(shí)別準(zhǔn)確率存在比較大的波動(dòng)。2017年11月斯坦福大學(xué)吳恩達(dá)團(tuán)隊(duì)提出了一種名為CheXNet的新技術(shù)，該技術(shù)利用卷積神經(jīng)網(wǎng)絡(luò)在NIH（美國國立衛(wèi)生研究院）胸部X光影像數(shù)據(jù)集上進(jìn)行訓(xùn)練、測(cè)試，得到了浸潤檢測(cè)準(zhǔn)確率88.31%、胸腔積液檢測(cè)準(zhǔn)確率72.04%、肺氣腫92.60%、氣胸89.32%、肺不張82.09%的優(yōu)良效果，該準(zhǔn)確率高于擁有多年從業(yè)經(jīng)驗(yàn)的放射科醫(yī)生檢測(cè)的準(zhǔn)確率，但是該方法在進(jìn)行訓(xùn)練時(shí)使用了121層卷積神經(jīng)網(wǎng)絡(luò)，由于使用了深層次神經(jīng)網(wǎng)絡(luò)使得訓(xùn)練過程對(duì)計(jì)算機(jī)設(shè)備硬件要求高，而且訓(xùn)練時(shí)間長，訓(xùn)練好的模型較大，不利于移植到嵌入式平臺(tái)進(jìn)行識(shí)別。本文提出一種在GPU服務(wù)器利用輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)MobileNets對(duì)胸部X光影像數(shù)據(jù)進(jìn)行訓(xùn)練，并將訓(xùn)練好的網(wǎng)絡(luò)模型移植到嵌入式Jetson TX2核心板，在嵌入式平臺(tái)下實(shí)現(xiàn)對(duì)胸部X光影像數(shù)據(jù)進(jìn)行分析的方法。該方法在識(shí)別準(zhǔn)確率高于吳恩達(dá)團(tuán)隊(duì)提出檢測(cè)方法的同時(shí)縮短了對(duì)X光影像數(shù)據(jù)分析所需要的時(shí)間。

1 胸部X光分析系統(tǒng)總體設(shè)計(jì)

    本文的胸部X光影像分析系統(tǒng)主要由訓(xùn)練模塊、識(shí)別模塊、網(wǎng)絡(luò)傳輸模塊這三部分組成，整個(gè)系統(tǒng)的嵌入式平臺(tái)在NVIDIA公司生產(chǎn)的Jetson TX2核心板上進(jìn)行搭建，并通過該平臺(tái)實(shí)現(xiàn)對(duì)整個(gè)系統(tǒng)的協(xié)調(diào)控制。訓(xùn)練模塊是在GPU服務(wù)器上利用深度學(xué)習(xí)技術(shù)建立卷積神經(jīng)網(wǎng)絡(luò)模型，然后利用該模型對(duì)標(biāo)注好的X光影像數(shù)據(jù)集進(jìn)行訓(xùn)練，將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型移植到Jetson TX2核心板。識(shí)別模塊是在嵌入式平臺(tái)下利用移植到Jetson TX2核心板的神經(jīng)網(wǎng)絡(luò)模型對(duì)接收到的來自X光機(jī)的胸部X光影像數(shù)據(jù)進(jìn)行分析，得到正常、胸腔積液、浸潤、肺氣腫、氣胸以及肺不張六個(gè)類別的分類結(jié)果。網(wǎng)絡(luò)傳輸模塊主要分為兩個(gè)部分，一部分為通過以太網(wǎng)模塊將X光機(jī)拍攝的胸部X光影像傳輸?shù)角度胧狡脚_(tái)，另一部分是通過WiFi模塊將嵌入式平臺(tái)接收到的胸部X光影像信息以及嵌入式平臺(tái)對(duì)該影像數(shù)據(jù)的分析結(jié)果上傳到醫(yī)院云平臺(tái)進(jìn)行數(shù)據(jù)的存儲(chǔ)與分發(fā)，為相應(yīng)科室的醫(yī)生提供疾病診斷的決策依據(jù)。胸部X光影像分析系統(tǒng)具體設(shè)計(jì)框圖如圖1所示。

qrs1-t1.gif

2 胸部X光分析系統(tǒng)硬件設(shè)計(jì)

    嵌入式核心板Jetson TX2配備以太網(wǎng)模塊、WiFi模塊等核心功能模塊共同構(gòu)建了胸部X光影像分析系統(tǒng)的硬件平臺(tái)。Jetson TX2核心板以Tegra Parker處理器作為載體，搭載Ubuntu 16.04操作系統(tǒng)，然后與以太網(wǎng)模塊、WiFi模塊協(xié)同作用，在嵌入式平臺(tái)下實(shí)現(xiàn)胸部X光影像分析、數(shù)據(jù)傳輸?shù)裙δ堋?/p>

    胸部X光影像分析系統(tǒng)網(wǎng)絡(luò)通信模塊主要由兩個(gè)部分構(gòu)成：第一部分為X光機(jī)與嵌入式平臺(tái)之間的網(wǎng)絡(luò)傳輸，該部分通過以太網(wǎng)模塊設(shè)計(jì)實(shí)現(xiàn)，主要實(shí)現(xiàn)在醫(yī)院局域網(wǎng)內(nèi)將拍攝到的胸部X光影像數(shù)據(jù)通過以太網(wǎng)傳輸?shù)絁etson TX2核心板的功能，以太網(wǎng)通信模塊的外圍電路圖如圖2所示；第二部分為嵌入式平臺(tái)與醫(yī)院云平臺(tái)之間的通信功能，該部分通過WiFi模塊設(shè)計(jì)實(shí)現(xiàn)，主要實(shí)現(xiàn)將Jetson TX2核心板接收到的X光影像數(shù)據(jù)以及數(shù)據(jù)分析結(jié)果上傳到醫(yī)院云平臺(tái)的功能，WiFi通信模塊的外圍電路圖如圖3所示。

qrs1-t2.gif

qrs1-t3.gif

3 胸部X光分析系統(tǒng)軟件設(shè)計(jì)

    胸部X光分析系統(tǒng)軟件設(shè)計(jì)由GPU服務(wù)器端程序設(shè)計(jì)與嵌入式端程序設(shè)計(jì)兩部分組成。GPU服務(wù)器端程序設(shè)計(jì)主要是在Keras深度學(xué)習(xí)框架之下,使用TensorFlow作為后端，采用Python語言進(jìn)行編程對(duì)胸部X光醫(yī)學(xué)影像數(shù)據(jù)集中的圖片尺寸進(jìn)行歸一化處理，然后利用MobileNets卷積神經(jīng)網(wǎng)絡(luò)對(duì)該數(shù)據(jù)集進(jìn)行訓(xùn)練，并將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型移植到嵌入式平臺(tái)。嵌入式平臺(tái)程序設(shè)計(jì)主要是在嵌入式平臺(tái)配置深度學(xué)習(xí)所需要的運(yùn)行環(huán)境，采用Python高級(jí)編程語言，在嵌入式平臺(tái)上對(duì)GPU服務(wù)器上訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行讀取，并在該模型下對(duì)接收到的胸部X光影像數(shù)據(jù)進(jìn)行分類識(shí)別。胸部X光影像分析系統(tǒng)軟件設(shè)計(jì)流程如圖4所示。

qrs1-t4.gif

4 基于MobileNets網(wǎng)絡(luò)的胸部X光影像分析

    MobileNets網(wǎng)絡(luò)是由Google公司提供的一款輕量級(jí)的深層卷積神經(jīng)網(wǎng)絡(luò)，主要用于手機(jī)和嵌入式設(shè)備。該神經(jīng)網(wǎng)絡(luò)是基于流線型的高效網(wǎng)絡(luò)架構(gòu)，它使用深度可分離卷積來構(gòu)建輕量級(jí)深層卷積神經(jīng)網(wǎng)絡(luò)。MobileNets卷積神經(jīng)網(wǎng)絡(luò)可以將標(biāo)準(zhǔn)卷積分解成一個(gè)深度卷積和一個(gè)點(diǎn)卷積(1×1)以此來減少計(jì)算量，降低模型的大小。具體分解步驟如圖5所示，其中M代表輸入的通道數(shù)量，DK代表卷積核的寬和高，DF代表輸入特征圖的寬和高，N代表輸出通道數(shù)量。

qrs1-t5.gif

    從圖5可以得出，標(biāo)準(zhǔn)卷積的計(jì)算成本為：

     qrs1-gs1-2.gif

    通過標(biāo)準(zhǔn)卷積和深度可分離卷積的計(jì)算成本對(duì)比可以得出，MobileNets網(wǎng)絡(luò)通過對(duì)卷積核的靈活應(yīng)用，減少了網(wǎng)絡(luò)模型參數(shù)量，使其計(jì)算成本得到了很大程度的減少。

    MobileNets共有28層網(wǎng)絡(luò)，除最后的全連接層以外，每一層網(wǎng)絡(luò)之后都通過BN算法對(duì)每個(gè)神經(jīng)元做歸一化處理，提高網(wǎng)絡(luò)的訓(xùn)練速度。

    在Ubuntu 16.04系統(tǒng)之下編寫一個(gè)shell腳本程序從NIH胸部X光影像數(shù)據(jù)集中提取其中的正常、胸腔積液、浸潤、肺氣腫、氣胸以及肺不張六個(gè)類別共計(jì)81 200張圖像作為本系統(tǒng)的數(shù)據(jù)集，將提取出來的數(shù)據(jù)集命名為X-ray，X-ray數(shù)據(jù)集中共包含有60 384張正常圖像、9 551張浸潤圖像、3 959張胸腔積液圖像、895張肺氣腫圖像、2 199張氣胸圖像以及4 212張肺不張圖像。在對(duì)模型進(jìn)行訓(xùn)練之前，首先對(duì)數(shù)據(jù)集中圖像進(jìn)行預(yù)處理，將每張圖片分辨率歸一化為128×128，然后將該數(shù)據(jù)分為訓(xùn)練集和測(cè)試集兩部分，訓(xùn)練集占比75%，測(cè)試集占比25%。數(shù)據(jù)集訓(xùn)練過程中，使用ADM算法對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，對(duì)數(shù)損失函數(shù)作為整個(gè)網(wǎng)絡(luò)的損失函數(shù)，并用sigmoid函數(shù)作為激活函數(shù)，設(shè)置迭代次數(shù)為4 000次。本實(shí)驗(yàn)中訓(xùn)練結(jié)束的標(biāo)志主要從兩個(gè)方面進(jìn)行考察，第一個(gè)方面為整個(gè)訓(xùn)練達(dá)到設(shè)置的迭代次數(shù)的上限以后訓(xùn)練結(jié)束，第二方面為loss(損失函數(shù))值收斂不再減小，此時(shí)可以認(rèn)為當(dāng)前狀態(tài)下此網(wǎng)絡(luò)已基本達(dá)到最優(yōu)化，訓(xùn)練結(jié)束。訓(xùn)練結(jié)束后將得到的網(wǎng)絡(luò)移植到Jetson TX2核心板在嵌入式平臺(tái)下對(duì)胸部X光影像數(shù)據(jù)進(jìn)行分析。

5 系統(tǒng)結(jié)果分析

    本實(shí)驗(yàn)采用MobileNets卷積神經(jīng)網(wǎng)絡(luò)對(duì)81 200張胸部X光影像中隨機(jī)選取的60 900張（占比75%）胸部X光影像進(jìn)行訓(xùn)練得到可以識(shí)別胸腔積液和浸潤兩種癥狀的神經(jīng)網(wǎng)絡(luò)。在進(jìn)行模型訓(xùn)練時(shí)，設(shè)置每一個(gè)Epoch代表迭代200次，當(dāng)Epoch=13時(shí)，即迭代次數(shù)達(dá)到2 600次時(shí)，loss值收斂，此時(shí)網(wǎng)絡(luò)達(dá)到基本最優(yōu)化，整個(gè)訓(xùn)練結(jié)束，大約用時(shí)90 min，該方法所用時(shí)間低于吳恩達(dá)團(tuán)隊(duì)利用121層卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練所需時(shí)間。訓(xùn)練過程中l(wèi)oss值變化的過程如圖6所示。

qrs1-t6.gif

    訓(xùn)練結(jié)束后，將該模型移植到嵌入式平臺(tái)，利用剩余的20 300張（占比25%）胸部X光影像作為測(cè)試集，驗(yàn)證整個(gè)模型對(duì)胸腔積液、浸潤兩個(gè)類別的平均識(shí)別率，得到91.01%的平均正確率，其中正常類別識(shí)別準(zhǔn)確率達(dá)到了98.68%。將本文中提及的胸部X光影像分析系統(tǒng)命名為ML-XNet。表1表示專業(yè)放射科醫(yī)生、吳恩達(dá)團(tuán)隊(duì)提出的CheXNet技術(shù)和ML-XNet對(duì)胸腔積液、浸潤、肺氣腫、氣胸以及肺不張的識(shí)別準(zhǔn)確率。

qrs1-b1.gif

    從表1可以看出，本文所使用的方法在對(duì)胸腔積液、浸潤、肺氣腫、氣胸以及肺不張五種常見癥狀的識(shí)別效果上，更優(yōu)于放射科醫(yī)生以及CheXNet方法。

    隨機(jī)傳輸4張胸部X光影像數(shù)據(jù)進(jìn)行測(cè)試，識(shí)別所需時(shí)間為30 s左右，遠(yuǎn)低于目前放射科醫(yī)生檢測(cè)所需時(shí)間，測(cè)試結(jié)果如圖7所示，其中Reality為圖片對(duì)應(yīng)癥狀的真實(shí)值，Prediction為利用本文所述方法進(jìn)行分析得到的預(yù)測(cè)值，Pneumothrax代表氣胸，Infiltration代表浸潤，Atelectasis代表肺不張。從圖中可以看出通過本系統(tǒng)對(duì)4張胸部X光影像的預(yù)測(cè)結(jié)果均與真實(shí)結(jié)果一致。

qrs1-t7.gif

6 結(jié)論

    本系統(tǒng)通過在Jetson TX2核心板上移植GPU服務(wù)器上訓(xùn)練好的MobileNets卷積神經(jīng)網(wǎng)絡(luò)模型，在嵌入式平臺(tái)下實(shí)現(xiàn)對(duì)胸部X光影像的分析。隨著X光機(jī)的發(fā)展，可以將本系統(tǒng)中的嵌入式識(shí)別平臺(tái)與X光機(jī)結(jié)合，生產(chǎn)出既能拍攝胸部X光影像又能對(duì)胸部X光影像進(jìn)行分析的一體機(jī)，使胸部X光影像的分析正確率更高、操作更簡單。

參考文獻(xiàn)

[1] 李翔云，李薇，張澤明.結(jié)核性、惡性胸腔積液的鑒別診斷的研究進(jìn)展[J].中國繼續(xù)醫(yī)學(xué)教育，2018，10(11)：109-112.

[2] 尚延海，張淑香，張志偉，等.白血病胸部浸潤的臨床X線表現(xiàn)(附68例分析)[J].醫(yī)學(xué)影像學(xué)雜志，2002(6)：449-451.

[3] 張巧麗，趙地，遲學(xué)斌.基于深度學(xué)習(xí)的醫(yī)學(xué)影像診斷綜述[J].計(jì)算機(jī)科學(xué)，2017，44(S2)：1-7.

[4] 羅濤，牟軒沁.一種胸部X射線攝影圖像中結(jié)節(jié)檢測(cè)的多尺度匹配濾波器[J].西安交通大學(xué)學(xué)報(bào)，2011，45(4)：30-35.

[5] 薛迪秀.基于卷積神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像癌變識(shí)別研究[D].合肥：中國科學(xué)技術(shù)大學(xué)，2017.

[6] HOWARD A G，ZHU M，CHEN B，et al.MobileNets：Efficient convolutional neural networks for mobile vision applications[J].avXiv：1704.04861[cs.CV].

[7] 何雪英，韓忠義，魏本征.基于深度學(xué)習(xí)的乳腺癌病理圖像自動(dòng)分類[J/OL].計(jì)算機(jī)工程與應(yīng)用，2018(12).



作者信息:

周進(jìn)凡，張榮芬，馬治楠，葛自立，劉宇紅

（貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴州 貴陽550025）

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。