近日，一篇來自德國癌癥研究中心、海德堡大學(xué)以及海德堡大學(xué)醫(yī)院研究人員的名為nnU-Net的醫(yī)學(xué)影像分割論文引起了廣泛關(guān)注。

　　該團(tuán)隊(duì)提出了一個(gè)可以自適應(yīng)任何新數(shù)據(jù)集的醫(yī)學(xué)影像分割框架，該框架能根據(jù)給定數(shù)據(jù)集的屬性自動(dòng)調(diào)整所有超參數(shù)，整個(gè)過程無需人工干預(yù)。僅僅依賴于樸素的U-Net結(jié)構(gòu)和魯棒的訓(xùn)練方案，nnU-Net在六個(gè)得到公認(rèn)的分割挑戰(zhàn)中實(shí)現(xiàn)了最先進(jìn)的性能。

　　摘要

　　在數(shù)據(jù)集的多樣性的推動(dòng)下，語義分割是醫(yī)學(xué)圖像分析中的一個(gè)熱門子領(lǐng)域，每年都會(huì)有大量的新方法提出。然而，這種不斷增長的錯(cuò)綜復(fù)雜的方法變得越來越難以捉摸。同時(shí)，許多提出的方法未能在提出的論文之外進(jìn)行推廣，從而妨礙了在新數(shù)據(jù)集上開發(fā)分割算法的過程。

　　在這里，我們提出了nnU-Net （'no-new-Net'）——一個(gè)自適應(yīng)任何給定新數(shù)據(jù)集的框架。雖然到目前為止這個(gè)過程完全由人為驅(qū)動(dòng)，但我們首先嘗試根據(jù)給定數(shù)據(jù)集的屬性自動(dòng)執(zhí)行必要的調(diào)整，例如數(shù)據(jù)預(yù)處理、圖像分塊大小、批量大小和推理設(shè)置。

　　值得注意的是，nnU-Net去掉了在學(xué)界提出的花哨的網(wǎng)絡(luò)結(jié)構(gòu)，而僅僅依賴于嵌入在魯棒的訓(xùn)練方案中的樸素U-Net結(jié)構(gòu)。nnU-Net在六個(gè)得到公認(rèn)的的分割挑戰(zhàn)中實(shí)現(xiàn)了最先進(jìn)的性能。

　　介紹

　　語義分割仍然是醫(yī)學(xué)圖像計(jì)算領(lǐng)域的一個(gè)熱門研究課題，70％的國際競賽都是圍繞著它展開。引起持久關(guān)注的重要原因當(dāng)然是醫(yī)學(xué)領(lǐng)域中遇到的成像數(shù)據(jù)集的多樣性和個(gè)體特性：數(shù)據(jù)集之間的數(shù)據(jù)規(guī)模、圖像維度、圖像大小、體素灰度范圍和灰度表示方面差別很大。

　　圖像中的類標(biāo)簽可能高度不平衡，也可能不明確，而且數(shù)據(jù)集之間標(biāo)注質(zhì)量的差別也很大。此外，某些數(shù)據(jù)集在圖像幾何形狀方面非常不均勻，或者可能出現(xiàn)片層不對(duì)齊和極不均勻的間距的情況?？偠灾@些情況使得將一項(xiàng)任務(wù)的結(jié)果推廣到其他任務(wù)變得更加困難，并且當(dāng)重新應(yīng)用這些方法來解決另一個(gè)問題時(shí)，它們往往會(huì)失敗。

　　調(diào)整設(shè)計(jì)決策或提出新設(shè)計(jì)概念的過程是復(fù)雜的：大多數(shù)選擇高度依賴于彼此，證明選擇的證據(jù)分布在無數(shù)的論文中，其中包括許多“噪音”。所以，近年來學(xué)者們提出了大量的分割方法。一個(gè)突出的例子是：U-Net這樣的帶跳過連接的解碼-編碼結(jié)構(gòu)的各種變體，包括引入殘差連接、密集連接、注意力機(jī)制、額外輔助的損失層、特征重新校準(zhǔn)和其他(如自動(dòng)聚焦層)。

　　具體的修改彼此大不相同，但是它們都在網(wǎng)絡(luò)結(jié)構(gòu)修改上有一個(gè)特別的關(guān)注點(diǎn)?？紤]到大量與分割相關(guān)的論文，以及具體實(shí)現(xiàn)的多樣性以及數(shù)據(jù)集相關(guān)的挑戰(zhàn)，越來越難以遵循這些文獻(xiàn)來確定哪些設(shè)計(jì)原則真正地在實(shí)驗(yàn)之外得到了推廣驗(yàn)證。根據(jù)我們自己的經(jīng)驗(yàn)，許多新的設(shè)計(jì)概念并沒有提升分割性能，有時(shí)甚至損害了基線的性能。

　　當(dāng)今醫(yī)學(xué)圖像計(jì)算的一個(gè)關(guān)鍵問題是將（分割）方法應(yīng)用于新問題的過程完全由人為驅(qū)動(dòng)。它基于經(jīng)驗(yàn)，論文主要關(guān)注網(wǎng)絡(luò)結(jié)構(gòu)，而略過所有其他超參數(shù)。基線方法次優(yōu)調(diào)整通常通過新結(jié)構(gòu)的提出來進(jìn)行補(bǔ)償。 由于超參數(shù)空間中的強(qiáng)依賴性和大量的局部最小值，使得將方法更好地適應(yīng)新問題變得非常困難，因此在這個(gè)循環(huán)中的任何人都不能真正地被指責(zé)。這種情況對(duì)研究人員和整個(gè)學(xué)術(shù)圈來說都是令人沮喪的。特別是在數(shù)據(jù)集如此多樣化的醫(yī)學(xué)成像領(lǐng)域，進(jìn)展在很大程度上取決于我們解決這些問題的能力。

　　本文試圖朝這個(gè)方向邁出第一步：我們提出了no-new-Net（nnU-Net），一種包含自動(dòng)適應(yīng)新數(shù)據(jù)集的分割方法。基于對(duì)數(shù)據(jù)集的自動(dòng)分析，nnU-Net自動(dòng)設(shè)計(jì)并執(zhí)行網(wǎng)絡(luò)訓(xùn)練流程。圍繞標(biāo)準(zhǔn)的 U-Net網(wǎng)絡(luò)結(jié)構(gòu)，我們假定通過給定的一組系統(tǒng)且謹(jǐn)慎選擇的超參數(shù)的分割方法仍將產(chǎn)生有競爭力的性能。實(shí)際上，在沒有任何手動(dòng)微調(diào)的情況下，該方法在幾個(gè)有名的醫(yī)學(xué)分割基準(zhǔn)上實(shí)現(xiàn)了最先進(jìn)的性能。

　　方法

　　分割算法可以形式化為函數(shù)fθ(x)=  y?，其中x是圖像，y?是相應(yīng)的預(yù)測分割，θ 是訓(xùn)練和應(yīng)用該方法所需的超參數(shù)集合。θ 的維度可以非常大，包括了從預(yù)處理到推理的整個(gè)流程。許多已有論文通常側(cè)重于報(bào)告和證實(shí)關(guān)于θ 的最相關(guān)的選擇，理想情況下會(huì)提供源代碼以完全覆蓋θ。但是，如果轉(zhuǎn)換到具有不同屬性的新數(shù)據(jù)集，則此過程缺乏對(duì)如何調(diào)整θ 的深入了解。 在這里，我們首次嘗試將此過程形式化。

　　具體來說，我們尋找在數(shù)據(jù)集之間很好地推廣的函數(shù)g(X, Y)=θ。在第一步中，需要識(shí)別那些不需要調(diào)整的超參數(shù)，在我們的例子中，這些超參數(shù)反映了一個(gè)強(qiáng)大但簡單的分割體系和一個(gè)魯棒的訓(xùn)練方案，這些影響因素都是動(dòng)態(tài)的，需要根據(jù)X和Y作出相應(yīng)改變的。

　　在第二步中，我們定義動(dòng)態(tài)參數(shù)g，在我們的例子中是一組啟發(fā)式規(guī)則，以用于調(diào)整規(guī)范化和重采樣方案，配置圖像分塊大小和批量大小以及計(jì)算網(wǎng)絡(luò)的具體結(jié)構(gòu)，其包括網(wǎng)絡(luò)集成和推理方法。總而言之，nnU-Net是一個(gè)可以在沒有任何用戶交互的情況下適應(yīng)不同未見過數(shù)據(jù)集的分割框架。

　　2.1 預(yù)處理

　　圖像標(biāo)準(zhǔn)化

　　這一步驟需要輸入數(shù)據(jù)的模態(tài)信息。如果模態(tài)不是CT，則nnU-Net通過減去平均值并除以標(biāo)準(zhǔn)差來標(biāo)準(zhǔn)化強(qiáng)灰度值。如果模態(tài)是CT，則自動(dòng)地根據(jù)訓(xùn)練集分割前景區(qū)域灰度分布的0.5％到99.5％執(zhí)行強(qiáng)灰度值的類似窗位的剪切。為了符合典型的權(quán)重初始化方法，使用全局前景均值和標(biāo)準(zhǔn)偏差對(duì)數(shù)據(jù)進(jìn)行歸一化。

　　體素間距

　　nnU-Net會(huì)統(tǒng)計(jì)訓(xùn)練數(shù)據(jù)中的所有間距，并且選擇每個(gè)軸的中值間距作為目標(biāo)間距。然后使用三階樣條插值對(duì)所有訓(xùn)練集進(jìn)行重采樣。各向異性間距（這里特指平面外間距比平面內(nèi)間距大三倍以上的情況）會(huì)引起插值偽影。在這種情況下，我們使用最近鄰?fù)瓿善矫嫱獠逯?。?duì)于相應(yīng)的每一類分割標(biāo)簽，則使用線性插值來進(jìn)行重采樣。

　　2.2 訓(xùn)練步驟

　　網(wǎng)絡(luò)結(jié)構(gòu)

　　三個(gè)U-net模型（2D U-Net、3D U-Net和兩個(gè)3D U-Net模型的級(jí)聯(lián)方式）彼此獨(dú)立配置、設(shè)計(jì)和訓(xùn)練。在兩個(gè)3D U-Net模型的級(jí)聯(lián)構(gòu)架下，其第一個(gè)模型產(chǎn)生低分辨率分割結(jié)果，隨后由第二個(gè)模型進(jìn)行下一步細(xì)化。相對(duì)于原始的U-Net網(wǎng)絡(luò)，我們只進(jìn)行了下面三個(gè)改變：其一是使用帶邊緣填充的卷積操作來實(shí)現(xiàn)輸出和輸入形狀的一致，其二是使用實(shí)例歸一化，其三是使用Leaky ReLUs代替ReLUs。

　　網(wǎng)絡(luò)超參數(shù)

　　這些參數(shù)需要根據(jù)預(yù)處理的訓(xùn)練數(shù)據(jù)的形狀來調(diào)整。具體來說，nnU-Net自動(dòng)設(shè)置批量大小，圖像分塊大小和每個(gè)軸的pooling次數(shù)，使得顯存消耗保持在特定范圍（12 GB TitanXp GPU）內(nèi)。在這一步中，較大的h圖像分塊大小優(yōu)先于批量大小（最小批量大小為2），以獲取更多的空間上下文信息。每個(gè)軸的大小會(huì)pooling到4個(gè)體素以下。所有U-Net結(jié)構(gòu)在第一層使用30個(gè)卷積濾波器，并在每個(gè)pooling操作時(shí)將此數(shù)量加倍。如果在典型case中所選擇的圖像分塊大小覆蓋的體素少于25％，則會(huì)使用下采樣的數(shù)據(jù)訓(xùn)練級(jí)聯(lián)的3D U-Net。級(jí)聯(lián)旨在當(dāng)圖像分塊大小太小而無法覆蓋整個(gè)分辨率，使nnU-Net仍能獲得足夠的上下文。

　　網(wǎng)絡(luò)訓(xùn)練

　　所有U-Net結(jié)構(gòu)都經(jīng)過五折交叉驗(yàn)證訓(xùn)練。每輪設(shè)置250個(gè)小批量。使用交叉熵?fù)p失和Dice損失之和作為損失函數(shù)。使用Adam作為優(yōu)化器，初始學(xué)習(xí)率為 3×10?4  ，l2 權(quán)重衰減為 3×10?5。每當(dāng)訓(xùn)練損失的指數(shù)移動(dòng)平均值在最近30個(gè)時(shí)期內(nèi)沒有改善時(shí)，學(xué)習(xí)率下降0.2倍。當(dāng)學(xué)習(xí)率低于 10?6 或超過1000個(gè)訓(xùn)練輪數(shù)時(shí)，停止訓(xùn)練。我們使用batchgenerators 框架在訓(xùn)練期間進(jìn)行在線數(shù)據(jù)增強(qiáng)。具體地，我們使用彈性變形、隨機(jī)縮放和隨機(jī)旋轉(zhuǎn)以及gamma增強(qiáng)。如果數(shù)據(jù)是各向異性的，則在平面內(nèi)進(jìn)行2D的空間變換。

　　2.3 推理

　　使用滑動(dòng)窗口方法預(yù)測每個(gè)Case，其中重疊區(qū)域設(shè)置為圖像分塊大小的一半。這增加了靠近中心區(qū)域的預(yù)測的權(quán)重。通過沿所有軸翻轉(zhuǎn)來進(jìn)行測試數(shù)據(jù)增強(qiáng)。

　　nnU-Net集成由兩個(gè)U-Net組合而成(2D、3D和cascade)，并根據(jù)交叉驗(yàn)證結(jié)果自動(dòng)選擇用于測試集預(yù)測的最佳模型或集成。更進(jìn)一步，nnU-Net還使用交叉驗(yàn)證產(chǎn)生的五個(gè)模型進(jìn)行集成。

　　結(jié)果

　　nnU-Net最初是在醫(yī)學(xué)分割十項(xiàng)全能挑戰(zhàn)賽Decathlon的第一階段的七個(gè)訓(xùn)練數(shù)據(jù)集上開發(fā)的。挑戰(zhàn)賽數(shù)據(jù)集涵蓋了醫(yī)學(xué)分割問題中通常遇到的大量差異性和挑戰(zhàn)。nnU-Net在醫(yī)學(xué)十項(xiàng)全能分割挑戰(zhàn)賽（第一階段和第二階段）以及另外五個(gè)流行的醫(yī)學(xué)分割挑戰(zhàn)進(jìn)行了評(píng)估。所有挑戰(zhàn)賽結(jié)果如表格1所示。

　　圖1所示：nnU-Net在各個(gè)醫(yī)學(xué)分割數(shù)據(jù)測試集的性能。所有的排行榜提交都被繪制在上圖（截止到19年3月25日)。Decathlon, LiTS, ACDC and BCV的數(shù)值為Dice得分，MS lesion和PROMISE12使用了不同的指標(biāo)。

　　醫(yī)學(xué)分割十項(xiàng)全能（Decathlon）

　　該挑戰(zhàn)的第一階段包括上述七個(gè)數(shù)據(jù)集，參與者使用這些數(shù)據(jù)集來開發(fā)可推廣的分割算法。在第二階段，提供了以前未知的三個(gè)其他數(shù)據(jù)集。算法不進(jìn)行進(jìn)一步更改或用戶交互應(yīng)用于這些數(shù)據(jù)集。兩個(gè)階段的評(píng)估都是在官方測試集上完成的。在第一階段和第二階段，nnU-Net在十項(xiàng)全能挑戰(zhàn)上有明顯的優(yōu)勢。

　　心臟分割挑戰(zhàn)賽（ACDC）

　　每個(gè)心臟的cine-MRI圖像的兩個(gè)時(shí)期被分割成三個(gè)部分。挑戰(zhàn)賽提供了100個(gè)訓(xùn)練案例，每個(gè)案例有兩個(gè)時(shí)期。我們手動(dòng)拆分nnU-Nets的數(shù)據(jù)進(jìn)行五折交叉驗(yàn)證運(yùn)行。nnU-Net在開放式排行榜中取得了第一名（基于50個(gè)測試用例），并在此數(shù)據(jù)集上達(dá)到了state-of-the art。

　　縱向多發(fā)性硬化病變分割挑戰(zhàn)

　　任務(wù)是在MRI圖像中分割多發(fā)性硬化癥。提供了5名患者，每名患者有4-5個(gè)時(shí)間點(diǎn)（總共21個(gè)時(shí)間點(diǎn)），有兩個(gè)評(píng)估者，每個(gè)時(shí)間點(diǎn)提供了注釋。我們將每個(gè)評(píng)估者視為一個(gè)單獨(dú)的訓(xùn)練集，并手動(dòng)拆分訓(xùn)練案例以確保患者分層。在測試集中，nnU-Net在163份提交中排名第5，得分為93.09，僅落后于范德比爾特大學(xué)的四份提交結(jié)果，其中最高分為93.21。

　　PROMISE12

　　任務(wù)是在各向異性的MRI圖像中分割前列腺。提供了50個(gè)帶標(biāo)注的訓(xùn)練案例和30個(gè)未標(biāo)記的測試案例。nnU-Net的測試集得分為89.08，在總共290份提交中排名第11（第一名：89.59）。

　　LiTS

　　肝腫瘤分割的挑戰(zhàn)由131個(gè)訓(xùn)練圖像（CT）和70個(gè)測試用例組成。對(duì)于訓(xùn)練病例，提供了肝臟和肝臟腫瘤的分割。nnU-Net在病變和肝臟上的Dice評(píng)分分別為0.725和0.958。通過移除最大連通前景區(qū)域以外的所有區(qū)域進(jìn)行后處理將Dice得分提高到0.738和0.960，在開放的排行榜病變分割的Dice評(píng)分達(dá)到了state of the art，并且肝臟分割在123支隊(duì)伍排名第17位（第一名：0.966）。

　　Beyond the Cranial Vault Challenge (Abdomen)

　　這個(gè)數(shù)據(jù)集的任務(wù)是在腹部CT圖像中分割13個(gè)器官。挑戰(zhàn)提供了30個(gè)帶標(biāo)注的訓(xùn)練圖像和20個(gè)測試圖像。nnU-Net 在這個(gè)數(shù)據(jù)集上達(dá)到了state of the art，平均Dice得分為88.1％，比第二名高出3個(gè)點(diǎn)（排行榜共有43個(gè)提交）。具體地，nnU-Net在13種器官中的11種得分最高。

　　表格2顯示了為驗(yàn)證nnU-Net中的選擇而設(shè)計(jì)進(jìn)行的消融研究。所有實(shí)驗(yàn)均在Decathlon第一階段的代表性數(shù)據(jù)集上使用相同的數(shù)據(jù)劃分進(jìn)行的。這些結(jié)果一方面表明我們應(yīng)該修改使用Leaky ReLUs，另一方面驗(yàn)證了我們選擇的實(shí)例規(guī)范化、數(shù)據(jù)增強(qiáng)和損失函數(shù)的效果。

　　圖2所示。 nnU-Net設(shè)計(jì)選擇的消融實(shí)驗(yàn)。 使用訓(xùn)練數(shù)據(jù)的一部分和3D U-Net對(duì)來自Decathlon的代表性數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。 nnU-Net的數(shù)值代表平均前景Dice分?jǐn)?shù)（例如肝臟數(shù)據(jù)集的肝臟和腫瘤篩子系數(shù)的平均值），消融研究的值代表Dice分?jǐn)?shù)百分比的變化。

　　討論

　　我們介紹了nnU-Net，一個(gè)可以自動(dòng)適應(yīng)任何給定數(shù)據(jù)集而無需用戶干預(yù)的醫(yī)學(xué)分割框架。據(jù)我們所知，nnU-Net是第一個(gè)嘗試形式化數(shù)據(jù)集之間需要進(jìn)行的必要調(diào)整的分割框架。nnU-Net在六個(gè)公開的分割挑戰(zhàn)中實(shí)現(xiàn)了最先進(jìn)的性能。這是非常了不起的，因?yàn)閚nU-Net不依賴于近年來提出的各種復(fù)雜的分割結(jié)構(gòu)，而只依賴于簡單的U-Net結(jié)構(gòu)。必須強(qiáng)調(diào)的是，我們沒有在挑戰(zhàn)數(shù)據(jù)集之間手動(dòng)調(diào)整超參數(shù)，所有設(shè)計(jì)選擇都是由nnU-Net自動(dòng)確定的。更令人驚訝的是，它在一部分?jǐn)?shù)據(jù)集上超過其他專門手動(dòng)設(shè)計(jì)的算法。

　　nnU-Net包括一些通用的固定設(shè)計(jì)選擇，如U-Net結(jié)構(gòu)、Dice損失、數(shù)據(jù)增強(qiáng)和模型集成，以及由一組遵循我們的分割經(jīng)驗(yàn)的規(guī)則確定的一些動(dòng)態(tài)設(shè)計(jì)選擇。雖然，使用此類規(guī)則可能不是解決此問題的最佳方法。通過給定更多的數(shù)據(jù)集，未來的工作可能會(huì)嘗試從數(shù)據(jù)集的屬性中直接學(xué)習(xí)這些規(guī)則。雖然nnU-Net的選擇可以在多個(gè)數(shù)據(jù)集中實(shí)現(xiàn)強(qiáng)大的分割性能，但這并不意味著我們已找到全局最優(yōu)的配置。

　　事實(shí)上，從表格2所示的消融實(shí)驗(yàn)可以看出， Leaky ReLU替換ReLU的選擇并沒有影響性能，我們的數(shù)據(jù)增強(qiáng)方案可能并不適用于所有數(shù)據(jù)集，后處理也有待于進(jìn)一步的研究。我們?cè)贚iTS的結(jié)果表明，正確選擇的后處理可能是有益的。這種后處理可以通過分析訓(xùn)練數(shù)據(jù)或通過基于交叉驗(yàn)證結(jié)果選擇方案來自動(dòng)化。這種自動(dòng)化的嘗試在進(jìn)行Decathlon挑戰(zhàn)賽時(shí)nnU-Net初始版本的一部分，但后來由于不能持續(xù)改進(jìn)結(jié)果而被丟棄。

　　現(xiàn)在我們已經(jīng)建立了迄今為止最強(qiáng)大的U-Net baseline，我們可以系統(tǒng)地評(píng)估更先進(jìn)的網(wǎng)絡(luò)設(shè)計(jì)的通用性以及相對(duì)于此處采用的普通架構(gòu)的性能提升。因此，nnU-Net不僅可以用作開箱即用的分割工具，還可以用作未來醫(yī)學(xué)分割相關(guān)發(fā)表論文的強(qiáng)大U-Net baseline和平臺(tái)。