由李飛飛教授創(chuàng)辦的公益機(jī)構(gòu) AI4All" target="_blank">AI4All 致力于提高人工智能領(lǐng)域的多樣性和包容性。該組織提供教育和導(dǎo)師計(jì)劃為美國和加拿大的少數(shù)群體人才提供學(xué)習(xí)途徑，AI4All 為高中學(xué)生提供盡早接觸 AI 的機(jī)會(huì)。剛剛，李飛飛發(fā)推贊揚(yáng) AI4All 成員 Amy Jin、斯坦福大學(xué)博士 Serena Yeung 和斯坦福 PAC 團(tuán)隊(duì)的合作者一道在 AI+醫(yī)療領(lǐng)域做出的貢獻(xiàn)：他們合作設(shè)計(jì)了一款軟件來評(píng)估外科醫(yī)生的技能。

PAC 團(tuán)隊(duì)的負(fù)責(zé)人是李飛飛和醫(yī)學(xué)教授 Arnold Milstein，其整合了斯坦福以及其他醫(yī)學(xué)院的一系列跨學(xué)科資源，主要是想用 AI、計(jì)算機(jī)視覺等技術(shù)解決一些醫(yī)療健康中的難題。

該研究論文已在 arXiv 上發(fā)布，一作 Amy Jin 今年 18 歲，最近剛剛高中畢業(yè)，是個(gè)喜歡 hip-hop、小提琴和英國文學(xué)的女孩。而她對(duì)計(jì)算機(jī)科學(xué)的熱情使她成為人工智能領(lǐng)域的 superstar。

據(jù)斯坦福大學(xué)醫(yī)學(xué)院的報(bào)道，Amy Jin 六年級(jí)時(shí)就對(duì) AI 產(chǎn)生了興趣，但直到成為高中生，她對(duì) AI 的熱情才開始燎原，當(dāng)時(shí)她聽到 IBM 科學(xué)家介紹 Watson 超級(jí)計(jì)算機(jī)能夠通過人工智能擴(kuò)展人類在醫(yī)療及其他領(lǐng)域的能力，教會(huì)機(jī)器「思考」和「看見」?！竁atson 能夠成為醫(yī)生的第二雙眼睛」，這使 Amy 震驚又興奮，她認(rèn)為 AI 領(lǐng)域可以產(chǎn)生很多跨學(xué)科的可能性，因此非常有潛力。

Amy Jin 其它兩位斯坦福的導(dǎo)師共同設(shè)計(jì)了一款軟件，可以評(píng)估外科醫(yī)生的技能。

過去兩年，Jin 與斯坦福大學(xué)的導(dǎo)師共同設(shè)計(jì)了一款新的軟件，用于評(píng)估外科醫(yī)生的技能。該軟件的工作原理是：「觀看」外科手術(shù)的視頻，然后追蹤手術(shù)過程中的動(dòng)作、計(jì)算每個(gè)步驟中使用器械的時(shí)長。該創(chuàng)新成果獲得了 NIPS 2017 Machine Learning for Health 研討會(huì)的頂級(jí)研究獎(jiǎng)項(xiàng)。斯坦福大學(xué)醫(yī)學(xué)院 Clinical Excellence Research Center 負(fù)責(zé)人、醫(yī)學(xué)博士 Arnold Milstein、研究論文共同作者預(yù)測該方法將在客觀評(píng)估臨床醫(yī)生的多項(xiàng)臨床技能中實(shí)現(xiàn)新突破。

Milstein 表示：「它提供了一種方式，根據(jù)醫(yī)生的學(xué)習(xí)速度定制外科訓(xùn)練的時(shí)間。以及它提供了一套更客觀的方法來定期評(píng)估外科醫(yī)生的技能，或者在醫(yī)生大手術(shù)期間及時(shí)提醒 Ta 需要休息?！?/p>

Serena Yeung（左）和 Jeff Jopling（右）與 Amy Jin 合作設(shè)計(jì)該軟件。

Amy Jin 在讀高中時(shí)參加了斯坦福 AI 實(shí)驗(yàn)室舉辦的 Outreach Summer Program，該項(xiàng)目旨在鼓勵(lì)年輕女性投入科學(xué)研究。在該項(xiàng)目中，她與 Serena Yeung、Jeff Jopling 等人合作開展了利用 AI 技術(shù)改善醫(yī)療衛(wèi)生的研究。

Serena Yeung 在 AI4All 導(dǎo)師計(jì)劃中負(fù)責(zé)指導(dǎo) Amy Jin，當(dāng)時(shí)她仍是李飛飛和 Arnold Milstein 的博士生，看過 CS231n 2017 的讀者可能會(huì)對(duì)她比較熟。Serena Yeung 對(duì)醫(yī)學(xué)一直很感興趣，而在斯坦福大學(xué)的教育經(jīng)歷使她對(duì)工程、AI 產(chǎn)生了興趣，曾在 Facebook 和 Google 實(shí)習(xí)。后加入 Arnold Milstein 的項(xiàng)目，致力于使用技術(shù)來改善醫(yī)療實(shí)踐。

Jeff Jopling 是醫(yī)學(xué)博士，前 CERC 學(xué)者，他提出使用計(jì)算機(jī)技術(shù)來追蹤外科手術(shù)技能，認(rèn)為手術(shù)技能非常重要。根據(jù) National Academy of Medicine 1999 年的一份報(bào)告，醫(yī)療衛(wèi)生中的安全問題是重點(diǎn)，很高比例的死亡率和傷殘率來源于醫(yī)療過程中的人為誤差。醫(yī)生想利用手術(shù)安全核查表最小化可避免的并發(fā)癥、避免錯(cuò)誤。

Jeff Jopling 稱，很多研究聚焦于改善系統(tǒng)，但醫(yī)生及其技能也很重要。

評(píng)估外科醫(yī)生技能這一項(xiàng)目于 2016 年夏天正式啟動(dòng)，其挑戰(zhàn)在于「教」計(jì)算機(jī)識(shí)別并追蹤手術(shù)工具的移動(dòng)路徑。這是一個(gè)目標(biāo)檢測問題，該領(lǐng)域近年來發(fā)展迅速，李飛飛實(shí)驗(yàn)室功不可沒。

機(jī)器之心Synced圖像分類小程序

定位數(shù)據(jù)點(diǎn)

研究人員開發(fā)了一種算法，教計(jì)算機(jī)從饋入的上千個(gè)數(shù)據(jù)點(diǎn)中學(xué)習(xí)。計(jì)算機(jī)根據(jù)每個(gè)比特的數(shù)據(jù)逐漸調(diào)整，直到達(dá)到可以形成準(zhǔn)確目標(biāo)圖像的程度，在這個(gè)項(xiàng)目中目標(biāo)指的是外科手術(shù)工具。Jin 改進(jìn)了一些目標(biāo)檢測技術(shù)，將其應(yīng)用于外科手術(shù)。她表示，「總的想法是，如果我們可以追蹤、識(shí)別視頻中的工具，我們就能更好地分析工具使用模式及其移動(dòng)。」

為簡單起見，研究人員主要聚焦膽囊切除手術(shù)。這種手術(shù)最多用到 7 種工具。他們拿到了 15 個(gè)相關(guān)手術(shù)視頻，標(biāo)注了其中的 2500 幀，而且為每一幀附加了一個(gè)值，以便計(jì)算機(jī)構(gòu)建工具的視覺圖像，并在手術(shù)野范圍內(nèi)定位它們。他們利用度量來追蹤工具的使用時(shí)間，即何時(shí)使用何種工具、使用了多久，并繪制了每種工具的路徑圖。此外，他們還繪制了熱圖，顯示這些工具在手術(shù)野內(nèi)的分布。嫻熟的外科醫(yī)生通常會(huì)將工具放得比較集中。

研究人員可以根據(jù)視覺信息和數(shù)據(jù)從多個(gè)角度評(píng)估外科醫(yī)生的表現(xiàn)，包括他們的動(dòng)作是否簡潔、每個(gè)步驟的操作是否高效等。接下來，他們請(qǐng)三位斯坦福的醫(yī)生單獨(dú)觀看視頻，并依據(jù)效率、雙手靈活性和對(duì)人體組織的處理等廣泛使用的指標(biāo)按 1-5 分的范圍進(jìn)行打分。

「機(jī)器對(duì)手術(shù)的評(píng)價(jià)機(jī)制與醫(yī)生的評(píng)分機(jī)制相關(guān)。」Yeung 表示。

例如，膽囊切除手術(shù)有一個(gè)關(guān)鍵步驟，醫(yī)生必須夾住并切斷向膽囊供血的膽囊動(dòng)脈和傳輸膽汁的膽囊管。如果操作得當(dāng)，這個(gè)步驟可以防止術(shù)中和術(shù)后出血及膽汁滲漏。如果夾子放錯(cuò)了位置或者松動(dòng)了，病人會(huì)遭受致命的并發(fā)癥。

嫻熟的醫(yī)生可以用較少的動(dòng)作高效地處理這一問題。其中一個(gè)視頻顯示了一名外科醫(yī)生的嫻熟技巧，他/她將剪刀和其他工具放得恰到好處。而在另一段視頻中，一名外科醫(yī)生多用了一個(gè)夾子并努力將其放在適當(dāng)?shù)奈恢?，之后又花了些時(shí)間將其弄開。計(jì)算機(jī)不僅通過查看器械的放置位置和路徑，還通過查看手術(shù)持續(xù)時(shí)間來檢測技能水平的差異。

研究小組將分析結(jié)果——《Tool Detection and Operative Skill Assessment in Surgical Videos Using Region-Based Convolutional Neural Networks》提交給 NIPS 2017 Machine Learning for Health 研討會(huì)，該論文在 120 多份論文中脫穎而出，被選為 10 份 spotlight 論文之一。

進(jìn)一步優(yōu)化

Jopling 表示，項(xiàng)目的下一步是收集 1000 多個(gè)記錄不同手術(shù)的視頻。斯坦福將與猶他州聯(lián)合醫(yī)療中心（Intermountain Healthcare，旗下有 22 家醫(yī)院）合作，共同分析視頻并改進(jìn)這一評(píng)估工具。未來的研究還將考慮外科手術(shù)的復(fù)雜性，例如，有些膽囊切除手術(shù)很簡單，有些卻很難，因?yàn)椴煌颊叩尼t(yī)療情況不同。

他還表示，這項(xiàng)技術(shù)在外科手術(shù)培訓(xùn)中特別有用。外科醫(yī)生檢查受訓(xùn)者表現(xiàn)時(shí)通常一坐就是幾小時(shí)，非常吃力。而自動(dòng)系統(tǒng)可以為他們代勞，還可以在受訓(xùn)者可能出現(xiàn)失誤時(shí)實(shí)時(shí)提醒醫(yī)生。知道醫(yī)生什么時(shí)候開始疲勞、精力不濟(jì)，對(duì)手術(shù)結(jié)果來說非常重要。根據(jù)這個(gè)可以判斷主刀醫(yī)生何時(shí)應(yīng)該休息并由助手接手。

Milstein 向斯坦福大學(xué)外科教授兼主席 Mary Hawn 分享了這項(xiàng)研究，后者非常樂意將完善后的模型提交給美國外科委員會(huì)（American Board of Surgery），作為當(dāng)前委員會(huì)認(rèn)證考試的補(bǔ)充。

但并非所有外科醫(yī)生都樂意讓一臺(tái)機(jī)器來評(píng)價(jià)自己的技術(shù)。甚至有人表示，當(dāng)這么一天到來時(shí)，自己將提前退休。

不過，Yeung 指出，此項(xiàng) AI 技術(shù)可以廣泛應(yīng)用于醫(yī)療領(lǐng)域。例如，該研究組一直在測試用它來監(jiān)控 ICU 病人的活動(dòng)、護(hù)理人員是否遵循了確保病人安全的步驟。這項(xiàng)技術(shù)還能用來監(jiān)控家中虛弱的老人，測試其活動(dòng)和行動(dòng)能力，當(dāng)他們跌倒或發(fā)生其他意外時(shí)提醒其他人。

Yeung 還表示，如今的臨床醫(yī)生、護(hù)士和其他醫(yī)療保健服務(wù)人員都不堪重負(fù)，隨著嬰兒潮一代年齡的增長，這個(gè)問題將變得更加嚴(yán)峻。而人工智能存在巨大潛力，可以幫助我們持續(xù)了解、監(jiān)控正在發(fā)生的事，進(jìn)而幫助醫(yī)療保健服務(wù)人員，防止認(rèn)知過載。

不過，Jin 不會(huì)繼續(xù)參與這項(xiàng)斯坦福的研究。她現(xiàn)在是哈佛的大一新生，跟隨其兄的步伐。雖然沒法再繼續(xù)參與項(xiàng)目，但 Jin 對(duì)該項(xiàng)技術(shù)的后續(xù)發(fā)展仍然充滿期待。

相關(guān)論文：Tool Detection and Operative Skill Assessment in Surgical Videos Using Region-Based Convolutional Neural Networks

論文鏈接：https://arxiv.org/abs/1802.08774

摘要：世界上約有 50 億人無法獲得高質(zhì)量的外科護(hù)理。外科醫(yī)生的技能差異很大，很多接受外科手術(shù)的患者會(huì)遭受并發(fā)癥和本來能避免的傷害。改善外科手術(shù)的訓(xùn)練和反饋機(jī)制可以幫助降低并發(fā)癥的發(fā)生率，其中一半的并發(fā)癥已經(jīng)證明可以被預(yù)防。要做到這一點(diǎn)，重要的是評(píng)估手術(shù)操作技能，手術(shù)過程目前仍需要專家參與，它是手動(dòng)、耗時(shí)且主觀的。

本研究介紹了一種自動(dòng)評(píng)估外科醫(yī)生表現(xiàn)的方法，該方法主要通過基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)追蹤和分析手術(shù)視頻中的工具運(yùn)動(dòng)而完成。為了研究這個(gè)問題，我們引入了一個(gè)新數(shù)據(jù)集 m2cai16-tool-locations，它標(biāo)注了工具的空間界限。雖然以前的方法已經(jīng)解決了工具的存在性檢測問題，但我們的方法是第一種不僅能夠檢測工具的存在性，還能在實(shí)際的腹腔鏡手術(shù)視頻中對(duì)手術(shù)工具進(jìn)行空間定位的方法。

我們的實(shí)驗(yàn)表明該方法既能高效地檢測手術(shù)工具的空間界限，同時(shí)顯著優(yōu)于現(xiàn)有的工具存在性檢測方法。我們進(jìn)一步證明了該方法通過分析手術(shù)工具的使用模式、作業(yè)范圍和作業(yè)有效性來評(píng)估外科手術(shù)質(zhì)量的能力。