近日，法國PixeeMedical公司的增強(qiáng)現(xiàn)實(shí)（AR）膝關(guān)節(jié)置換術(shù)導(dǎo)航系統(tǒng)Knee+獲得了CE認(rèn)證，這是首個獲批在全膝關(guān)節(jié)置換術(shù)中使用增強(qiáng)現(xiàn)實(shí)（AR）的骨科導(dǎo)航系統(tǒng)。與此類似的增強(qiáng)現(xiàn)實(shí)技術(shù)在手術(shù)導(dǎo)航中的應(yīng)用，正在全球各地蓬勃發(fā)展。增強(qiáng)現(xiàn)實(shí)輔助手術(shù)技術(shù)對于術(shù)前規(guī)劃、術(shù)中引導(dǎo)和術(shù)后康復(fù)都有重要的意義，本文將從基本概念、技術(shù)原理、市場情況、主要公司和代表性產(chǎn)品幾個方面進(jìn)行說明，并對其未來的發(fā)展進(jìn)行探討。

　　一、基本概念

　　1、增強(qiáng)現(xiàn)實(shí)（AR）

　　增強(qiáng)現(xiàn)實(shí)（AR）是將計算機(jī)處理后的虛擬模型圖像疊加到現(xiàn)實(shí)場景中，對現(xiàn)實(shí)場景進(jìn)行增強(qiáng)的一種技術(shù)。它增強(qiáng)了人對周圍真實(shí)世界的感知，并把模擬的場景、物體以及相關(guān)提示信息（例如聲音、視頻、圖形或GPS數(shù)據(jù)）融入現(xiàn)實(shí)場景，從而起到增強(qiáng)效果。增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)的基礎(chǔ)學(xué)科是計算機(jī)視覺（computervision）。它使用了顯示器、照相機(jī)和傳感器等工具，將數(shù)字信息疊加到現(xiàn)實(shí)世界中。

　　2、手術(shù)導(dǎo)航系統(tǒng)

　　手術(shù)導(dǎo)航是將病人手術(shù)前或手術(shù)中的影像資料與病人解剖結(jié)構(gòu)準(zhǔn)確對應(yīng)，在手術(shù)中跟蹤器械并將其位置在病人影像上以虛擬探針的形式實(shí)時更新顯示的一種技術(shù)。手術(shù)導(dǎo)航使醫(yī)生對器械的位置一目了然，讓手術(shù)更快速、更精確、更安全。經(jīng)過多年的發(fā)展，手術(shù)導(dǎo)航已成為神經(jīng)外科治療的標(biāo)準(zhǔn)，在其他領(lǐng)域也逐漸普及。目前在美國手術(shù)導(dǎo)航市場上，每年執(zhí)行的手術(shù)達(dá)到578，375例，到2025年預(yù)計將增長到718，224例。在美國，手術(shù)導(dǎo)航最常用在神經(jīng)外科手術(shù)，約占病例總數(shù)的43.3％；在歐洲，最常見的是全膝關(guān)節(jié)置換術(shù)（TKA）。

　　二、技術(shù)原理

　　增強(qiáng)現(xiàn)實(shí)手術(shù)導(dǎo)航系統(tǒng)包括三個核心：虛擬圖像或環(huán)境建模、虛擬環(huán)境和現(xiàn)實(shí)空間配準(zhǔn)和將虛擬環(huán)境和真實(shí)環(huán)境結(jié)合起來的顯示技術(shù)。

　　1、虛擬圖像或環(huán)境建模

　　AR系統(tǒng)利用CT或MRI斷層成像中解剖結(jié)構(gòu)之間的顏色或紋理區(qū)別以及血管造影，在計算機(jī)中完成表面下目標(biāo)的3D重建。非真實(shí)渲染或反轉(zhuǎn)現(xiàn)實(shí)技術(shù)可以改善可視化和深度感知。

　　2、虛擬環(huán)境和現(xiàn)實(shí)空間配準(zhǔn)

　　配準(zhǔn)可以通過多種手段完成，基于幀技術(shù)的三維笛卡爾坐標(biāo)系統(tǒng)（Cartesiansystem）可以確定成像設(shè)備的位置和姿態(tài)。

　　3、將虛擬環(huán)境和真實(shí)環(huán)境結(jié)合起來的顯示技術(shù)

　　顯示技術(shù)廣義上可以分為頭戴式顯示（HMD）、增強(qiáng)型外部顯視器、增強(qiáng)型光學(xué)系統(tǒng)、增強(qiáng)型窗口顯示和圖像投影。運(yùn)用HMD既可以將虛擬環(huán)境覆蓋于用戶視野下的真實(shí)世界（光學(xué)透視），又可以覆蓋到真實(shí)環(huán)境的視頻源中（視頻透視）。增強(qiáng)顯示器是簡單的獨(dú)立屏幕將虛擬內(nèi)容顯示在源于真實(shí)世界的視頻上。光學(xué)增強(qiáng)顯示是指直接增強(qiáng)手術(shù)顯微鏡或雙筒觀察鏡的目鏡。窗口增強(qiáng)顯示是將一塊半透明的屏幕直接放置在手術(shù)部位上方，允許在現(xiàn)實(shí)物體上方屏幕直接顯示虛擬對象。虛擬環(huán)境可以用投影機(jī)直接投射到患者身上。

　　三、市場情況

　　醫(yī)療市場的增強(qiáng)現(xiàn)實(shí)（AR）應(yīng)用增長強(qiáng)勁，預(yù)計復(fù)合年增長率高達(dá)33.36％，市場價值從2018年的6.27億美元預(yù)計將增長到2024年的34.97億美元。由于AR技術(shù)的應(yīng)用范圍廣泛，從評估手術(shù)準(zhǔn)備到微創(chuàng)外科手術(shù)和康復(fù)，正獲得醫(yī)生的廣泛關(guān)注。此外，根據(jù)ResearchandMarkets的數(shù)據(jù)，到2025年全球手術(shù)影像市場規(guī)模預(yù)計將達(dá)到17億美元，在預(yù)測期內(nèi)以復(fù)合年增長率5.4％的速度增長。增強(qiáng)現(xiàn)實(shí)（AR）在醫(yī)療保健領(lǐng)域的最新作用和整合正在增強(qiáng)外科手術(shù)經(jīng)驗(yàn)。實(shí)時可視化平臺的快速發(fā)展也帶來了更好的手術(shù)治療。此外，政府資金的增加、運(yùn)動損傷的患病率的增長以及老年人口的擴(kuò)大是促使全球外科影像市場增長的因素?；趹?yīng)用程序，市場細(xì)分為神經(jīng)外科、骨外科和創(chuàng)傷外科、心臟和血管外科、普外科和其他外科。

　　四、主要公司和代表性產(chǎn)品

　　1、PixeeMedical公司的Knee+系統(tǒng)

　　PixeeMedical公司于2017年10月在法國成立，公司目標(biāo)是利用現(xiàn)有的先進(jìn)計算機(jī)視覺和人工智能技術(shù)，創(chuàng)造高性能的計算機(jī)輔助手術(shù)解決方案，同時在具有挑戰(zhàn)性的衛(wèi)生系統(tǒng)環(huán)境中保持價格低廉。Knee+近期剛剛獲得增強(qiáng)現(xiàn)實(shí)膝關(guān)節(jié)置換術(shù)導(dǎo)航的CE認(rèn)證。這是第一個在全膝關(guān)節(jié)置換術(shù)中使用增強(qiáng)現(xiàn)實(shí)（AR）的骨科導(dǎo)航系統(tǒng)。目前正在尋求FDA對該系統(tǒng)的510（k）批準(zhǔn)。

　　Knee+專利技術(shù)結(jié)合了專有的計算機(jī)視覺和深度學(xué)習(xí)算法，可以與現(xiàn)成的AR眼鏡一起使用，在手術(shù)過程中跟蹤儀器和植入物。安裝在智能眼鏡中的導(dǎo)航軟件與配有可在高壓釜中滅菌標(biāo)記的縮小尺寸MIS儀器結(jié)合在一起。大小和韌帶平衡功能可以快速集成到產(chǎn)品中。作為笨重和昂貴的機(jī)器人系統(tǒng)的替代品，Knee+使用簡單，經(jīng)濟(jì)有效，不需要術(shù)前DICOM或一次性設(shè)備。未來的應(yīng)用可能被引入肩關(guān)節(jié)和髖關(guān)節(jié)手術(shù)。

　　2、Augmedics公司的XVisionSpine系統(tǒng)

　　Augmedics是一家致力于開發(fā)外科治療技術(shù)的公司，成立于2014年。首款產(chǎn)品xvision-spine（XVS）系統(tǒng)是一種增強(qiáng)現(xiàn)實(shí)手術(shù)導(dǎo)航系統(tǒng)。借助XVS系統(tǒng)，外科醫(yī)生可以看到皮膚和組織下手術(shù)工具的實(shí)時位置和軌跡，并在患者體內(nèi)導(dǎo)航，從而使手術(shù)變得更加輕松，快捷和安全。XVS使用獲得專利的透視光學(xué)器件，以手術(shù)精度和出色的深度感知實(shí)時將3D圖像以及軸向和矢狀平面投影到外科醫(yī)生的視網(wǎng)膜上。

　　XVS系統(tǒng)包括一個透明的近眼顯示頭戴式耳機(jī)，并具有傳統(tǒng)導(dǎo)航系統(tǒng)的所有元素。它實(shí)時準(zhǔn)確地確定手術(shù)工具的位置，并將其疊加在患者的計算機(jī)斷層掃描數(shù)據(jù)上。然后，使用透明的近眼顯示頭戴式耳機(jī)將導(dǎo)航數(shù)據(jù)投影到外科醫(yī)生的視網(wǎng)膜上，從而使外科醫(yī)生可以同時注視患者并查看導(dǎo)航數(shù)據(jù)，而無需將眼睛轉(zhuǎn)移到遠(yuǎn)程屏幕上。在芝加哥拉什大學(xué)醫(yī)學(xué)中心進(jìn)行的一項(xiàng)研究中，發(fā)現(xiàn)XVision可將外科醫(yī)生的準(zhǔn)確性提高到令人印象深刻的98.9％。整個系統(tǒng)的精度約為1.4毫米，達(dá)到美國FDA的2毫米以下的要求。

　　3、VOSTARS視頻光學(xué)透視增強(qiáng)現(xiàn)實(shí)手術(shù)系統(tǒng)

　　VOSTARS是一項(xiàng)創(chuàng)新行動項(xiàng)目，獲得了“地平線2020計劃”的資助。歐洲科學(xué)家開發(fā)的增強(qiáng)現(xiàn)實(shí)（AR）手術(shù)護(hù)目鏡能夠一次性看到X射線圖像和所有關(guān)鍵數(shù)據(jù)與解剖結(jié)構(gòu)完美地3D疊加在一起，并同時自由移動。VOSTARS視頻光學(xué)透視增強(qiáng)現(xiàn)實(shí)手術(shù)系統(tǒng)將在外科醫(yī)師的視野內(nèi)方便地顯示患者的麻醉數(shù)據(jù)、心率、體溫、血壓和呼吸頻率等。手術(shù)準(zhǔn)確性將顯著提高，同時減少了手術(shù)時間（每三個小時的手術(shù)可以節(jié)省20分鐘），而且減少了麻醉下的時間以及任何手術(shù)所涉及的成本。該項(xiàng)目計劃2022年實(shí)現(xiàn)量產(chǎn)。

　　該系統(tǒng)結(jié)合了兩種現(xiàn)有的AR技術(shù)：視頻透視（VST）和光學(xué)透視（OST）。單獨(dú)使用VST和OST都不適合對活病人進(jìn)行手術(shù)。諸如MicrosoftHololens之類的OST系統(tǒng)使用半透明的鏡面，通過將計算機(jī)生成的圖像疊加在用戶的視野上，為用戶提供自然環(huán)境的直接視圖。諸如OcculusRift之類的VST系統(tǒng)通過封閉的頭戴式顯示器（HMD）以及立體攝像機(jī)和屏幕，將用戶淹沒在虛擬世界中。

　　4、TrueVision?3DSurgical系統(tǒng)

　　TrueVision?3DSurgical是全球數(shù)字3D可視化的領(lǐng)導(dǎo)者，是顯微手術(shù)的風(fēng)向標(biāo)。TrueVision?成立于2003年，總部位于美國加利福尼亞州圣巴巴拉，通過自主研發(fā)的數(shù)字3D可視化平臺，幫助醫(yī)生進(jìn)行顯微手術(shù)。公司開發(fā)的智能、實(shí)時、3D可視化手術(shù)和計算機(jī)輔助指導(dǎo)平臺已獲得專利。

　　該系統(tǒng)使外科醫(yī)生能以3D方式錄制手術(shù)過程并以流媒體方式進(jìn)行手術(shù)視頻直播，使之成為一個全新的教學(xué)工具。公司開發(fā)的顯微外科手術(shù)的3D指導(dǎo)應(yīng)用，可以提高手術(shù)效率和對患者的治療效果。該系統(tǒng)可用于顯微外科、眼科和神經(jīng)病學(xué)，可以與多種應(yīng)用平臺相整合，在某些平臺還可以與機(jī)器人手術(shù)相集成。全球上百家主流醫(yī)院和機(jī)構(gòu)均在使用該系統(tǒng)。

　　五、增強(qiáng)現(xiàn)實(shí)（AR）手術(shù)導(dǎo)航系統(tǒng)未來的發(fā)展探討

　　增強(qiáng)現(xiàn)實(shí)在臨床手術(shù)中的應(yīng)用橫跨計算機(jī)科學(xué)、計算機(jī)視覺、傳感器、通信、臨床醫(yī)學(xué)、人體工程學(xué)等諸多學(xué)科，技術(shù)涉及面極廣。從下面的增強(qiáng)現(xiàn)實(shí)（AR）輔助手術(shù)路線圖中可以看到：未來追蹤技術(shù)和圖像處理將更偏向以深度學(xué)習(xí)為代表的智能技術(shù)，顯示器和傳感器將更偏向于與人體器官高度關(guān)聯(lián)的技術(shù)，如視網(wǎng)膜顯示器和人機(jī)共生技術(shù)。

　　同時增強(qiáng)現(xiàn)實(shí)輔助手術(shù)的發(fā)展也存在挑戰(zhàn)和阻礙，如針對某些顯示技術(shù)，將3D虛擬對象顯示成真實(shí)世界的圖像時存在挑戰(zhàn)；虛擬環(huán)境和真實(shí)環(huán)境的時間同步是所有AR系統(tǒng)的另一個挑戰(zhàn)，特別是快速透視變化；在手術(shù)的過程中，在有些情況下，圖像復(fù)合需要專業(yè)的計算機(jī)團(tuán)隊(duì)來執(zhí)行；增強(qiáng)現(xiàn)實(shí)手術(shù)導(dǎo)航系統(tǒng)與相關(guān)設(shè)備和解決方案之間的兼容性、互操作性有待優(yōu)化提高；數(shù)據(jù)隱私問題等。

　　結(jié)語

　　醫(yī)學(xué)手術(shù)導(dǎo)航是增強(qiáng)現(xiàn)實(shí)技術(shù)的重要應(yīng)用之一。在圖像引導(dǎo)手術(shù)時代，增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)代表了將引導(dǎo)系統(tǒng)融合到手術(shù)工作流程中的下一個前沿。隨著顯示技術(shù)和交互技術(shù)的快速發(fā)展，在現(xiàn)代外科手術(shù)室中，增強(qiáng)現(xiàn)實(shí)（AR）的作用將會越來越大。