文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.2016.03.019
中文引用格式: 鄭志波,江貴平. 基于USB3.0高清內(nèi)窺鏡攝像系統(tǒng)的設(shè)計(jì)[J].電子技術(shù)應(yīng)用,2016,42(3):67-70.
英文引用格式: Zheng Zhibo,Jiang Guiping. Design of high-definition endoscopic camera system based on USB3.0[J].Application of Electronic Technique,2016,42(3):67-70.
0 引言
隨著微型圖像傳感器和成像技術(shù)的不斷發(fā)展,人們對(duì)內(nèi)窺鏡攝像系統(tǒng)的圖像質(zhì)量、傳輸速度和攜帶方便的要求越來(lái)越高,而國(guó)內(nèi)內(nèi)窺鏡由于沒(méi)有掌握微型傳感器的核心技術(shù)和控制電路核心技術(shù),發(fā)展相對(duì)緩慢。因此,研究具有高圖像分辨率、傳輸超速的內(nèi)窺鏡攝像系統(tǒng)具有十分重要的現(xiàn)實(shí)意義。浙江大學(xué)姚陳昀等人設(shè)計(jì)了基于USB接口的高清電子內(nèi)窺鏡系統(tǒng)[1],其采用的是SXGA作為圖像傳感器以及USB2.0作為數(shù)據(jù)傳輸接口,但是由于其采集到的圖像數(shù)據(jù)是經(jīng)過(guò)壓縮的且傳輸速度較慢而無(wú)法滿足當(dāng)前內(nèi)窺鏡攝像系統(tǒng)對(duì)圖像質(zhì)量和數(shù)據(jù)傳輸速度的需要。因此,本文采用Cypress公司的CYUSB3065作為EZ-USB CX3橋接控制器的主芯片以及OmniVision公司的OV5640作為圖像傳感器的主芯片設(shè)計(jì)了一種基于USB3.0接口的高清內(nèi)窺鏡攝像系統(tǒng)。系統(tǒng)具有低價(jià)高性能便攜等特點(diǎn),同時(shí)可以滿足鄉(xiāng)鎮(zhèn)醫(yī)療機(jī)構(gòu)或第三世界醫(yī)療機(jī)構(gòu)的需要。
1 攝像系統(tǒng)總體設(shè)計(jì)
本設(shè)計(jì)主要由電源管理系統(tǒng)、圖像采集與圖像處理系統(tǒng)和USB3.0傳輸系統(tǒng)三大模塊組成。攝像系統(tǒng)的總體框圖如圖1所示。電源管理系統(tǒng)是為各個(gè)模塊提供不同的電壓;圖像采集與圖像處理系統(tǒng)是通過(guò)攝像頭采集并獲取需要的視頻圖像數(shù)據(jù),實(shí)現(xiàn)對(duì)攝像頭各種參數(shù)的設(shè)置;USB3.0傳輸系統(tǒng)是將經(jīng)過(guò)處理系統(tǒng)的圖像數(shù)據(jù)轉(zhuǎn)化為符合USB視頻類(USB Video Class,UVC)協(xié)議格式的數(shù)據(jù),并通過(guò)USB3.0接口傳輸給PC機(jī)。與其他總線接口相比,USB3.0具有很好的適應(yīng)性,且不需要考慮接口的兼容性。由于采用了UVC協(xié)議,使得本系統(tǒng)能實(shí)現(xiàn)設(shè)備的免驅(qū),這也是USB最突出的優(yōu)勢(shì)[2]。
2 攝像系統(tǒng)硬件設(shè)計(jì)
2.1 圖像采集與圖像處理系統(tǒng)的設(shè)計(jì)
本設(shè)計(jì)采用OV5640作為圖像采集與圖像處理系統(tǒng)的核心芯片。OV5640是一個(gè)高清CMOS圖像傳感器,它既能進(jìn)行圖像采集也能進(jìn)行圖像處理,且具有靈敏度高、串?dāng)_低、噪音低、圖像清晰度高、視頻捕捉功能強(qiáng)等優(yōu)點(diǎn),此外,為了使醫(yī)生能更清楚地觀察內(nèi)窺鏡下圖像的細(xì)節(jié)信息,還要求采集到的圖像是無(wú)損非壓縮的,這些都是本設(shè)計(jì)選用此芯片的原因。
OV5640的內(nèi)部結(jié)構(gòu)如圖2所示[3]。當(dāng)圖像傳感器通電后,定時(shí)發(fā)生器會(huì)輸出固定時(shí)鐘信號(hào)來(lái)訪問(wèn)圖像行陣列,之后被采樣的像素?cái)?shù)據(jù)通過(guò)放大器校正偏移量并與相應(yīng)的增益相乘,得到的數(shù)據(jù)經(jīng)模數(shù)轉(zhuǎn)換后將模擬信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)。從圖像傳感器核心模塊(即經(jīng)過(guò)ADC轉(zhuǎn)換后)出來(lái)的數(shù)字信號(hào)經(jīng)過(guò)校正、去噪、自動(dòng)對(duì)焦、白平衡等處理后,進(jìn)入圖像輸出接口,由移動(dòng)行業(yè)處理器接口(Mobile Industry Processor Interface,MIPI)輸出串行圖像數(shù)據(jù),并與EZ-USB CX3橋接控制器的MIPI CSI-2接口相連接。
2.2 USB3.0傳輸系統(tǒng)的設(shè)計(jì)
EZ-USB CX3橋接控制器主要用于數(shù)字?jǐn)z像頭、醫(yī)療成像設(shè)備和USB顯微鏡等設(shè)備中。本設(shè)計(jì)使用EZ-USB CX3橋接控制器來(lái)進(jìn)行圖像數(shù)據(jù)傳輸,主要采用以下主要特性來(lái)實(shí)現(xiàn)攝像系統(tǒng):支持5 Gb/s USB3.0 PHY;MIPI CIS-2接口支持4個(gè)數(shù)據(jù)通道且每個(gè)通道支持1 Gb/s,完成與圖像傳感器的配置;支持UYVY視頻數(shù)據(jù)格式;連接時(shí)鐘頻率為400 kHz的I2C外設(shè)與UART外設(shè)。與USB2.0接口相比,USB3.0接口的數(shù)據(jù)傳輸速率理論值可達(dá)5.0 Gb/s,采用的是全雙工、四線差分信號(hào)數(shù)據(jù)傳輸,此外除了有2個(gè)用于USB2.0數(shù)據(jù)傳輸信號(hào)外,還有4個(gè)用于超速數(shù)據(jù)傳輸信號(hào)[4]?;谝陨蠋c(diǎn)原因,選用CYUSB3065作為EZ-USB CX3橋接控制器主芯片來(lái)設(shè)計(jì)高清內(nèi)窺鏡攝像系統(tǒng)。USB3.0傳輸模塊系統(tǒng)框圖如圖3所示[5]。
2.2.1 MIPI CSI-2 接口的設(shè)計(jì)
由于攝像機(jī)的應(yīng)用比較復(fù)雜,因此對(duì)圖像傳感器要求更高的分辨率。該要求會(huì)加大并行圖像傳感器的極限值,而這些接口難以擴(kuò)展,并需要多個(gè)互聯(lián)。因此,MIPI協(xié)會(huì)定義了攝像機(jī)串行接口2(CSI-2)標(biāo)準(zhǔn),以便提供功能強(qiáng)大、功耗低、抗干擾好且高速的標(biāo)準(zhǔn)串行接口解決圖像傳感器分辨率的問(wèn)題。
MIPI CSI-2 接口是一個(gè)既能傳輸數(shù)據(jù)信號(hào)也能傳輸時(shí)鐘信號(hào)的單向差分串行接口,每次可以傳輸4個(gè)數(shù)據(jù)通道和1個(gè)時(shí)鐘通道,且數(shù)據(jù)傳輸速率可達(dá)到1 Gb/s[6]。在本設(shè)計(jì)中,MIPI CSI-2控制器主要負(fù)責(zé)將圖像傳感器與CX3連接,并從該器件上讀取數(shù)據(jù)。因圖像傳感器OV5640提供2-lane MIPI數(shù)據(jù)傳輸[7],所以本文只選取了EZ-USB CX3 MIPI 的2-lane模式傳輸圖像數(shù)據(jù)。
在配置完成后,MIPI CSI-2控制器將來(lái)自圖像傳感器的串行圖像數(shù)據(jù)分解,然后將其轉(zhuǎn)換成并行數(shù)據(jù),再通過(guò)并行接口發(fā)送該數(shù)據(jù)。此接口提供下面幾個(gè)信號(hào)[8]:HREF,行有效;VSYNC,幀有效;PCLK,像素時(shí)鐘;DATA,圖像數(shù)據(jù)的16個(gè)數(shù)據(jù)線。
2.2.2 GPIF II和DMA模塊的設(shè)計(jì)
GPIF II模塊使用了一個(gè)狀態(tài)機(jī)讀取MIPI CSI-2控制器的并行接口輸出的視頻數(shù)據(jù),DMA模塊展示數(shù)據(jù)輸入和輸出方式。
由于MIPI CSI-2 RX接口是一種沒(méi)有流量控制的接口,在插座填充或清除DMA緩沖區(qū)后會(huì)有一個(gè)時(shí)間延遲(多至幾μs),所以通過(guò)使用多個(gè)GPIF線程來(lái)解決延遲問(wèn)題。GPIF模塊有4個(gè)線程,但每次只能是其中一個(gè)線程可以傳輸數(shù)據(jù)。在既解決延遲問(wèn)題又不浪費(fèi)線程情況下,本文選取了2個(gè)線程。使用計(jì)數(shù)器來(lái)跟蹤讀入插座的數(shù)據(jù)量,當(dāng)計(jì)數(shù)器的值達(dá)到極限值(8183),線程就會(huì)進(jìn)行切換。計(jì)數(shù)器值的設(shè)置如下:DMA緩沖區(qū)的大小為8 184個(gè)16位字節(jié),數(shù)據(jù)總線的寬度為16位,根據(jù)式(1)可知DMA緩沖區(qū)的計(jì)數(shù)器的數(shù)值設(shè)為8 183。
2.3 電源管理系統(tǒng)的設(shè)計(jì)
本文選用的USB3.0_MICRO-B接口除了能夠超速傳輸數(shù)據(jù)外,還為整個(gè)系統(tǒng)提供電源來(lái)源。其硬件電路如圖4所示,其引腳VBUS最大輸入電壓為6 V,經(jīng)過(guò)2 A降壓型DC/DC轉(zhuǎn)換芯片XC9243后,分別得到3.3 V、2.8 V、1.8 V、1.5 V、1.2 V工作電壓。
根據(jù)芯片XC9243提供的輸出電壓值與反饋電阻之間的關(guān)系式(2),可得出各種所需提供的工作電壓值如表1所示。
3 攝像系統(tǒng)軟件設(shè)計(jì)
軟件設(shè)計(jì)主要包括圖像采集與圖像處理系統(tǒng)驅(qū)動(dòng)程序的設(shè)計(jì)和USB3.0傳輸控制的設(shè)計(jì)。CX3固件是固化在芯片CYUSB3065內(nèi)部的程序代碼,主要負(fù)責(zé)控制和協(xié)調(diào)集成電路的功能以及響應(yīng)上位機(jī)請(qǐng)求命令。
3.1 圖像采集系統(tǒng)驅(qū)動(dòng)程序的設(shè)計(jì)
在完成硬件設(shè)計(jì)后,要能夠獲取圖像數(shù)據(jù)就必須進(jìn)行軟件驅(qū)動(dòng)設(shè)計(jì),在驅(qū)動(dòng)中需要通過(guò)I2C接口對(duì)圖像傳感器OV5640實(shí)現(xiàn)控制。首先對(duì)I2C接口模塊進(jìn)行初始化并加載好所需的數(shù)據(jù),然后對(duì)I2C的WR、RD等接口進(jìn)行定義且等候圖像傳感器的驅(qū)動(dòng)。在驅(qū)動(dòng)完成之后,再通過(guò)I2C接口對(duì)整個(gè)OV5640進(jìn)行初始化。
3.2 CX3固件架構(gòu)設(shè)計(jì)
CX3固件包括CX3硬件模塊的初始化,圖像傳感器OV5640和MIPI CSI-2控制器的配置,器件的枚舉,UVC特定請(qǐng)求的處理,通過(guò)I2C接口將視頻控制設(shè)置傳輸給圖像傳感器,在視頻數(shù)據(jù)流中添加UVC頭數(shù)據(jù)以及將帶有頭數(shù)據(jù)的視頻數(shù)據(jù)提交給USB等內(nèi)容。其設(shè)計(jì)構(gòu)架如圖5所示。
主程序main函數(shù)是程序運(yùn)行的入口,主要用于啟動(dòng)CX3器件及實(shí)時(shí)操作系統(tǒng)(Real-Time Operating System,RTOS)內(nèi)核,設(shè)置緩存以及配置CX3的I/O口。函數(shù)CyU3PdeviceInit用來(lái)初始化CX3器件,如果初始化成功,就用函數(shù)CyU3PdeviceCacheControl初始化CPU緩存(I-cache);如果不成功則報(bào)錯(cuò),重新初始化CX3器件。在配置成功后,函數(shù)CyU3PkernelEntry將初始化RTOS。啟動(dòng)RTOS,在函數(shù)CyFXApplicationDefine中創(chuàng)建線程,實(shí)現(xiàn)圖像傳感器OV5640和MIPI CSI-2控制器之間的交互。本設(shè)計(jì)創(chuàng)建了一個(gè)UVC_app_thread應(yīng)用線程,接收?qǐng)D像傳感器的串行數(shù)據(jù)。
4 結(jié)論
本文第2節(jié)和第3節(jié)完成了整個(gè)系統(tǒng)的硬件設(shè)計(jì)和軟件設(shè)計(jì),圖6所示為從內(nèi)窺鏡攝像系統(tǒng)(Endoscopic Camera System,ECS)媒體播放器軟件中截取的圖片,通過(guò)對(duì)亮度、對(duì)比度、色調(diào)、飽和度、清晰度、伽馬、白平衡的設(shè)置,可以獲取所需要的圖像清晰度。
內(nèi)窺鏡攝像系統(tǒng)的結(jié)構(gòu)小巧玲瓏,重量輕,非常方便攜帶。通過(guò)對(duì)內(nèi)窺鏡攝像系統(tǒng)軟硬件的設(shè)計(jì)以及相應(yīng)的調(diào)試,設(shè)計(jì)的這款攝像系統(tǒng)能夠獲取全高清的圖像、數(shù)據(jù)傳輸速度快,成本低廉,攜帶方便。就目前國(guó)內(nèi)醫(yī)療器械發(fā)展?fàn)顩r來(lái)看,該攝像系統(tǒng)的實(shí)現(xiàn)具有很強(qiáng)的實(shí)用價(jià)值以及很理想的經(jīng)濟(jì)效益。
參考文獻(xiàn)
[1] 姚陳昀.基于USB接口的高清電子內(nèi)窺鏡系統(tǒng)設(shè)計(jì)[D].杭州:浙江大學(xué)光電信息工程學(xué)院,2014.
[2] 殷開(kāi)亮.基于UVC協(xié)議的USB3.0圖像采集系統(tǒng)設(shè)計(jì)[D].蘇州:蘇州大學(xué)電子與通信工程學(xué)院,2014.
[3] 陳燁.基于ARM的水雨情監(jiān)測(cè)裝置的設(shè)計(jì)[D].武漢:武漢理工大學(xué)自動(dòng)化學(xué)院,2014.
[4] Zhou Shilei,Guan Yalin,Tang Xinkun.Signal integrity analysis of high-speed signal connector USB3.0[J].Advanced Materials Research,2013,760-762,320-324.
[5] Lian Pingping.A novel USB3.0 high definition 3D video camera based on ARM[J].Advanced Materials Research,2014,1037:474-477.
[6] MIPI Alliance Specification for Camera Serial Interface 2(CSI-2)/DataSheet[M].MIPI Alliance Inc.,2009.
[7] OV5640 1/4‘’ color CMOS QSXGA(5 megapixel) image sensor /DataSheet[M].OmniVision Technologies Inc.,2011.
[8] Cypress.How to interface a MIPI CSI-2 image sensor with EZ-USB CX3[DB/OL].http://www.cypress.com/documentation/application-notes,2015.10.14/2015.11.13.