《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 模擬設(shè)計(jì) > 業(yè)界動(dòng)態(tài) > 斯坦福研發(fā)4D攝像頭 強(qiáng)化光場攝像機(jī)畫面及視場效果

斯坦福研發(fā)4D攝像頭 強(qiáng)化光場攝像機(jī)畫面及視場效果

2017-08-14
關(guān)鍵詞: 4D攝像頭 斯坦福

  據(jù)外媒報(bào)道,斯坦福大學(xué)及加州大學(xué)圣地亞哥分校(University of California San Diego,UCSD)研發(fā)了一款單中心透鏡(monocentric lens),并將該透鏡與多個(gè)采用了微透鏡陣列(microlens array)的感器相連,大幅提升了光場(light field,LF)所能捕獲的視場(field of view,F(xiàn)OV)——該款攝像頭能生成4D影像,可捕獲138°視場范圍內(nèi)的信息。

1502710329596914.jpg

  該攝像頭被用于首款采用單鏡頭、寬視場(也有譯為“廣視域”,wide field of view)的光場攝像機(jī)中,可產(chǎn)生信息豐富的影像及視頻幀,進(jìn)而使機(jī)器人能更好地執(zhí)行全球?qū)Ш讲⒘私馕锞啵╫bject distance)及表面紋理(surface texture)等特定環(huán)境信息。據(jù)研究人員預(yù)計(jì),未來該項(xiàng)技術(shù)將被應(yīng)用于自動(dòng)駕駛車輛中并強(qiáng)化其性能。此外,該項(xiàng)技術(shù)還將被用于虛擬現(xiàn)實(shí)(VR)技術(shù)。研究人員在今年7月舉辦的2017計(jì)算機(jī)視覺與模式識別會(huì)議(CVPR 2017)上展示了該項(xiàng)新技術(shù)。

  據(jù)斯坦福大學(xué)電氣工程學(xué)教授Gordon Wetzstein透露:“對計(jì)算機(jī)視覺應(yīng)用的拓展而言,光場捕獲及處理能力發(fā)揮著重要的作用,可提供豐富的紋理、深度信息(depth information),簡化任務(wù)的復(fù)雜程度。盡管光場攝像頭已實(shí)現(xiàn)商業(yè)化應(yīng)用,但當(dāng)前的設(shè)備尚無法提供寬視場影像,這是由于其在一定程度上受限于魚眼透鏡(fisheye lenses),從根本上講,后者的入瞳直徑(entrance pupil diameter)受限,進(jìn)而嚴(yán)重制約了深度靈敏度(depth sensitivity)?!?/p>

1502710329757398.jpg

  他還表示:“在這項(xiàng)研究中,我們談到了一款全新緊湊型光學(xué)設(shè)計(jì),將單中心透鏡與多個(gè)采用了微透鏡陣列的傳感器相連接,將光場攝像頭的視場捕獲能力提升到空前水平。得益于優(yōu)異的光場表現(xiàn)能力,研究團(tuán)隊(duì)提出了一套全新的方法,高效地實(shí)現(xiàn)了球面透鏡(spherical lens)與平面?zhèn)鞲衅鳎╬lanar sensors)的連接,取代了價(jià)格高昂、體積龐大的纖維束(fiber bundles)。”

  該團(tuán)隊(duì)制作了一部單傳感器光場攝像機(jī)樣機(jī),旋轉(zhuǎn)與固定式主透鏡相對的傳感器,進(jìn)而模擬寬視場的多傳感器情境。最終,該團(tuán)隊(duì)還談到了一套處理工具鏈(processing toolchain),其中包括:一款實(shí)用的球面光場參數(shù)設(shè)定。此外,該團(tuán)隊(duì)還論證了關(guān)于室內(nèi)及室外全景(indoor and outdoor panoramas with)的深度估算(depth estimation)及捕獲后重新聚焦(post-capture refocus),其4D影像的像素值為15 × 15 × 1600 × 200(72 MPix),視場為138°。

  Gordon Wetzstein教授與加州大學(xué)圣地亞哥分校的電氣工程學(xué)教授Joseph Ford開展合作,共同推動(dòng)該研究項(xiàng)目。加州大學(xué)圣地亞哥分校的研究人員設(shè)計(jì)了一款球面鏡,可為該攝像頭提供極寬的視場,其視場涵蓋了攝像頭周邊近三分之一的區(qū)域。

  Ford教授所帶領(lǐng)的團(tuán)隊(duì)早前參與了美國國防部高級研究計(jì)劃局(DARPA)的“SCENICC”計(jì)劃并研發(fā)了一款球面鏡,旨在打造一款緊湊型視頻攝像頭,該產(chǎn)品可捕獲360度高清全景影像,各視頻幀數(shù)可達(dá)1.25億像素量(125 megapixels)。在該項(xiàng)目中,光導(dǎo)纖維束(fiber optic bundles)所用視頻攝像頭將球面影像與傳統(tǒng)的平面影像焦點(diǎn)平面(flat focal planes)相結(jié)合,進(jìn)而提升其畫面性能,但其成本較高。

1502710329651222.jpg

  Dansereau教授

  新款攝像頭采用了一種球面透鏡,可借助小晶體及數(shù)字信號處理來消除纖維束。Ford教授實(shí)驗(yàn)室的光學(xué)設(shè)計(jì)與系統(tǒng)集成硬件技術(shù)與Wetzstein實(shí)驗(yàn)室的信號處理及算法技術(shù)的結(jié)合產(chǎn)生了一套數(shù)字化方案,在產(chǎn)生極寬的影像的同時(shí)提升其圖片分辨率。

  該款攝像頭還依賴于斯坦福大學(xué)研發(fā)的光場攝影(light field photography)技術(shù),可提供4D影像。該款攝像頭可捕獲射向透鏡的雙軸線方向的光線,并將該光照信息與2D影像相結(jié)合。光場攝影的另一項(xiàng)特點(diǎn)是在捕獲影像后可對影像重新聚焦,因?yàn)樵撚跋癜ü庠次恢眉肮庠捶较颍╨ight position and direction)。機(jī)器人或?qū)⒉捎迷擁?xiàng)技術(shù),使其視野不受雨水及其他遮擋物的影響。

  該款攝像頭像常規(guī)攝像頭一樣,能夠遠(yuǎn)距離運(yùn)行,其設(shè)計(jì)旨在提升特寫影像(close-up images)的品質(zhì)。作為虛擬現(xiàn)實(shí)系統(tǒng)的一部分,其深度信息或?qū)⑸筛嗟默F(xiàn)實(shí)場景的無縫效果圖,以便更好地為實(shí)現(xiàn)這類場景與虛擬部件的一體化提供支持。

  目前,該款攝像頭處于概念驗(yàn)證階段,該團(tuán)隊(duì)計(jì)劃了制作一款緊湊型樣機(jī),用于在機(jī)器人上進(jìn)行測試。該研究由美國國家科學(xué)基金會(huì)(NSF)/英特爾視覺及體驗(yàn)運(yùn)算伙伴項(xiàng)目(Intel Partnership on Visual and Experiential Computing)提供資金。


本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時(shí)通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。