眼睛對于包括人類在內(nèi)的動(dòng)物而言至關(guān)重要，它幫助我們測量距離，是生存的條件之一。捕獵者在捕獵時(shí)使用眼睛來測量與獵物之間的距離，而獵物也在用眼睛觀察是否有捕獵者正在靠近，以便避開危險(xiǎn)。大約5.4億年前，地球上開始出現(xiàn)擁有視力的生物，而與視力息息相關(guān)的生存競爭也由此拉開序幕。從那時(shí)起，眼部結(jié)構(gòu)各異的動(dòng)物物種數(shù)量飛速增長。生物進(jìn)化早期的物種在這一方面十分多元，從僅有一只眼睛的寒武厚槳蝦（Cambropachycope）到多達(dá)五只眼睛的歐巴賓海蝎（Opabinia）和麒麟蝦（Kylinxia）等。而如今，大多數(shù)動(dòng)物都擁有兩只眼睛【1】。

通過雙眼觀察物體會出現(xiàn)輕微的雙眼視差，也就是左眼和右眼接收到的圖像位置有所差異。大腦通過計(jì)算這種差異來預(yù)測與目標(biāo)物體之間的距離。這就是所謂的雙眼視差（Binocular disparity）1，大多數(shù)動(dòng)物都依靠雙眼視差來測量距離。

1 雙眼視差（Binocular disparity）：左眼和右眼所見物體在圖像位置上存在差異

智能手機(jī)攝像頭采用了一種名為相位檢測自動(dòng)對焦（PDAF，Phase Detection Auto Focus）【2】的技術(shù)，該技術(shù)使用雙眼視差來根據(jù)拍攝對象調(diào)整焦距。在此基礎(chǔ)上，SK海力士研發(fā)了A4C（All 4-Coupled）圖像傳感器，在讀取色彩信息的同時(shí)，利用每個(gè)像素的視差，提高圖像質(zhì)量和自動(dòng)對焦功能。本文將介紹SK海力士全新開發(fā)的A4C圖像傳感器所具備的三大優(yōu)勢—快速準(zhǔn)確的對焦檢測、高分辨率圖像以及多種應(yīng)用場景。

A4C傳感器的優(yōu)勢之一：快速準(zhǔn)確的對焦檢測

A4C圖像傳感器的結(jié)構(gòu)如圖1所示。與傳統(tǒng)Quad【3】傳感器類似，A4C傳感器搭載一個(gè)可將光線轉(zhuǎn)換為電流的光電二極管和僅特定波長光束可以穿透的濾色片。但是，與Quad傳感器不同的是，A4C傳感器的結(jié)構(gòu)將每四個(gè)相同顏色像素歸為一組，每組上方配備一個(gè)微透鏡（Micro lens）2 ，四個(gè)像素分別位于左上角（TL，Top Left）、右上角（TR，Top Right）、左下角（BL，Bottom Left）和右下角（BR，Bottom Right）。

2 微透鏡（Micro lens）：一種將光集中到中心位置以提高CIS效率的透鏡。

A4C傳感器的自動(dòng)對焦功能基于這樣一種機(jī)制：如果來自物體的不同光線匯聚至一個(gè)焦點(diǎn)，則物體處于對焦?fàn)顟B(tài)；如果來自物體的不同光線未能匯聚至一個(gè)點(diǎn)，則物體處于失焦?fàn)顟B(tài)。換句話說，如果一個(gè)微透鏡下的四個(gè)像素的強(qiáng)度值一致，則物體處于對焦?fàn)顟B(tài)；如果強(qiáng)度值不一致，則物體處于失焦?fàn)顟B(tài)。例如，在捕捉圖2所示物體時(shí)，當(dāng)圖像處于圖2第一個(gè)示例中的對焦?fàn)顟B(tài)，上方紅色光路和下方藍(lán)色光路會落在同一微透鏡下的同一組像素。然而，如圖2第二個(gè)和第三個(gè)示例所示，當(dāng)物體位于焦點(diǎn)交匯處的前方或后方，通過頂部和底部路徑進(jìn)入透鏡的光路則無法聚焦到同一個(gè)微透鏡。這些光線會落在不同的像素上，從而形成視差（Disparity）3。通過視差分析，傳感器可以判斷出如何移動(dòng)透鏡模塊的位置才能將焦距調(diào)整至最佳狀態(tài)。

3 視差（Disparity）：當(dāng)物體的一個(gè)點(diǎn)按照光路聚焦到傳感器平面的不同位置時(shí)發(fā)生的位移。

與現(xiàn)有的PDAF技術(shù)相比，A4C傳感器能夠計(jì)算每個(gè)像素的視差。換言之，A4C傳感器具有很高的精度，在低于10 勒克斯（lux）的弱光環(huán)境下也可以確保10倍以上精度。與利用雙眼視差的PDAF技術(shù)不同，A4C傳感器利用的是微透鏡下方位于上下左右四角的四個(gè)像素的視差。因此，A4C傳感器擁有非常出色的對焦檢測性能，能夠準(zhǔn)確檢測水平或垂直方向的物體。

A4C傳感器的優(yōu)勢之二：高分辨率圖像

A4C傳感器的輸出圖像能以每個(gè)微透鏡下四個(gè)像素為一組的方式提高感光度，或通過將各個(gè)像素獨(dú)立輸出的方法來提高圖像分辨率（例如，5000萬像素A4C傳感器可以輸出5000萬像素分辨率的圖像4 或1250萬像素微透鏡分辨率的圖像5）。如果傳感器將每個(gè)微透鏡下四個(gè)像素作為一組生成輸出圖像，圖像分辨率會降至單獨(dú)使用每個(gè)像素時(shí)的圖像分辨率的四分之一。但是，四個(gè)像素一組的方法可以將感光度提高四倍。因此，在夜間、弱光環(huán)境等光線不足的情況下，微透鏡分辨率（Micro lens resolution）傳感器的優(yōu)勢更為明顯。

4 像素分辨率（Pixel resolution）：A4C傳感器的像素?cái)?shù)量
5 微透鏡分辨率（Micro lens resolution）：A4C傳感器的微透鏡數(shù)量。A4C傳感器的微透鏡分辨率是像素分辨率的四分之一。

另一方面，在白天或室外等光線充足的情況下，可以使用將各個(gè)像素獨(dú)立輸出的方式來提高圖像分辨率。像素分辨率（Pixel resolution）是微透鏡分辨率的四倍，因此，單獨(dú)像素輸出的圖像會更清晰，且有更多細(xì)節(jié)。但是，在使用A4C傳感器的像素分辨率模式時(shí)，需要克服視差帶來的圖像質(zhì)量問題。當(dāng)同一場景中的物體處于不同距離時(shí)（如圖3所示），鏡頭會捕捉處于聚焦?fàn)顟B(tài)下的物體的高分辨率圖像，如實(shí)線所示。另一方面，所有處于失焦?fàn)顟B(tài)的物體都會出現(xiàn)視差問題，如圖3虛線所示。這意味著，同一微透鏡下相鄰像素之間的強(qiáng)度存在差異，進(jìn)而導(dǎo)致圖像中出現(xiàn)柵格圖案，圖像質(zhì)量下降。

使用A4C傳感器拍攝處于不同距離的物體時(shí)得到的圖像。距離傳感器最近的綠色物體處于對焦?fàn)顟B(tài)，而其他物體均處于失焦?fàn)顟B(tài)，成像較為模糊。如果將圖4中的白色區(qū)域放大，可以看到視差造成的柵格圖案，圖像質(zhì)量下降。為改善圖片質(zhì)量下降的問題，SK海力士的A4C傳感器采用了專有A4C相位校正（APC，A4C Phase Correction）技術(shù)和四合一像素（Q2B，Quad-to-Bayer）技術(shù)，可以對圖像進(jìn)行處理并改善圖像質(zhì)量。需要特別指出的是，SK海力士的APC算法可以分析物體反射的光線，從而確定落在圖像傳感器的透鏡模塊路徑。而且，這項(xiàng)技術(shù)既解決了因失焦區(qū)域視差所導(dǎo)致的圖像質(zhì)量下降問題，又保證了處于對焦?fàn)顟B(tài)的物體區(qū)域的細(xì)節(jié)呈現(xiàn)。

A4C傳感器的優(yōu)勢之三：多種應(yīng)用場景

除了精準(zhǔn)對焦檢測和捕捉高分辨率圖像外，A4C傳感器的優(yōu)勢還包括它可以應(yīng)用于一系列光場成像場景。光場成像是一種再現(xiàn)物體射線分布的技術(shù)，可以計(jì)算場景中的光線強(qiáng)度和光線源頭的精確方向，并將這些信息用于背景虛化（Bokeh）6、再對焦（Refocus）7和多視角（Multi-view）8等計(jì)算機(jī)視覺應(yīng)用程序中。

6 背景虛化（Bokeh）：一種調(diào)整物體對焦同時(shí)模糊背景的技術(shù)
7 再對焦（Refocus）：一種在圖片成像后針對某一點(diǎn)進(jìn)行再對焦的技術(shù)
8 多視角（Multi-view）：一種使用由不同角度拍攝的多幅圖像來進(jìn)行幾何或空間復(fù)合校準(zhǔn)的技術(shù)

當(dāng)使用A4C傳感器拍攝圖像時(shí)，從物體反射出來的、與焦點(diǎn)一致的光線經(jīng)過四個(gè)不同的路徑，到達(dá)同一微透鏡下的四個(gè)像素，如圖5所示。因此，如果傳感器能夠感知A4C像素的強(qiáng)度和微透鏡下的具體位置，便可明確具體像素的光強(qiáng)度及光的來源方向。

具體而言，如果傳感器以同一微透鏡下多個(gè)像素為一組的模式形成局部圖像，這些像素會接收通過相同透鏡模塊路徑到達(dá)傳感器的光線，這意味著，傳感器可以再現(xiàn)從透鏡模塊的相同位置感知到的局部圖像（例如，如果傳感器將同一微透鏡下左上角TL的像素作為一組來形成圖像，則將呈現(xiàn)透鏡模塊左上角的局部圖像）。這樣的局部圖像被稱為子孔徑（SA，Sub-Aperture）圖像【4】，A4C傳感器可以從透鏡模塊的左上角、右上角、左下角和右下角生成四個(gè)子孔徑圖像。如下文所述，這四個(gè)來自不同點(diǎn)的子孔徑圖像可用于各種計(jì)算機(jī)的視覺應(yīng)用。

1）背景虛化應(yīng)用：使用四個(gè)子孔徑圖像可以提高虛化圖像的質(zhì)量。由于左右攝像頭之間的視角和機(jī)械位移問題，使用普通雙攝鏡頭生成的背景虛化圖像往往與實(shí)際場景有一定差別。但是，只要使用子孔徑圖像，即通過A4C傳感器生成局部圖像，就不會出現(xiàn)上述差別問題。此外，A4C傳感器可以使用四張子孔徑圖像來計(jì)算深度數(shù)據(jù)，在精度方面要優(yōu)于使用兩個(gè)圖像的雙攝像頭。

2）再對焦應(yīng)用：子孔徑圖像支持再對焦，即，通過A4C傳感器的強(qiáng)度和方向信息將焦點(diǎn)調(diào)整至指定位置。傳統(tǒng)的再對焦技術(shù)因?yàn)樾枰趫D像傳感器上方添加微透鏡陣列【4】，會存在機(jī)械誤差問題。而A4C傳感器則不需要額外添加微透鏡陣列，因此不存在機(jī)械誤差問題，同時(shí)精度也可以得到很大改善。

3）多視角應(yīng)用：從本質(zhì)上來說，子孔徑圖像是從不同角度觀察物體得出的圖像數(shù)據(jù)。因此，在一系列多視圖應(yīng)用場景中可以使用到四張子孔徑圖像，包括3D圖像恢復(fù)、3D安全應(yīng)用程序以及改善弱光條件下圖像質(zhì)量等。

綜上所述，SK海力士開發(fā)的A4C傳感器不僅可以克服傳統(tǒng)圖像傳感器的局限性，而且具有三大優(yōu)勢：快速準(zhǔn)確對焦檢測、捕捉高分辨率圖像、多種光場成像應(yīng)用場景。除A4C傳感器外，SK海力士正在開發(fā)HDR（High Dynamic Range）、非拜耳（Non-Bayer）、像素裝倉（Pixel Binning）等新型圖像信號處理（ISP，Image Signal Processing）技術(shù)。SK海力士憑借業(yè)界最佳的設(shè)備和工藝技術(shù)，開發(fā)了0.7um和0.64um微型像素，提高了CIS（CMOS圖像傳感器，CMOS Image Sensor）像素密度，使其在未來成為信息傳感器的核心組成部件。未來，SK海力士的CIS技術(shù)有望用于包括智能手機(jī)攝像頭、生物、安全和自動(dòng)駕駛汽車在內(nèi)的各個(gè)應(yīng)用領(lǐng)域，為創(chuàng)造經(jīng)濟(jì)和社會價(jià)值做出貢獻(xiàn)。

參考文獻(xiàn)

【1】Andrew Parker，《一瞬之間：視覺激發(fā)的寒武紀(jì)大爆發(fā)》（In the Blink of an Eye: How Vision Sparked the Big Bang of Evolution），2003年。
【2】SK海力士新聞中心，圖像傳感器的視覺演變與創(chuàng)新，https://news.skhynix.com.cn/the_visual_evolution_and_innovation_of_image_sensors/。
【3】SK海力士新聞中心，SK海力士“1.0μm黑珍珠（Black Pearl）” 圖像傳感器詳解，https://news.skhynix.com.cn/everything-about-the-1-0%CE%BCm-black-pearl-sk-hynixs-image-sensor/。
【4】R. Ng, M. Levoy, M. Bredif, G. Duval, M. Horowitz與P. Hanrahan.“手持式全光學(xué)相機(jī)的光場攝影”，斯坦福大學(xué)計(jì)算機(jī)科學(xué)技術(shù)報(bào)告 CSTR 2005-02，2005年4月。