我總結(jié)了幾個(gè)可以買(mǎi)的到的傳感器，而且也給出了幾個(gè)傳感器的選擇標(biāo)準(zhǔn)。 1.高幀率，120Hz是標(biāo)配 2.體積小巧，滿足狹窄環(huán)境安裝 3.功耗低，滿足邊緣計(jì)算的能力 4.近紅外波段敏感，因?yàn)橐獙?duì)這個(gè)波段進(jìn)行感光 5.黑白的就行，彩色沒(méi)有這個(gè)必要 我說(shuō)下為什么用黑白的： 第一，同樣大小的像元，黑白傳感器可以用較小的曝光時(shí)間獲取理想的圖像，這樣可以減弱抖動(dòng)以及飛行運(yùn)動(dòng)造成的影響（實(shí)際上NAV相機(jī)就是采用控制曝光時(shí)間來(lái)減弱運(yùn)動(dòng)模糊的，這個(gè)是VIO）； 第二，同樣的像素個(gè)數(shù)，黑白傳感器可以比彩色傳感器獲得更高的空間分辨率，彩色傳感器因?yàn)轭伾逯档脑驎?huì)使分辨率降低大約30%左右。當(dāng)然還有別的原因，如黑白圖像數(shù)據(jù)量小，處理起來(lái)運(yùn)算量小，實(shí)時(shí)性高等。 我推薦的是OVM6211，OVM7251，實(shí)驗(yàn)可以使用OV7251. 因?yàn)樽钊菀踪I(mǎi)到的就是OV7251，所以接下來(lái)就重點(diǎn)說(shuō)這個(gè)。 首先要知道這個(gè)CMOS的像素是30W。
來(lái)自豪威科技的OV7251-2B全局快門(mén)圖像傳感器是一款3.0微米的傳感器，采用1/7.5英寸光學(xué)格式，120fps提供640×480分辨率，并具有單通道MIPI串行輸出接口。這個(gè)也就是我選擇的一個(gè)原因。 這款產(chǎn)品同時(shí)能夠以180 fps提供具有BIN模式的QVGA（320×240），以及以360fps提供具有BIN和SKIP模式的QQQVGA（160×120）。 傳感器可提供99.96％的快門(mén)效率，并具有光導(dǎo)功能，可改善光捕獲的角度響應(yīng)，從而實(shí)現(xiàn)更優(yōu)秀的光學(xué)性能。 利用業(yè)界最小的全局快門(mén)像素，黑白 OV7251 能夠以每秒 120 幀 （fps） 的速度捕獲 VGA （640×480） 分辨率視頻，以 180 fps 的速度捕獲 QVGA （320×240） 視頻，以及 QQVGA （160 ×120） 以 360 fps 進(jìn)行合并和跳躍。OV7251 的高幀率使其成為低延遲機(jī)器視覺(jué)應(yīng)用的理想解決方案。 對(duì)，這個(gè)全局快門(mén)我也要寫(xiě)一下：
可以看到這個(gè)全局快門(mén)在拍運(yùn)動(dòng)的物體的時(shí)候是很有效的
這個(gè)是OV6211
這個(gè)是OVM7251
OVM7251表面圖
OVM7251有兩個(gè)版本：
用于AR/VR眼動(dòng)追蹤的850nm模型；支持面部認(rèn)證中的機(jī)器視覺(jué)與3D感知的940nm模型。將OVM7251用于支持AR/VR頭顯實(shí)現(xiàn)眼動(dòng)追蹤，設(shè)計(jì)者可以編程系統(tǒng)集成渲染注視點(diǎn)位置，并降低周?chē)鷪D像的分辨率，從而進(jìn)一步節(jié)省功耗。
另外在Pico 3NEO版本的環(huán)境攝像頭也是使用的這個(gè)模組，就是透視模式使用的攝像頭，大家有機(jī)器的可以體驗(yàn)一下。
卷簾快門(mén)傳感器的設(shè)計(jì)是為了捕捉靜態(tài)圖像和視頻拍攝，因此擁有非常高的分辨率和顏色處理能力。但其缺點(diǎn)在于，它是逐行拍攝圖像，拍攝和曝光時(shí)間過(guò)長(zhǎng)，如果拍攝對(duì)象是汽車(chē)這樣的快速移動(dòng)物體，圖像可能發(fā)生扭曲，而且功耗過(guò)高，不適合用于計(jì)算機(jī)視覺(jué)。
而全局快門(mén)的原理則完全不同，它是一次拍攝整幅圖像，所有像素同時(shí)曝光。而且成像效果準(zhǔn)確，曝光時(shí)間短，功耗也低，未來(lái)計(jì)算機(jī)視覺(jué)將走向全局快門(mén)。
卷簾快門(mén)像素點(diǎn)常見(jiàn)的在1.1微米以下，而全局快門(mén)通常在2.2微米以上。
這個(gè)OV6211其實(shí)是專(zhuān)門(mén)設(shè)計(jì)給眼動(dòng)追蹤的傳感器
這個(gè)是它的一個(gè)幀率參數(shù)
1/7.5英寸的OV7251具有多種低功耗模式，包括光感應(yīng)模式和超低功耗待機(jī)模式。在光感測(cè)模式下，OV7251 的行為類(lèi)似于環(huán)境光傳感器 （ALS），僅當(dāng)檢測(cè)到光變化時(shí)才將傳感器從“睡眠模式”喚醒。同樣，在超低功耗模式下，傳感器可以降低分辨率和幀率以進(jìn)一步降低功耗。 讓我來(lái)總結(jié)一下：
這個(gè)傳感器的輸出頻率是這樣的
我不是很明白，是不是以為數(shù)據(jù)輸出的帶寬的原因，不過(guò)是可以按照一種固定的模式把感興趣的圖像來(lái)輸出的。
這種提高幀率的方法叫：開(kāi)窗方法其中最主要的當(dāng)屬ROI模式（Region of interest），ROI是在成像應(yīng)用中，在相機(jī)傳感器分辨范圍內(nèi)定義一個(gè)或多個(gè)感興趣的窗口區(qū)域，僅對(duì)這些窗口內(nèi)的圖像信息進(jìn)行讀出，只獲取該局部區(qū)域的圖像。設(shè)定較小的ROI區(qū)域可以減少相機(jī)傳送及計(jì)算機(jī)需要處理的圖像信息量，并提高相機(jī)的采集幀率。
SKIP（Skipping mode），這種模式就是按照一定的規(guī)律，把想要的數(shù)據(jù)采集上來(lái)，把其余的數(shù)據(jù)扔掉。如下所示，column skip 2 row skip 2 留下的就是白色的像素，把黑色的像素丟掉。
這種模式會(huì)改變?cè)邢裨g的相鄰關(guān)系，所以對(duì)Bayer彩色的相機(jī)來(lái)說(shuō)，會(huì)造成一定的顏色失真，所以它常見(jiàn)的應(yīng)用就是預(yù)覽，在工業(yè)實(shí)際中應(yīng)用并不多。 第三種BIN（binning mode），就是把相鄰的像素合成一個(gè)像素，然后再輸出。如下所示，2 bin to 1 所有的像素都參與了新像素的生成。
低照度條件下，選擇binning模式圖像效果更佳。
這個(gè)是具體的OV采樣模式
IR cut filter，即紅外截止濾光片，它放在于LENS與Sensor之間。因人眼與CMOS Sensor對(duì)各波長(zhǎng)的響應(yīng)不同，人眼看不到紅外光但sensor會(huì)感應(yīng)，因此需要IR cut filter阻絕紅外光。
這個(gè)是OV7251
6.5厘米的最小對(duì)焦距離有點(diǎn)不太行，太近了，這個(gè)是我找的一個(gè)模組的信息，不要較真。 輸出的是MIPI的一路，要學(xué)的東西好多，頭皮有點(diǎn)癢。
現(xiàn)在做demo也是可以的，這個(gè)距離
眼球追蹤的幾個(gè)階段瞳孔檢測(cè)算法的可視化。
1）眼睛圖像轉(zhuǎn)換為灰度、用戶(hù)感興趣區(qū)域（白色描邊矩形）和初始值，瞳孔區(qū)域的估計(jì)（白色方塊和虛線方塊），這樣的優(yōu)點(diǎn)就是節(jié)省算力。
眼動(dòng)追蹤：梯度法精確定位眼中心（論文），也就是要看我寫(xiě)的這篇文章。
2）Canny邊緣檢測(cè)（綠色線）
3）定義“暗”區(qū)域?yàn)槠蒲劬D像直方圖的最低峰值。
4）過(guò)濾邊緣以排除光譜反射（黃色），而不是在“暗”區(qū)域（藍(lán)色）
5）使用連接的組件提取邊緣到輪廓，并根據(jù)曲率連續(xù)性準(zhǔn)則（多色線）分割成子輪廓。
6）候選瞳孔橢圓（藍(lán)色）通過(guò)橢圓擬合形成
7）通過(guò)增強(qiáng)組合搜索找到最終的橢圓擬合（最終橢圓與紅色中心）-支持用白色繪制的邊緣像素。
下面是插一個(gè)MIPI硬件設(shè)計(jì)時(shí)候的布線參考：
MIPI因?yàn)橐环N高速差分信號(hào)的接口，為了保證信號(hào)的同步和一致性，必須保證MIPI DP/DN保持等長(zhǎng)，無(wú)論是線對(duì)與線對(duì)之間（pair to pair）還是單組信號(hào)的DP/DN之間，一般需要遵守的長(zhǎng)度規(guī)則如下：camera pair to pair 100mil 單組之間：25mil。 在MIPI走線時(shí)，一般需要保持DP/DN在走線的過(guò)程中保持等距，保證一定的耦合程度，但是需要弄清楚的時(shí)，等長(zhǎng)的優(yōu)先級(jí)是高于等距的。且在走線時(shí)，線對(duì)之間要保持2W的距離。
注：MIPI在走線時(shí)優(yōu)先級(jí)最高的是匹配等長(zhǎng)，其余的都可以實(shí)際要求和應(yīng)用進(jìn)行靈活處理
LVDS也是我們使用CMOS的時(shí)候常見(jiàn)的數(shù)據(jù)輸出接口：Low Voltage DifferenTIal Signal（低電壓差分信號(hào)）
電壓很低，1v左右，消耗資源少，差分信號(hào)保證抗干擾能力。 接口由1組差分clock和若干組差分信號(hào)線組成，既然有CLK，那么LVDS就是同步信號(hào)。LVDS的控制信號(hào)和數(shù)據(jù)信號(hào)復(fù)用接口，CLK是用于同步。既然是復(fù)用的，LVDS的協(xié)議中也一定有區(qū)分控制信號(hào)和數(shù)據(jù)信號(hào)的方法。 LVDS主要用于視頻傳輸?shù)膬蓚€(gè)領(lǐng)域： camera和主控——視頻采集 LCD和主控——視頻顯示 LVDS利用差分抗干擾能力，提升clock頻率從而提升貸款，傳輸舉例也更遠(yuǎn)，LVDS的時(shí)鐘頻率可以非常高。
話說(shuō)找到一個(gè)MIPI+FPGA的方案商，這個(gè)宣傳圖咋感覺(jué)是DJI？？？
OV7251是很便宜的，做demo合適
這個(gè)是OVM7251，做產(chǎn)品合適，但是貴，要100+
這個(gè)是深圳一家眼動(dòng)的廠子的模組，我不知道放這里是不是合適
但是它這個(gè)分辨率和幀率真的是看著還不錯(cuò)，不知道是哪款芯片
因?yàn)槲艺业搅薕V7251的數(shù)據(jù)手冊(cè)，那這里也就看一下里面寫(xiě)了什么：
這個(gè)OV7xxx，有兩個(gè)模組，一個(gè)是彩色，一個(gè)就是我們的這個(gè)，灰色的。
850nm正好是起始的波段
這個(gè)就是上面我發(fā)的圖下面的引腳，這個(gè)其實(shí)對(duì)我來(lái)說(shuō)意義不大
這個(gè)是MIPI接口下的分辨率和幀率
MIPI的時(shí)序
輸出的時(shí)序控制
這個(gè)是使用FPGA的時(shí)候數(shù)據(jù)框圖
像素矩陣的排列
除了RAW，也可以輸出子采樣的圖像
硬件設(shè)計(jì)的時(shí)候，注意的參數(shù)
這么高的幀率，我們肯定是使用FPGA來(lái)處理的：
分辨率：640 x 480
數(shù)據(jù)格式：10位灰度
幀率：60fps （匹配顯示器刷新頻率）
通信- 控制接口：SCCB（I2C）
傳輸接口：1通道LVDS
速率：600Mbps
我們需要通過(guò)MCLK給攝像頭提供時(shí)鐘，RESET是復(fù)位線，PWDN在攝像頭工作時(shí)應(yīng)該始終為低。PCLK是像素時(shí)鐘，HREF是行參考信號(hào)，VSYNC是場(chǎng)同步信號(hào)。一旦給攝像頭提供了時(shí)鐘，并且復(fù)位攝像頭，攝像頭就開(kāi)始工作了，通過(guò)HREF，VSYNC和PCLK同步傳輸數(shù)字圖像信號(hào)。數(shù)據(jù)是通過(guò)D0~D7這八根數(shù)據(jù)線并行送出的。
CMOS圖像數(shù)據(jù)采集模塊，需等待I2C協(xié)議對(duì)攝像頭內(nèi)部寄存器進(jìn)行初始化。寄存器全部配置完成后，還需等待10幀數(shù)據(jù)，此等待10幀數(shù)據(jù)的目的是等待攝像頭工作狀態(tài)穩(wěn)定。待寄存器配置生效、攝像頭工作狀態(tài)穩(wěn)定后再開(kāi)始采集圖像。
具體地，待等待幀數(shù)等于10時(shí)，會(huì)使能標(biāo)志信號(hào)frame_val_flag，使得OV7251開(kāi)始對(duì)采集的圖像數(shù)據(jù)中相應(yīng)范圍0~76800（340×240）的8位像素點(diǎn)數(shù)據(jù)經(jīng)拼接操作，轉(zhuǎn)存到寄存器data2ram中，data2ram將輸出拼接后的16位數(shù)據(jù)到SRAM模塊的輸入引腳dina。
這個(gè)就是一個(gè)簡(jiǎn)單的采集過(guò)程。
另外小米8也是使用了這個(gè)模組：增加了紅外人臉解鎖功能，還是依靠了聽(tīng)筒右邊的補(bǔ)光燈和型號(hào)為OV7251 IR Sensor去實(shí)現(xiàn)這樣一個(gè)功能，先照亮人臉，再去接收黑白的圖像，然后再識(shí)別解鎖。相比以往依靠前攝像頭去解鎖的話，小米8對(duì)于光線環(huán)境是沒(méi)有要求的，這也依靠了紅外線的活體檢測(cè)能力，且同單純的攝像頭來(lái)對(duì)比，安全性會(huì)更高一些。
在這里
這里
這個(gè)傳感器賣(mài)的是真的好！
接下來(lái)拆個(gè)Huawei P30的主傳感器吧~
特寫(xiě)
和我手的比較
放大的CMOS引腳
換另一邊
全挑斷
破壞一下
全球第一個(gè)在華為P30傳感器上面刻字的成就
更多信息可以來(lái)這里獲取==>>電子技術(shù)應(yīng)用-AET<<
