作者:Gang Hua,德州儀器公司(TI) 影像架構(gòu)師
Jacob Jose,德州儀器公司(TI) 視頻安全業(yè)務(wù)經(jīng)理
執(zhí)行概要
視頻攝像機(jī)近來(lái)不斷出現(xiàn)在每一個(gè)角落,因?yàn)樗鼈兡軌蜃屛覀冊(cè)诓粸樗那闆r下進(jìn)行事物監(jiān)控,如某個(gè)地方、某個(gè)人及某件事。攝像機(jī)技術(shù)就像人的眼睛,只能通過(guò)感受和處理存在的光才能看到物體和場(chǎng)景。正如關(guān)掉屋里的燈,我們需要努力才能看清楚一樣,許多視頻攝像機(jī)必須處理低照環(huán)境。如果攝像機(jī)不能克服低照條件,進(jìn)行清楚地監(jiān)控,在場(chǎng)景中布置攝像機(jī)未必就能提供我們所需要的能見度。
視頻攝像機(jī)技術(shù)的最新發(fā)展,尤其是低照噪聲濾波技術(shù)的發(fā)展,不僅增強(qiáng)了構(gòu)成視頻流的單幅靜態(tài)影像或幀的質(zhì)量,而且還可增強(qiáng)構(gòu)成每幀的單個(gè)像素的保真度。改進(jìn)的濾波技術(shù)支持三維工作,可消除低照視頻流中的視覺異常,讓影像清晰銳利。采用強(qiáng)大實(shí)時(shí)處理器、配備高級(jí)壓縮算法的攝像機(jī)在低照條件下通常比人眼更敏銳。據(jù) 2010 年聯(lián)邦調(diào)查局統(tǒng)一犯罪報(bào)告,有 52.8% 的暴力犯罪與 81.7% 的財(cái)產(chǎn)犯罪尚未破獲1。配備良好低照技術(shù)的攝像機(jī)將有助于縮小這一數(shù)字。
問(wèn)題出現(xiàn)的部分原因
連接至互聯(lián)網(wǎng)的視頻攝像機(jī)(IP 攝像機(jī))正部署于各種應(yīng)用。除安全與執(zhí)法設(shè)施中實(shí)施的常用安全監(jiān)控攝像機(jī)外,攝像機(jī)現(xiàn)在也廣泛應(yīng)用于計(jì)算機(jī)、平板電腦和智能手機(jī)。此外,越來(lái)越多的車輛也已開始配備視頻監(jiān)控系統(tǒng)或車載黑匣子,以輔助狹窄角落中的復(fù)雜操作,增強(qiáng)車輛的安全性。作為這些應(yīng)用以及其它應(yīng)用的基礎(chǔ),IP 攝像機(jī)必須在低照下頻繁提供視頻流,就算有輔助照明也是如此。這個(gè)問(wèn)題在安全應(yīng)用中尤為重要。
用于監(jiān)控黑暗小巷或者光線昏暗走廊的 IP 監(jiān)控?cái)z像機(jī)提供的視頻流往往模糊、像素化、不清楚,而且對(duì)比度差。低質(zhì)量視頻流往往會(huì)造成面部無(wú)法識(shí)別或者完全錯(cuò)過(guò)所發(fā)生的事件,影響視頻安全監(jiān)控系統(tǒng)的實(shí)用性。提供更好的照明條件一般并不可行,因?yàn)闊艄獗旧硇枰杀竞途S護(hù),而且會(huì)使安全監(jiān)控系統(tǒng)容易被人注意。
最后,理想的解決方案就是增強(qiáng) IP 攝像機(jī)的低照性能,使之能夠在較低光線下實(shí)現(xiàn)更高的工作效率,提供清晰銳利的影像。下列影像中,一個(gè)采用低照性能增強(qiáng)技術(shù),另一個(gè)則沒(méi)有。它們可清楚地說(shuō)明這些技術(shù)增強(qiáng)視頻監(jiān)控系統(tǒng)等應(yīng)用效果的方法。
圖 1:未采用低照性能增強(qiáng)技術(shù)拍攝的視頻影像
圖 2:采用低照性能增強(qiáng)技術(shù)拍攝的視頻影像
低照視頻信號(hào)中的“噪聲”
造成 IP 攝像機(jī)在低照條件下影像質(zhì)量下降的元兇是“噪聲”?;蛘哒f(shuō)是攝像機(jī)因低照條件而不當(dāng)納入影像的無(wú)關(guān)信號(hào)數(shù)據(jù)。這些攝像機(jī)信號(hào)處理中的偽像或異常數(shù)據(jù)可導(dǎo)致視頻流質(zhì)量降低、影像模糊、清晰度下降。要改善工作在低照環(huán)境中的視頻 IP 攝像機(jī)影像質(zhì)量,需要盡可能多地消除這種噪聲。通過(guò)提高視頻數(shù)據(jù)流的信噪比(SNR),攝像機(jī)可提供更加清晰的影像。噪聲降低后,來(lái)自場(chǎng)景中實(shí)際對(duì)象的信號(hào)會(huì)增強(qiáng),視頻影像更清晰。噪聲有幾個(gè)明確的來(lái)源,每一個(gè)都必須進(jìn)行某種程度的處理。
· 顆粒噪聲
顆粒噪聲理所當(dāng)然來(lái)自可見光子命中視頻攝像機(jī)傳感器的命中率的波動(dòng)。命中傳感器像素的光子數(shù)量圍繞與像素照度成比例的一個(gè)平均速率隨機(jī)變化。
· 固定圖形噪聲
固定圖形噪聲由構(gòu)成 IP 攝像機(jī)傳感器像素的小幅變動(dòng)造成。每個(gè)像素在被可見光子命中時(shí)的反應(yīng)不同。這些差異可能來(lái)自像素及色彩濾波器的差異,也可能來(lái)自連接像素的電路的差異。
· 讀出噪聲
視頻攝像機(jī)光傳感器采集的模擬信息必須轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù),以便攝像機(jī)處理。這項(xiàng)工作由模數(shù)轉(zhuǎn)換器完成。讀出該轉(zhuǎn)換過(guò)程不完全性帶來(lái)的噪聲。
消除噪聲
消除或過(guò)濾低照視頻流的噪聲有兩種基本方法。第一種方法為空間濾波。這種方法沿著構(gòu)成顯示屏影像的二維、高、寬進(jìn)行。第二種方法為時(shí)間濾波,可為視頻流中還存在的時(shí)間增加第三維。
· 空間濾波
視頻流由按時(shí)間順序播放的獨(dú)立靜止影像或幀構(gòu)成。實(shí)時(shí)視頻流通常每秒顯示 30 幀。不過(guò)如果不要求實(shí)際動(dòng)作的逼真性,也可實(shí)施其它顯示速率。空間濾波是一種算法分析,獨(dú)立對(duì)每幀進(jìn)行檢查,沿影像 X 軸和 Y 軸進(jìn)行每像素比較,發(fā)現(xiàn)噪聲并予以清除。
· 時(shí)間濾波
時(shí)間濾波算法可將時(shí)間維加入分析。這種方法不像空間濾波那樣,對(duì)整個(gè)幀進(jìn)行檢查,而是按時(shí)間維分析每個(gè)像素。即將每個(gè)像素與后一個(gè)幀對(duì)比,判斷是否有噪聲存在。如果某個(gè)像素的運(yùn)動(dòng)方式非常類似于噪聲,就予以清除。時(shí)間濾波比空間濾波更復(fù)雜,因?yàn)橐曨l流往往包含運(yùn)動(dòng),比如物體移動(dòng)或者某人走過(guò)攝像機(jī)視野。時(shí)間濾波不但必須能夠分辨出攝像機(jī)需要觀察的真實(shí)運(yùn)動(dòng),將其保留在視頻數(shù)據(jù)流中,同時(shí)還應(yīng)發(fā)現(xiàn)像素中任何類型可能為噪聲的異常運(yùn)動(dòng),將其清除。為達(dá)到該目的,已經(jīng)開發(fā)出兩種方法,即動(dòng)作自適應(yīng)法和動(dòng)作補(bǔ)償法。
動(dòng)作自適應(yīng)法可嘗試確定物體動(dòng)作發(fā)生的視頻流區(qū)域。保留這些區(qū)域中的信號(hào)發(fā)送,其中包括這些區(qū)域中可能出現(xiàn)的任何噪聲。分析影像其它部分的移動(dòng)像素,判別是否是噪聲,如果是就清除。
動(dòng)作補(bǔ)償分析法比動(dòng)作自適應(yīng)法復(fù)雜得多。動(dòng)作補(bǔ)充分析法將先建立基準(zhǔn)幀,以便對(duì)物體移動(dòng)形成的運(yùn)動(dòng)像素進(jìn)行時(shí)間濾波。如果運(yùn)動(dòng)分析正確,動(dòng)作補(bǔ)償法與動(dòng)作自適應(yīng)法相比能夠去除移動(dòng)物體上更多的噪聲。但動(dòng)作分析在低照條件下形成的高噪聲水平上容易出錯(cuò),因此可能會(huì)無(wú)法去除噪聲并產(chǎn)生煩人的偽像。
德州儀器(TI) 等能夠提供大量動(dòng)作自適應(yīng)法及動(dòng)作補(bǔ)償法的技術(shù)提供商,可充分滿足 IP 攝像機(jī)制造商與安全系統(tǒng)集成商的各類需求。
低照性能優(yōu)勢(shì)
能夠在低照環(huán)境下采集高質(zhì)量視頻的 IP 攝像機(jī)在多種應(yīng)用中均具有極高的效率,尤其是在安全監(jiān)控系統(tǒng)中,其通常在低照環(huán)境下工作,并采用可能進(jìn)一步降低視頻所含信息等級(jí)的壓縮功能。
所有 IP 攝像機(jī)均使用某種形式的視頻壓縮,常使用 H.264 高端類(HP) 編解碼器獲得一流的壓縮效率。視頻壓縮會(huì)導(dǎo)致信息丟失。要讓壓縮視頻保持可接受的質(zhì)量,比如能夠識(shí)通過(guò)燈光昏暗街巷的轎車車牌或其駕車員面部,應(yīng)讓壓縮視頻位速率盡量保持為高。但是,存儲(chǔ)量及所需備份時(shí)間制約著低成本視頻壓縮的位速率。
高噪聲視頻要達(dá)到要求的視頻質(zhì)量,需要壓縮更多的數(shù)據(jù),因而需要更大的存儲(chǔ),進(jìn)而可增加設(shè)備成本。如果不能增大存儲(chǔ),就應(yīng)減少備份時(shí)間,讓壓縮視頻保持可接受的質(zhì)量。同樣,如果必須跨網(wǎng)絡(luò)傳輸視頻,且?guī)捰邢?,更少的高噪聲視頻可以在可用帶寬的限制范圍內(nèi)以更高質(zhì)量傳輸。這對(duì)在民宅中使用尤為重要,因?yàn)檫@里有多個(gè) Wi-Fi 熱點(diǎn)爭(zhēng)奪少量的可用頻譜。
H.264 等壓縮技術(shù)依賴多視頻幀之間的一致性來(lái)壓縮所包含的信息。噪聲會(huì)造成多種幀的高度不一致性,需要更多的數(shù)據(jù)才能壓縮壓縮視頻信息。良好的低照技術(shù)可消除不一致噪聲,使用更低位速率實(shí)現(xiàn)可接受的視頻質(zhì)量。IP 攝像機(jī)的安全系統(tǒng)操作人員可記錄更高質(zhì)量的視頻,延長(zhǎng)備份時(shí)間,降低存儲(chǔ)成本或使用不變的存儲(chǔ)容量。
另外,監(jiān)控低照戶外門的 IP 攝像機(jī)安全系統(tǒng)的操作人員還可能考慮安裝更多的外部照明設(shè)備來(lái)改善該區(qū)域的照明,進(jìn)而提高視頻流質(zhì)量。由于具備低照性能的攝像機(jī)可補(bǔ)償照明條件,因而無(wú)需其它照明。這樣可以不必安裝新的電線電燈,只需采用具備優(yōu)異低照性能的 IP 攝像機(jī)替代原來(lái)的安全攝像機(jī)即可。此外,還可完全避免因安裝更多外部照明而產(chǎn)生的增量電力成本。
當(dāng)前許多高級(jí)監(jiān)控系統(tǒng)還整合了自動(dòng)安全分析流程,其可進(jìn)一步處理視頻流,為負(fù)責(zé)監(jiān)控的系統(tǒng)操作人員帶來(lái)輔助功能。這些分析功能在處理更清晰、更高清晰度的視頻流時(shí)效率更高。更好的安全分析可減少操作安全監(jiān)控系統(tǒng)的人力資源。
圖3:無(wú)低照性能增強(qiáng)技術(shù)的高噪聲視頻影像 圖4:采用TI 低照噪聲濾波器后的視頻影像
TI 低照性能解決方案
TI 在為視頻安全處理應(yīng)用提供業(yè)界領(lǐng)先技術(shù)方面擁有業(yè)經(jīng)驗(yàn)證的驕人業(yè)績(jī),如基于 IP 的視頻安全監(jiān)控?cái)z像機(jī)等。達(dá)芬奇(DaVinci™) 視頻處理器平臺(tái)是行業(yè)最高性能的視頻引擎,有助于視頻及圖形加速器同步處理三個(gè) 1080p 60fps 視頻流,實(shí)現(xiàn)全新應(yīng)用與直觀的用戶界面。達(dá)芬奇用戶可在采用相同內(nèi)核 IP 的單個(gè)平臺(tái)上獲得可擴(kuò)展產(chǎn)品線,為特定應(yīng)用提供高性能低功耗的獨(dú)特組合以及多種衍生方案。TI 參考設(shè)計(jì)可實(shí)現(xiàn)只需六個(gè)月的快速產(chǎn)品開發(fā)。
除大量支持性器件外,TI 業(yè)界最佳視頻處理器還一直是眾多 IP 攝像機(jī)的核心。近期推出的達(dá)芬奇DM385 視頻處理器百尺竿頭更進(jìn)一步,集成更強(qiáng)大的低照性能,包括三維噪聲濾波、寬泛動(dòng)態(tài)處理以及具有業(yè)界最佳壓縮效率的 SVC-T H.264 高端壓縮技術(shù)。DM385 支持 H.264 或SVC-T 高端編解碼器,可壓縮高達(dá)4 百萬(wàn)像素的實(shí)時(shí)視頻流與二次D1 實(shí)時(shí)視頻流。4Kx2K 或更高分辨率視頻、同步多級(jí)(基本/主流/高級(jí))壓縮、面部檢測(cè)、視頻穩(wěn)定、多重曝光以及雙通道傳感器支持等各種特性,可幫助攝像機(jī)制造商在市場(chǎng)上為其產(chǎn)品便捷地實(shí)現(xiàn)差異化。此外,DM385 IP 攝像機(jī)參考設(shè)計(jì)還可幫助制造商在發(fā)揮任何最普通傳感器優(yōu)勢(shì)的同時(shí),快速向市場(chǎng)推出最新低照攝像機(jī)。
圖5 DaVinciDM385視頻處理器方框圖
如欲了解有關(guān)支持IP 攝像機(jī)及其他安全應(yīng)用的 DM385 或其它 TI 達(dá)芬奇解決方案的更多詳情,敬請(qǐng)?jiān)L問(wèn):http://www.ti.com.cn/apps/cn/docs/mrktgenpage.tsp?contentId=41246&appId=79 。
參考資料:
1、 2010 年聯(lián)邦調(diào)查局統(tǒng)一犯罪報(bào)告:《美國(guó)的犯罪情況》。