SuperToF?精細(xì)人臉成像
在國內(nèi)主流手機(jī)廠商爭相搭載飛行時間(ToF)攝像頭的手機(jī)發(fā)布同時,國際主流手機(jī)廠商也紛紛傳出2019年旗艦手機(jī)將搭載ToF傳感器的消息,國際ToF產(chǎn)業(yè)鏈從感光元件到攝像頭模組各大廠商也在頻頻聯(lián)合,取對方長處以補(bǔ)充自身的不足,我們看到ToF技術(shù)在2018年搶而不火的景象,究其原因:在硬件逐漸小型化的今天,硬件快速無縫銜接與關(guān)鍵感知處理技術(shù)的缺失,拖慢了ToF普及化的進(jìn)程。
據(jù)麥姆斯咨詢報道,來自香港的光云科技(HKShiningCloud)憑借積累了多年的3D識別感知技術(shù)順勢而為,全力打造SuperToF?產(chǎn)品系列,為ToF模組在手機(jī)、機(jī)器人、物聯(lián)網(wǎng)(IoT)等行業(yè)的應(yīng)用,提供了一把“利刃”。SuperToF? Mobile,為ToF方案公司和手機(jī)制造業(yè)構(gòu)建了一條“快速綠色通道”,ToF方案公司無需經(jīng)過完整的數(shù)據(jù)處理分析這一技術(shù)門檻,只需打磨自己的光學(xué)器件和優(yōu)化封裝等,即可快速且準(zhǔn)確地切入產(chǎn)業(yè)鏈,而從信號處理到ToF應(yīng)用,都可以得到一個理想的結(jié)果,SuperToF?的面世為ToF移動的普及全面賦能,并為產(chǎn)業(yè)爆發(fā)提供了可行路徑。
據(jù)了解,香港光云科技致力于將SuperToF?賦能物理感知知識集,遵行并參與國際電信聯(lián)盟電信標(biāo)準(zhǔn)分局(ITU-T)和國際標(biāo)準(zhǔn)化組織動態(tài)圖象專家組(MPEG)點(diǎn)云及沉浸式媒體相關(guān)的國際標(biāo)準(zhǔn),主要聚焦ToF-3D芯片、ToF-3D動態(tài)影像重建及識別、ToF-3D智能視覺、5G-3D應(yīng)用,提供ToF的AP指令授權(quán)與芯片產(chǎn)品及服務(wù)。
如上圖所示,SuperToF?是一套連接OS與ToF的硬件層,針對ToF信號的優(yōu)化、ToF質(zhì)量提升、使用安全檢測、算法優(yōu)化加速等功能而構(gòu)建的一套硬件加速指令集。針對現(xiàn)有ToF傳感器在實(shí)際應(yīng)用中遇到的問題:例如在強(qiáng)光環(huán)境下的噪聲、黑色物體的檢測、透明玻璃覆蓋以及ToF硬件噪聲等問題,SuperToF?產(chǎn)品系列已經(jīng)打通了從硬件的光信號到分析應(yīng)用的全通路。能夠全面幫助傳感器廠、模組廠、手機(jī)廠完成ToF信號優(yōu)化、ToF模組校準(zhǔn)、提供ToF-3D應(yīng)用基礎(chǔ)特性,同時也提供高級的特性,例如:SuperZoom、透明成像、探測識別、精細(xì)3D手勢識別、單反3D高畫質(zhì)成像等。
下圖展示了5m-0.005m的SuperZoom:
SuperZoom 5m樹與5mm樹枝均可清晰呈現(xiàn)
輕薄的首選
據(jù)了解,基于多年在信號成像及3D圖像領(lǐng)域的世界前沿技術(shù)積累,香港光云科技潛心技術(shù)積淀,以敏銳的學(xué)術(shù)洞察力及領(lǐng)悟力,已經(jīng)在ToF技術(shù)的應(yīng)用算法上,達(dá)到了行業(yè)全球領(lǐng)先的水平。SuperToF?一個顯著的特性就是大幅度提升了空間點(diǎn)云數(shù)據(jù)的“有效性”,利用SuperToF?有效降低了ToF信號的硬件噪聲,可實(shí)現(xiàn)高達(dá)90.24%的噪聲抑制,進(jìn)而提升ToF CMOS接收到像素的有效性。如圖所示:與蘋果的結(jié)構(gòu)光方案比,相同像素水平上,結(jié)果的像素密度及細(xì)節(jié)呈現(xiàn)明顯優(yōu)于結(jié)構(gòu)光。
SuperToF 38k VS. APPLE 30k 結(jié)構(gòu)光[1]
經(jīng)測試,以英飛凌(Infineon)REAL3?深度傳感器(depth sensing imagers)38k像素的ToF上的實(shí)驗(yàn)為例,其結(jié)果明顯優(yōu)于某公司307k像素的ToF的效果,這讓行業(yè)內(nèi)人士重新審視ToF的高分辨率與點(diǎn)云有效性之比的權(quán)重。
手機(jī)的輕薄對ToF芯片的大小提出苛刻的要求,SuperToF?實(shí)現(xiàn)了對點(diǎn)云數(shù)據(jù)的“有效性”提升,降低了對ToF芯片的要求,真正為手機(jī)的輕薄提供了全面支持。SuperToF?單反3D高畫質(zhì)成像集中ToF的全面優(yōu)勢,可同步RGB 攝像頭,全面動態(tài)模擬大光圈的效果,實(shí)現(xiàn)高畫質(zhì)感知體驗(yàn),同時還可降低攝像頭模組設(shè)計的復(fù)雜性。
據(jù)介紹,SuperToF?完成了移動端的遷移和優(yōu)化測試,已在高通驍龍平臺上完成實(shí)時建模及空間測量:可準(zhǔn)確鎖定目標(biāo),準(zhǔn)確顯示測量的數(shù)據(jù)。結(jié)果顯示,比ARKit和ARCore都有質(zhì)的顯著提升。SuperToF?輕量化的解決方案應(yīng)用也為AR Glasses的視覺模組方案提供了更優(yōu)的選擇,目前完成小型化硬件的快速建模、AR和3D精細(xì)手勢交互等的移動方案,已逐步開放給友商進(jìn)行產(chǎn)品測試。
讓ToF全面賦能,感知世界
香港光云科技目前與知名ToF傳感器廠商全面合作,對移動設(shè)備前置及后置的ToF模組及規(guī)模應(yīng)用進(jìn)行前瞻性的開發(fā),已得到國內(nèi)主流手機(jī)廠商的認(rèn)可并展開合作。并與著名移動芯片IP公司合作SuperToF?相關(guān)指令集,有望2019年在手機(jī)上進(jìn)行規(guī)模應(yīng)用?,F(xiàn)正將ToF指令集內(nèi)置到移動芯片中,以“令SuperToF? Inside”的方式呈現(xiàn)給終端消費(fèi)者更多精彩的感知應(yīng)用。同時與香港電影制作公司展開研發(fā)感知聯(lián)動的攝像機(jī),實(shí)現(xiàn)空間的快速理解與高精度結(jié)構(gòu),方便電影后期的精確再制作,并把電影的高畫質(zhì)體驗(yàn)帶入消費(fèi)電子。
同時在機(jī)器人、新零售、廣告推廣、設(shè)計及打印等領(lǐng)域確認(rèn)了產(chǎn)品試點(diǎn)大客戶,為了服務(wù)和扶持更多產(chǎn)業(yè)的感知革命,香港光云科技將與ToF行業(yè)共同構(gòu)建一個應(yīng)用生態(tài),讓更多的行業(yè)人才看到ToF的精彩之處,結(jié)合其在本身行業(yè)的從業(yè)經(jīng)驗(yàn),讓ToF技術(shù)對物理感知科技發(fā)展起到一個催化劑的作用。
香港光云科技CEO謝永明指出:“在5G時代,點(diǎn)云數(shù)據(jù)將成為其主要的流量模式,同時也將帶來整個時代的變革,其點(diǎn)云數(shù)據(jù)的創(chuàng)新應(yīng)用都將成為接下來的‘風(fēng)口’,由人工智能、視覺智能向物理感知智能的廣闊提升,形成全新的數(shù)據(jù):物理感知知識集。手機(jī)等移動設(shè)備的感知升級后,不但互動起來更加真實(shí)與魯棒,互動行為也可以更加復(fù)雜化,以前很多不可能完成的動作將變成可能,讓我們充分體驗(yàn)物理感知的魔力”。
謝永明還表示,香港光云科技現(xiàn)正面向ToF傳感器、攝像頭模組、手機(jī)等廠家的產(chǎn)品進(jìn)行SuperToF?的規(guī)?;瘧?yīng)用測試,SuperToF?讓ToF易于部署,同時可協(xié)助產(chǎn)業(yè)及用戶做到“三減”:針對雙攝/多攝搭載ToF攝像頭減少硬件成本;針對移動設(shè)備更輕更薄的要求減少 ToF 相關(guān)產(chǎn)品的體積;減少用戶及開發(fā)者的學(xué)習(xí)與開發(fā)時間。公司的愿景是“讓ToF全面賦能,感知世界”。