鑒智機器人的下一代純視覺自動駕駛 3D 目標(biāo)檢測框架 BEVDet，為解決視覺為主自動駕駛解決方案中視覺雷達、4D 感知、實時局部地圖等關(guān)鍵問題提供了更多可能性。

日前，在自動駕駛權(quán)威評測集 nuScenes 上，鑒智機器人憑借提出的純視覺自動駕駛 3D 感知新范式 BEVDet，以絕對優(yōu)勢獲得純視覺 3D 目標(biāo)檢測世界第一的成績。BEVDet 是首個公開的同時兼具高性能、擴展性和實用性的 BEV 空間 3D 感知范式，以 BEVDet 為核心的系列技術(shù)將有希望解決視覺為主自動駕駛解決方案中視覺雷達、4D 感知、實時局部地圖等關(guān)鍵問題，未來將應(yīng)用于鑒智機器人以視覺雷達為核心的高級別自動駕駛等產(chǎn)品和解決方案中，為自動駕駛的大規(guī)模量產(chǎn)發(fā)揮關(guān)鍵的作用。

BEVDet技術(shù)報告鏈接：https://arxiv.org/abs/2112.11790

nuScenes 數(shù)據(jù)集是自動駕駛領(lǐng)域使用最廣泛的公開數(shù)據(jù)集之一，也是目前最權(quán)威的自動駕駛純視覺 3D 目標(biāo)檢測評測集。在傳感器方面，nuScenes 一共配置了 6 個相機、1 個 LiDAR、5 個 RADAR，值得注意的是，和 KITTI 和 Waymo 等僅提供部分視角的數(shù)據(jù)集不同，nuScenes 提供了 360 度的相機視野，可以對周圍環(huán)境進行全方位的感知。數(shù)據(jù)方面，nuScenes 提供了包含二維、三維物體標(biāo)注、點云分割、高精地圖等豐富的標(biāo)注信息，共包含 1000 個場景、140 萬幀圖像、39 萬幀激光雷達點云數(shù)據(jù)、23 個物體類別、140 萬個三維標(biāo)注框，數(shù)據(jù)規(guī)模和難度遠超自動駕駛數(shù)據(jù)集 KITTI。此前參與 nuScenes 純視覺 3D 目標(biāo)檢測評測的廠商包括豐田研究院（TRI）、華為、理想汽車、商湯科技、MIT、清華大學(xué)、香港中文大學(xué)、CMU、加州大學(xué)伯克利分校等國內(nèi)外知名企業(yè)和研究機構(gòu)。

高級別自動駕駛需要時刻對周圍的環(huán)境進行感知以進行決策規(guī)劃，而基于純視覺輸入進行 3D 空間中的目標(biāo)檢測是其中最具挑戰(zhàn)的任務(wù)之一。由 2D 圖像感知 3D 空間的目標(biāo)，是利用低維度的輸入預(yù)測高維度信息，維度缺失使得任務(wù)的難度遠大于 2D 目標(biāo)檢測，需要設(shè)計合理的范式充分利用輸入圖像信息對高維度信息進行建模推理。目前業(yè)界基于純視覺的 3D 感知框架，主要在圖像空間進行目標(biāo)檢測。此類范式不僅依賴極高的算力資源，另外也無法與語義分割等任務(wù)進行并行推理，可擴展性較差。

針對該問題，鑒智機器人提出了下一代純視覺自動駕駛 3D 目標(biāo)檢測框架 BEVDet。BEVDet 遵循模塊化設(shè)計的理念，包含以下四個分工明確的模塊：圖像編碼模塊用于在二維圖像空間提取高緯度的特征；視角變換模塊用于把圖像空間的特征轉(zhuǎn)換到鳥瞰視角空間（Bird-Eye-View, BEV）的特征；鳥瞰視角的編碼模塊用于在鳥瞰視角下進一步提取特征；以及一個三維目標(biāo)預(yù)測模塊（Head）用于在鳥瞰視角空間對三維目標(biāo)的定位、尺度、朝向、速度和類別的預(yù)測。BEVDet 通過上述的四個模塊簡潔的解決純視覺自動駕駛 3D 目標(biāo)檢測的問題。

最后的性能也充分證明了該算法的有效性，在自動駕駛權(quán)威數(shù)據(jù)集 nuScenes 上，BEVDet 在計算量和精度等指標(biāo)上都具有絕對的優(yōu)勢。相比于之前的算法，BEVDet 通過更小的 1/8 輸入分辨率，更低的 1/4 的計算量，可以達到相近的精度指標(biāo)。在使用相似分辨率輸入的情況下，BEVDet 擁有明顯的精度優(yōu)勢。此外，BEVDet 在預(yù)測目標(biāo)的定位、尺度、方向等方面皆表現(xiàn)出超越已有范式的性能。

從自動駕駛技術(shù)發(fā)展角度看，BEVDet 具有以下的優(yōu)勢：

BEVDet 框架具有較強的擴展性，鑒智機器人正基于 BEVDet 進行擴展，實現(xiàn)視覺雷達、4D 感知、實時局部地圖等自動駕駛關(guān)鍵模塊；

BEVDet 基于相機模型構(gòu)建 view-transformer ，可有效降低視覺變換模塊的學(xué)習(xí)難度，相比特斯拉所使用的不帶先驗的 attention-based-view-transformer，此方案可大幅度減少模型對數(shù)據(jù)量需求，使模型在數(shù)據(jù)量有限情況下的具備更強的泛化性能；

BEVDet 利用更低的算力達到同樣或者更好的算法效果，將有助于自動駕駛系統(tǒng)的算力利用效率的提升。

當(dāng)前自動駕駛技術(shù)的發(fā)展已經(jīng)進入下半場，一方面需要解決關(guān)鍵性問題（成像問題、3D 問題）推動自動駕駛等級的提升，另一方面需要構(gòu)建更優(yōu)的范式充分利用規(guī)?；臄?shù)據(jù)并進行持續(xù)升級迭代。

鑒智機器人以 “基于軟硬協(xié)同優(yōu)化，構(gòu)建機器人傳感器計算與智能大腦” 為目標(biāo)，專注自動駕駛傳感器計算與下一代自動駕駛方案的研發(fā)。目前已建立起覆蓋算法、算力、軟件、硬件的 100 余人的全棧自動駕駛研發(fā)團隊，核心成員均來自國內(nèi)一流 AI 算法、算力設(shè)計和自動駕駛公司。將基于視覺為主的傳感器輸入，通過攝像頭 + 算法 + 算力的傳感器計算模式，打造視覺雷達標(biāo)準(zhǔn)產(chǎn)品，并構(gòu)建以視覺雷達為核心的高級別自動駕駛解決方案。