"借助NI EVS和PXI平臺，我們通過硬件設(shè)計(jì)和軟件編程完成了此系統(tǒng)的開發(fā)。通過對車道偏離預(yù)警（LDW）功能的設(shè)計(jì)與測試，證明該系統(tǒng)可以在機(jī)器視覺的輔助駕駛開發(fā)中運(yùn)用。"

- 希鵬 李, 重慶大學(xué)電氣工程學(xué)院

The Challenge:
基于機(jī)器視覺的輔助駕駛技術(shù)日漸成熟，在中高級轎車中已經(jīng)實(shí)現(xiàn)產(chǎn)品化，切實(shí)提高了汽車的主動(dòng)安全性能。開發(fā)機(jī)器視覺輔助駕駛系統(tǒng)時(shí)，需要考慮不同外界因素的影響，導(dǎo)致整個(gè)系統(tǒng)的算法復(fù)雜、代碼繁多；在開發(fā)初期，考慮到安全因素的影響，系統(tǒng)不可能直接進(jìn)行實(shí)車試驗(yàn)，進(jìn)一步加深了系統(tǒng)開發(fā)的難度。這些都是開發(fā)機(jī)器視覺輔助駕駛系統(tǒng)時(shí)面臨的難題。如何更加關(guān)注算法開發(fā)，減少代碼開發(fā)投入，并能在有效、可信、可重復(fù)的環(huán)境下測試，以便及時(shí)發(fā)現(xiàn)問題并進(jìn)行整改，是機(jī)器視覺輔助駕駛系統(tǒng)開發(fā)面臨的難點(diǎn)。

The Solution:
該方案主要解決機(jī)器視覺輔助駕駛系統(tǒng)的快速開發(fā)及測試問題。NI的EVS嵌入式視覺系統(tǒng)適合快速檢測及大型圖像處理，能連接多架相機(jī)，并實(shí)現(xiàn)同步檢測。借助LabVIEW編程語言及VDM編程模塊可快速實(shí)現(xiàn)要求的識別功能，使機(jī)器視覺產(chǎn)品的開發(fā)更加高效?；贜I PXI的仿真測試平臺，結(jié)合虛擬現(xiàn)實(shí)軟件CarMaker，通過VeriStand集成整個(gè)測試系統(tǒng)，從而搭建出真實(shí)有效的虛擬測試場景，實(shí)現(xiàn)機(jī)器視覺功能的全面、有效和可重復(fù)的測試。開發(fā)新功能時(shí)，借助NI EVS平臺可以快速完成方案建模及編程過程；借助于基于NI PXI的虛擬駕駛測試平臺，既能夠盡早發(fā)現(xiàn)產(chǎn)品問題并進(jìn)行整改，又可以保證測試過程的安全性。機(jī)器視覺系統(tǒng)與測試平臺的結(jié)合，能進(jìn)一步提升基于機(jī)器視覺輔助駕駛系統(tǒng)的開發(fā)效率。

1  引言
基于機(jī)器視覺的輔助駕駛系統(tǒng)旨在提高駕駛員的環(huán)境感知能力，通過輔助系統(tǒng)監(jiān)測外界環(huán)境，并在非安全情況及時(shí)向駕駛員發(fā)出預(yù)警，從而使人—車—路系統(tǒng)更加穩(wěn)定、安全、可靠，提高汽車的安全性能。

開發(fā)基于機(jī)器視覺的輔助駕駛系統(tǒng)時(shí)，需要面對以下難點(diǎn)：

（1）系統(tǒng)算法復(fù)雜，代碼繁多。機(jī)器視覺主要是借助攝像頭采集外界信息并將其轉(zhuǎn)換為數(shù)字圖像信號進(jìn)行處理，面對不同的外界環(huán)境和檢測目的，致使系統(tǒng)需要處理的針對點(diǎn)不一樣，因此，使得整個(gè)系統(tǒng)在算法方面異常復(fù)雜，開發(fā)過程緩慢。

（2）測試環(huán)境要求苛刻。在系統(tǒng)開發(fā)后期，測試其性能并進(jìn)行整改是整個(gè)研發(fā)過程中的關(guān)鍵步驟之一。相比較于其他汽車電子產(chǎn)品，基于機(jī)器視覺的輔助駕駛技術(shù)產(chǎn)品在測試時(shí)需要考慮兩點(diǎn)因素：第一，實(shí)車試驗(yàn)時(shí)，駕駛員的安全是否能夠得到保障；第二，測試過程需要有效、可信、可從復(fù)，便于及時(shí)發(fā)現(xiàn)問題并進(jìn)行整改。

在開發(fā)基于機(jī)器視覺輔助駕駛系統(tǒng)過程中，如果能把上述難題順利解決，將為以后基于機(jī)器視覺的輔助駕駛技術(shù)產(chǎn)品研發(fā)做好鋪墊，提高輔助駕駛技術(shù)產(chǎn)品的開發(fā)效率，促進(jìn)輔助駕駛技術(shù)產(chǎn)品早日投入量產(chǎn)，最終提高汽車的安全性能。

2  設(shè)計(jì)背景和設(shè)計(jì)原則
針對以上在機(jī)器視覺輔助駕駛系統(tǒng)研發(fā)及測試過程中存在的問題，考慮到NI公司的EVS和PXI平臺出色的圖像處理能力及強(qiáng)大的實(shí)時(shí)仿真測試功能，采用LabVIEW編程語言，通過VeriStand開發(fā)平臺集成仿真測試模型，設(shè)計(jì)了一套基于NI EVS和PXI的機(jī)器視覺輔助駕駛開發(fā)系統(tǒng)。

借助NI EVS平臺可以快速實(shí)現(xiàn)基于機(jī)器視覺的輔助駕駛功能，這主要是依托NI EVS平臺的如下特點(diǎn)：

（1）高性能的多核處理器，2GB RAM適合快速檢測和大型圖像處理；

（2）連接多架相機(jī)以實(shí)現(xiàn)同步檢測（千兆以太網(wǎng)視覺和IEEE1394標(biāo)準(zhǔn)），可用于多種駕駛輔助功能的開發(fā)；

（3）高速I/O通道適合和工業(yè)通信，具有強(qiáng)大的擴(kuò)展能力；

（4）借助視覺生成器配置實(shí)現(xiàn)自動(dòng)檢測，無需進(jìn)行底層驅(qū)動(dòng)和接口電路的設(shè)計(jì)開發(fā)；

（5）視覺開發(fā)模塊Vision Development Module（VDM）集成了大量常見的機(jī)器視覺處理基礎(chǔ)模塊，開發(fā)人員將集中于集成和應(yīng)用，快速實(shí)現(xiàn)各類的檢測和識別功能；

（6）采用圖形化編程方式，更加便于開發(fā)人員進(jìn)行復(fù)雜算法的開發(fā)和調(diào)試。

當(dāng)設(shè)計(jì)人員有新的創(chuàng)意時(shí)，運(yùn)用該系統(tǒng)可以快速將創(chuàng)意實(shí)現(xiàn)，提高了系統(tǒng)開發(fā)的效率。其中，視覺開發(fā)模塊（VDM）可以讓設(shè)計(jì)人員更多的關(guān)注不同算法實(shí)現(xiàn)的效果，減少在編程方面的精力投入，通過綜合比較，進(jìn)一步提高系統(tǒng)的性能。

借助NI PXI平臺可以在有效、可信、可從復(fù)的環(huán)境下對系統(tǒng)進(jìn)行測試，以便及早發(fā)現(xiàn)問題并整改。NI PXI平臺在以下幾個(gè)方面具有獨(dú)特的優(yōu)勢：

（1）提供圖形化軟件開發(fā)環(huán)境和良好的人機(jī)交互元素，重點(diǎn)關(guān)注應(yīng)用程序開發(fā)，無需關(guān)注底層驅(qū)動(dòng)，人機(jī)界面易開發(fā)；

（2）良好的實(shí)時(shí)性，保證數(shù)據(jù)采集和測試的時(shí)序要求和實(shí)時(shí)性，能夠運(yùn)行復(fù)雜的車輛模型；

（3）系統(tǒng)可靠性、集成度高，可擴(kuò)展性好；

（4）具有很好開放性和擴(kuò)展性，能夠集成其他軟件平臺開發(fā)的各種模型。

綜合NI EVS和PXI的優(yōu)點(diǎn)，采用LabVIEW編程語言，通過VeriStand開發(fā)平臺集成仿真測試模型，開發(fā)了一套基于NI EVS和PXI的機(jī)器視覺輔助駕駛系統(tǒng)。

圖1 系統(tǒng)設(shè)計(jì)原理架構(gòu)圖

3  系統(tǒng)技術(shù)原理和設(shè)計(jì)架構(gòu)
針對機(jī)器視覺輔助駕駛系統(tǒng)開發(fā)所面臨的難題及相應(yīng)的解決方案可知，設(shè)計(jì)的系統(tǒng)應(yīng)具有以下兩個(gè)功能：

（1）機(jī)器視覺系統(tǒng)的快速開發(fā)與實(shí)現(xiàn)。借助NI EVS平臺，將預(yù)先設(shè)定的需求功能通過編程實(shí)現(xiàn)，并保證整個(gè)硬件系統(tǒng)滿足功能需要。

（2）基于機(jī)器視覺的駕駛輔助功能的可信、有效和可重復(fù)的測試。借助NI PXI平臺，搭建一套虛擬測試系統(tǒng)，從而測試機(jī)器視覺開發(fā)部分出現(xiàn)的問題，以便及時(shí)整改，提高系統(tǒng)安全性能。

根據(jù)上述思想，系統(tǒng)設(shè)計(jì)原理架構(gòu)如圖1所示。

如圖1所示，整個(gè)平臺分為虛擬測試系統(tǒng)和機(jī)器視覺系統(tǒng)兩部分，兩部分由各自的硬件及軟件構(gòu)成。

在虛擬測試系統(tǒng)中，PC機(jī)1通過TCP/IP協(xié)議與仿真測試平臺連接，對仿真模型進(jìn)行參數(shù)配置。仿真測試平臺的主要功能是運(yùn)行車輛動(dòng)力學(xué)模型并采集虛擬駕駛艙輸出參數(shù)，仿真測試結(jié)果通過CAN通信的方式傳輸?shù)絇C機(jī)2，PC機(jī)2中運(yùn)行的虛擬現(xiàn)實(shí)軟件將輸仿真測試平臺的輸出參數(shù)轉(zhuǎn)化為車輛運(yùn)行效果并在虛擬駕駛艙中顯示出來。

機(jī)器視覺系統(tǒng)中，攝像頭采集虛擬駕駛艙中的虛擬駕駛場景，通過TCP/IP協(xié)議與視覺處理平臺連接，在視覺處理平臺編程實(shí)現(xiàn)機(jī)器視覺功能。

3.1  機(jī)器視覺系統(tǒng)
機(jī)器視覺系統(tǒng)部分的主要作用是，設(shè)計(jì)者根據(jù)事先要設(shè)定的需求，通過視覺處理系統(tǒng)，編程實(shí)現(xiàn)各類識別和檢測功能。

機(jī)器視覺系統(tǒng)的核心是NI EVS嵌入式視覺開發(fā)平臺，借助NI EVS平臺的重要原因之一就是考慮到LabVIEW編程語言的簡潔直觀性及視覺開發(fā)模塊Vision Development Module（VDM）出色的圖像處理能力。視覺開發(fā)模塊專用于開發(fā)和配置機(jī)器視覺應(yīng)用程序。它包含了數(shù)百種函數(shù)，可采集來自多種攝像頭的圖像，還可進(jìn)行各種圖像處理，包括圖像增強(qiáng)、檢查顯像、定位特性、識別對象和測量部件等。借助EVS硬件平臺及軟件編程環(huán)境可以快速實(shí)現(xiàn)設(shè)定功能，大大縮短了開發(fā)時(shí)間。

機(jī)器視覺系統(tǒng)結(jié)構(gòu)如圖2所示。

圖2 機(jī)器視覺系

圖3 虛擬測試系統(tǒng)結(jié)構(gòu)圖

虛擬現(xiàn)實(shí)軟件模擬出來的路況信息通過液晶顯示器顯示出來，由piA1000-60gc攝像頭采集并傳入NI EVS-1464（Windows）嵌入式視覺系統(tǒng)處理，根據(jù)預(yù)先設(shè)定的算法程序，完成機(jī)器視覺的功能。

3.2  虛擬測試系統(tǒng)
虛擬測試系統(tǒng)的主要作用是，提供一套有效、可信、可從復(fù)的虛擬環(huán)境，保證測試過程的實(shí)時(shí)性，便于及時(shí)發(fā)現(xiàn)問題并整改。

NI PXI平臺可以用來加快測試執(zhí)行時(shí)間、提高軟件開發(fā)效率、提高處理能力并增強(qiáng)可擴(kuò)展性，從而極大地縮減機(jī)器視覺系統(tǒng)的開發(fā)投入。

根據(jù)以上原則，綜合考慮NI PXI平臺的特點(diǎn)，搭建了虛擬測試系統(tǒng)。

虛擬測試系統(tǒng)結(jié)構(gòu)如圖3所示。

NI PXI-8513主要采集方向盤轉(zhuǎn)角信息，它作為單端口軟件可選的控制器局域網(wǎng)絡(luò)(CAN) PXI接口，適合在Windows與LabVIEW實(shí)時(shí)(Real-Time)操作系統(tǒng)上的NI LabVIEW、NI LabWindows/CVI和C/C++中開發(fā)CAN應(yīng)用程序。

NI PXI-7841R數(shù)字RIO板卡采集油門踏板信息，它提供的可編程FPGA芯片，適合板載處理和靈活的I/O操作。用戶可借助NI LabVIEW圖形化程序框圖和NI LabVIEW FPGA模塊，配置各項(xiàng)模擬和數(shù)字功能。該程序框圖在硬件中運(yùn)行，有助于直接及時(shí)地控制全部I/O信號，實(shí)現(xiàn)各項(xiàng)優(yōu)越性能。

NI PXIe-8135運(yùn)行車輛動(dòng)力學(xué)模型，它是基于Intel Core i7-3610QE處理器的高性能嵌入式控制器，可用于PXI系統(tǒng)。結(jié)合2.3 GHz基頻、3.3 GHz（單核Turbo Boost模式）四核處理器和雙通道1600 MHz DDR3內(nèi)存，該控制器非常適合用于處理器密集型模塊化儀器和數(shù)據(jù)采集應(yīng)用。

車輛動(dòng)力學(xué)模型接收到方向盤轉(zhuǎn)角、油門踏板等信息，然后車輛模型進(jìn)行相應(yīng)的運(yùn)動(dòng)，為了更加直觀的顯示運(yùn)動(dòng)效果，車輛動(dòng)力學(xué)模型的輸出連接到虛擬現(xiàn)實(shí)軟件CarMaker，結(jié)合CarMaker提供的不同交通場景，進(jìn)一步提高測試過程的真實(shí)有效性。

圖5 車道線檢測的labview程序

圖4 車道線檢測算法流程

4  軟件實(shí)現(xiàn)
考慮的整個(gè)系統(tǒng)所具備功能主要分為兩塊，因此軟件實(shí)現(xiàn)也分為兩部分，即：機(jī)器視覺軟件實(shí)現(xiàn)和虛擬測試軟件實(shí)現(xiàn)。

4.1   機(jī)器視覺軟件實(shí)現(xiàn)
基于機(jī)器視覺的輔助駕駛系統(tǒng)可以實(shí)現(xiàn)很多功能，例如車道線檢測、行人檢測、交通信號及標(biāo)志牌識別、汽車夜視系統(tǒng)等。借助本開發(fā)平臺，可以將新的創(chuàng)意在該平臺通過編程快速實(shí)現(xiàn)，并進(jìn)行試驗(yàn)驗(yàn)證。

下面以車道線檢測的實(shí)現(xiàn)過程為例介紹基于NI EVS平臺的軟件實(shí)現(xiàn)。

車道線檢測的主要功能是，借助機(jī)器視覺平臺，提供車輛在結(jié)構(gòu)化道路行駛過程中偏離車道中心線的距離及航向角等信息，當(dāng)車輛中加入車道偏離預(yù)警功能后，可以在車輛將要偏離車道邊界時(shí)，向駕駛員發(fā)出預(yù)警，從而保證車輛的安全行駛。

車輛擋風(fēng)玻璃上裝設(shè)的攝像頭采集前方路況信息，經(jīng)由EVS嵌入式視覺系統(tǒng)處理。為了保證系統(tǒng)的實(shí)時(shí)性、可靠性，原始視頻信息一般要經(jīng)過圖像裁剪、灰度化、邊緣檢測、二值化、直線檢測等處理，當(dāng)連續(xù)10幀圖像的車道線位置偏差不大時(shí)，可以認(rèn)定車輛行駛軌跡較為穩(wěn)定，因此可以縮小車道線搜索檢測區(qū)域，進(jìn)一步提高系統(tǒng)的實(shí)時(shí)性能。車道線檢測算法流程如圖4所示。

圖6 車輛動(dòng)力學(xué)模型

圖7 Veristand系統(tǒng)配置及儀表顯示界面

圖8 Carmaker三維場景

視頻裁剪主要是除去天空等與車道線檢測無關(guān)的圖像信息，減少需要處理的圖像數(shù)據(jù)，減少無關(guān)干擾，提高系統(tǒng)的實(shí)時(shí)性與準(zhǔn)確性。使用的控件為IMAQ Extract VI。

灰度化的功能是，在不影響車道線檢測的前提下，將原始的彩色圖像轉(zhuǎn)化為灰度圖像，進(jìn)一步減小需要處理的數(shù)據(jù)量。使用的控件是IMAQ ExtractSingleColorPlane VI。

邊緣檢測的目的是突出車道線邊緣，因?yàn)檐嚨谰€檢測主要是依據(jù)車道邊緣的信息。使用的控件是IMAQ EdgeDetection VI，選擇的邊緣檢測算法為Sobel算法。

二值化的作用是在邊緣檢測的基礎(chǔ)上進(jìn)一步簡化圖像信息，通過設(shè)定閾值，使高于閾值的像素點(diǎn)灰度值為1，低于閾值的像素點(diǎn)灰度值為0。使用的控件是IMAQ AutoBThreshold 2 VI，選擇的二值化算法是inter-class variance算法。

直線檢測就是在設(shè)定的區(qū)域內(nèi)設(shè)定參數(shù)檢測車道線。這里使用的控件是IMAQ Find Edge VI，算法選擇Hough變換。

當(dāng)連續(xù)10幀圖像的車道線位置偏差不大時(shí)，為減小數(shù)據(jù)處理量，提高系統(tǒng)的實(shí)時(shí)性，可以通過Kalman濾波跟蹤車道線將要出現(xiàn)的區(qū)域（ROI），然后在該區(qū)域進(jìn)行車道線檢測，減少了車道線檢測的搜索面積。

車道線檢測的labview程序如圖5所示。

圖9 輔助駕駛系統(tǒng)實(shí)物

圖10 不同路況車道線檢測效果
 

4.2   虛擬測試軟件實(shí)現(xiàn)
虛擬測試軟件的功能主要包括以下三個(gè)部分：車輛動(dòng)力學(xué)模型搭建、Veristand配置及儀表顯示、Carmaker三維場景建模。

車輛動(dòng)力學(xué)模型是整個(gè)虛擬測試平臺的基礎(chǔ)，搭建出一套符合實(shí)際車輛性能的模型可以保證測試過程更加有效可信。借助MATLAB/Simulink搭建的車輛動(dòng)力學(xué)模型如圖6所示。

Veristand在虛擬測試系統(tǒng)中起集成作用，它主要完成以下三個(gè)功能：

（1）將車輛動(dòng)力學(xué)模型導(dǎo)入到PXI平臺；

（2）生成虛擬儀表，利用操作界面實(shí)時(shí)在線監(jiān)控運(yùn)行任務(wù)并與之交互；

（3）配置IO口、CAN通信數(shù)據(jù)連接關(guān)系。

Veristand系統(tǒng)配置及儀表顯示界面如7所示。

Carmaker三維場景可以把車輛模型的輸出以運(yùn)動(dòng)的效果顯現(xiàn)出來。Veristand通過CAN通信的方式，將車輛模型的輸出數(shù)據(jù)傳遞給Carmaker軟件，Carmaker搭建不同的路況環(huán)境，使測試過程更加多樣化。Carmaker三維場景如圖8所示。

虛擬測試部分的軟件將采集到的油門、方向盤等信息傳輸給在PXI中運(yùn)行的車輛動(dòng)力學(xué)模型，車輛模型仿真的動(dòng)態(tài)效果在虛擬現(xiàn)實(shí)軟件CarMaker中顯現(xiàn)出來。其中，車輛動(dòng)力學(xué)模型在MATLAB中搭建，通過仿真測試平臺VeriStand對模型配置，借助PXI平臺的優(yōu)越性，使得仿真測試過程更加流暢，實(shí)時(shí)性更高。

5  集成和應(yīng)用
將EVS部分及PXI部分的硬件和軟件分別集成到一起，完成基于NI EVS和PXI的機(jī)器視覺輔助駕駛系統(tǒng)開發(fā)。其實(shí)物如9圖所示。

下面結(jié)合車道線檢測的開發(fā)，介紹基于機(jī)器視覺輔助駕駛技術(shù)平臺的運(yùn)用。

在CarMaker中搭建不同的路況，在機(jī)器視覺系統(tǒng)通過編程設(shè)計(jì)，部分檢測結(jié)果如圖10所示。

其中圖a路況信息最簡單，不存在干擾情況，圖b中存在一個(gè)十字路口，圖c中存在道路交通標(biāo)志，圖d中出現(xiàn)了彎道。從圖10可以看出，在無干擾情況下，可以正確的檢測出車道線，當(dāng)存在十字路口、交通標(biāo)志時(shí)，依然能檢測出車道線，當(dāng)存在彎道情況時(shí)，無法準(zhǔn)確檢測出車道線，這主要是在車道線檢測算法中未考慮曲線檢測的算法所致，需要在后續(xù)的開發(fā)過程中完善。

6   結(jié)論
針對基于機(jī)器視覺的輔助駕駛系統(tǒng)開發(fā)面臨的難題，在分析系統(tǒng)需求的基礎(chǔ)上，借助NI EVS和PXI平臺，通過硬件設(shè)計(jì)和軟件編程，完成了此系統(tǒng)的開發(fā)。通過對車道偏離預(yù)警（LDW）功能的設(shè)計(jì)與測試，證明該系統(tǒng)可以在機(jī)器視覺的輔助駕駛開發(fā)中運(yùn)用。

該系統(tǒng)充分利用了NI EVS平臺出色的圖像處理能力及PXI平臺強(qiáng)大的仿真測試功能。在機(jī)器視覺功能開發(fā)階段，EVS的硬件平臺及軟件資源可以幫助設(shè)計(jì)者快速完成建模及編程等步驟，縮短了研發(fā)的周期。PXI平臺的可靠性高，現(xiàn)場能力強(qiáng)，實(shí)時(shí)性好，軟硬件集成度高，可擴(kuò)展性好等特點(diǎn)，在有限投入下，實(shí)現(xiàn)了機(jī)器視覺駕駛輔助系統(tǒng)的虛擬測試。EVS平臺和PXI平臺的兼容性好，兩者結(jié)合，加快了機(jī)器視覺輔助駕駛技術(shù)從創(chuàng)意到產(chǎn)品的實(shí)現(xiàn)過程，并為其早日投入量產(chǎn)進(jìn)而提高汽車主動(dòng)安全性能打下基礎(chǔ)。