《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 可編程邏輯 > 設(shè)計(jì)應(yīng)用 > 面向圖像語(yǔ)義分割的多類型卷積加速器設(shè)計(jì)
面向圖像語(yǔ)義分割的多類型卷積加速器設(shè)計(jì)
中國(guó)電子科技集團(tuán)第五十八研究所，江蘇 無(wú)錫 214035
史興強(qiáng)，強(qiáng)小燕，鞏凱，邢夢(mèng)菲
摘要： 圖像語(yǔ)義分割網(wǎng)絡(luò)為了提升精度常采用結(jié)構(gòu)復(fù)雜的卷積層作為基礎(chǔ)的特征提取單元，這類卷積層存在的不同類型卷積增加了對(duì)網(wǎng)絡(luò)并行加速計(jì)算的難度。針對(duì)語(yǔ)義分割網(wǎng)絡(luò)不同類型的卷積的加速計(jì)算需求，提出一種基于FPGA的面向多類型卷積的并行計(jì)算加速器。首先對(duì)卷積的計(jì)算原理進(jìn)行分析，然后根據(jù)不同卷積類型的基本運(yùn)算原理構(gòu)建多乘法并行計(jì)算的處理單元，并通過(guò)多處理單元并行、數(shù)據(jù)重用以及PIPELINE方法對(duì)卷積進(jìn)行加速計(jì)算。實(shí)驗(yàn)結(jié)果表明，對(duì)于特定尺寸的特征圖，使用所提的卷積加速器設(shè)計(jì)方法最多可以達(dá)到113倍的速度提升。 關(guān)鍵詞：圖像語(yǔ)義分割；多類型卷積；FPGA；計(jì)算加速
中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A DOI: 10.16157/j.issn.0258-7998.234591
中文引用格式： 史興強(qiáng)，強(qiáng)小燕，鞏凱，等. 面向圖像語(yǔ)義分割的多類型卷積加速器設(shè)計(jì)[J]. 電子技術(shù)應(yīng)用，2023，49(12)：26-30.
英文引用格式： Shi Xingqiang，Qiang Xiaoyan，Gong Kai，et al. Design of multi type convolution accelerator for image semantic segmentation[J]. Application of Electronic Technique，2023，49(12)：26-30.
Design of multi type convolution accelerator for image semantic segmentation
Shi Xingqiang，Qiang Xiaoyan，Gong Kai，Xing Mengfei
No.58 Research Institute of China Electronics Technology Group Corporation， Wuxi 214035， China
Abstract： In order to improve accuracy, image semantic segmentation networks often use complex convolutional layers as the basic feature extraction units. The different types of convolutions present in these convolutional layers increase the difficulty of parallel acceleration computation for the network. A parallel computing accelerator based on FPGA for multi type convolutions is proposed to meet the accelerated computing requirements of different types of convolutions in semantic segmentation networks. Firstly, the calculation principle of convolution is analyzed. Then, based on the basic operation principles of different convolution types, a processing unit for multi multiplication parallel computing is constructed. The convolution is accelerated through multi processing unit parallelism, data reuse, and PIPELINE method. The experimental results show that for specific size feature maps, using the proposed convolutional accelerator design method can achieve a maximum speed increase of 113 times.
Key words : image semantic segmentation；multi type convolutions；FPGA；computational acceleration

0　引言

圖像語(yǔ)義分割是將圖像的每個(gè)像素分類為一個(gè)實(shí)例[1]。該技術(shù)是場(chǎng)景理解的基礎(chǔ)性技術(shù)[2]，在自動(dòng)駕駛[3-5]、人機(jī)交互[6]、計(jì)算攝影[7]、圖像搜索引擎[8]以及醫(yī)學(xué)圖像研究[9-11]中起到重要作用。隨著深度學(xué)習(xí)發(fā)展，基于CNN的圖像語(yǔ)義分割方法逐漸成為圖像語(yǔ)義分割的主流[12]。

圖像語(yǔ)義分割在嵌入式邊緣端有著廣闊的應(yīng)用前景，但是嵌入式邊緣設(shè)備的處理核心多是基于精簡(jiǎn)指令集的微處理器，由于順序數(shù)據(jù)處理方式的限制，使得網(wǎng)絡(luò)中的計(jì)算無(wú)法高效并行完成。為了提升網(wǎng)絡(luò)在嵌入式邊緣端處理效率，在嵌入式邊緣端對(duì)CNN進(jìn)行加速的研究受到廣泛關(guān)注，出現(xiàn)了大量基于高性能計(jì)算處理器的網(wǎng)絡(luò)加速方法[13-16]。其中，FPGA由于內(nèi)部包含有大量的可編程邏輯資源，可以構(gòu)建高并行的計(jì)算結(jié)構(gòu)，在較低工作時(shí)鐘頻率下仍能實(shí)現(xiàn)較高的算法處理速度，可以滿足功耗受限的嵌入式邊緣端應(yīng)用的需求，成為嵌入式邊緣端網(wǎng)絡(luò)推理加速的主流硬件加速器之一。但是，當(dāng)前基于FPGA的深度學(xué)習(xí)推理加速方法主要面向以單一標(biāo)準(zhǔn)卷積構(gòu)建的神經(jīng)網(wǎng)絡(luò)，而為了提升語(yǔ)義分割的精度以及減少語(yǔ)義分割的計(jì)算量，出現(xiàn)了空洞卷積、點(diǎn)卷積、深度卷積和標(biāo)準(zhǔn)卷積等多種卷積運(yùn)算，需要設(shè)計(jì)能夠支持多種類型卷積的加速器。

針對(duì)以上問(wèn)題，本文提出一種基于FPGA的多類型卷積加速器設(shè)計(jì)方法，并通過(guò)對(duì)不同并行度和不同計(jì)算結(jié)構(gòu)的加速器進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證加速器設(shè)計(jì)方法的有效性。


本文詳細(xì)內(nèi)容請(qǐng)下載：http://theprogrammingfactory.com/resource/share/2000005801


作者信息

史興強(qiáng)，強(qiáng)小燕，鞏凱，邢夢(mèng)菲

（中國(guó)電子科技集團(tuán)第五十八研究所，江蘇 無(wú)錫 214035）



weidian.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。