《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 通信與網(wǎng)絡(luò) > 設(shè)計(jì)應(yīng)用 > 多分支卷積神經(jīng)網(wǎng)絡(luò)的FPGA設(shè)計(jì)與優(yōu)化
多分支卷積神經(jīng)網(wǎng)絡(luò)的FPGA設(shè)計(jì)與優(yōu)化
2021年電子技術(shù)應(yīng)用第7期
謝思璞,魏榕山
福州大學(xué) 物理與信息工程學(xué)院,福建 福州350108
摘要: 針對(duì)拓寬神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)會(huì)導(dǎo)致計(jì)算量增大,計(jì)算性能降低,需要針對(duì)并行的網(wǎng)絡(luò)進(jìn)行更有效的優(yōu)化以及調(diào)度。通過分析FPGA平臺(tái)上實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算吞吐量和所需的帶寬,在計(jì)算資源和訪存帶寬的限制下,采用了屋頂模型進(jìn)行了設(shè)計(jì)空間的探索,提出了在不同支的卷積神經(jīng)網(wǎng)絡(luò)中使用不同的循環(huán)展開因子,從而實(shí)現(xiàn)同一卷積層中不同支神經(jīng)網(wǎng)絡(luò)的并行計(jì)算,保證計(jì)算資源和內(nèi)存資源的合理分配。實(shí)驗(yàn)結(jié)果表明,所提出的設(shè)計(jì)與先前研究相比獲得了1.31×的性能提升。
中圖分類號(hào): TN409
文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.211279
中文引用格式: 謝思璞,魏榕山. 多分支卷積神經(jīng)網(wǎng)絡(luò)的FPGA設(shè)計(jì)與優(yōu)化[J].電子技術(shù)應(yīng)用,2021,47(7):97-101.
英文引用格式: Xie Sipu,Wei Rongshan. FPGA design and optimization of multi-branch CNN[J]. Application of Electronic Technique,2021,47(7):97-101.
FPGA design and optimization of multi-branch CNN
Xie Sipu,Wei Rongshan
School of Physics and Information Engineering,F(xiàn)uzhou University,F(xiàn)uzhou 350108,China
Abstract: Broadening the structure of the neural network will lead to the increase of the amount of computation and the decrease of the computational performance, it is necessary to optimize and schedule the parallel network more effectively. By analyzing the throughput and bandwidth of convolutional neural network on FPGA platform, the roof model is used to explore the design space under the limitation of computing resources and memory access bandwidth. It is proposed to use different cycle expansion factors in different branches of convolutional neural network, so as to realize the parallel computing of different branches of neural network in the same convolution layer and ensure the computing efficiency reasonable allocation of resources and memory resources. The experimental results show that the performance of the proposed design is improved by 1.31×compared with the previous research.
Key words : multi-branch convolutional neural network;FPGA;roofline model;parallel computing

0 引言

    近年來,神經(jīng)網(wǎng)絡(luò)受到了廣泛熱議,成為了學(xué)術(shù)界和工業(yè)界的熱門議題,Google、Microsoft和Facebook等科技公司都建立了相關(guān)的研究小組,以探索CNN的新架構(gòu)[1-3]。通過對(duì)CNN架構(gòu)上的創(chuàng)新改善CNN性能,利用空間和通道信息,結(jié)構(gòu)的深度和寬度以及多路徑信息處理等方法引起了廣泛的討論。

    在眾多新型CNN架構(gòu)中,基于寬度擴(kuò)展的多支并行的CNN得到了國內(nèi)外學(xué)術(shù)屆的重視。KAWAGUCHI K等人提出網(wǎng)絡(luò)的寬度是影響網(wǎng)絡(luò)精度與準(zhǔn)確度的一個(gè)重要指標(biāo)[4]。通過在層中并行使用多個(gè)處理單元,可以得到比感知器更為復(fù)雜的映射。GoogLeNet中的Inception模塊是一種典型的多支網(wǎng)絡(luò)架構(gòu),并使用了不同尺寸的卷積核[5]。2017年,DEL COCO M等人[6]利用多分支結(jié)構(gòu)引入了并行的多尺度分析,減小了神經(jīng)網(wǎng)絡(luò)的深度,克服了過擬合問題。拓寬網(wǎng)絡(luò)寬度的多支并行卷積神經(jīng)網(wǎng)絡(luò)在圖像分割以及識(shí)別等任務(wù)中,提高了網(wǎng)絡(luò)在不同尺度上的特征提取能力,受到了國內(nèi)外研究機(jī)構(gòu)的重視[7-9]。




本文詳細(xì)內(nèi)容請(qǐng)下載:http://theprogrammingfactory.com/resource/share/2000003664。




作者信息:

謝思璞,魏榕山

(福州大學(xué) 物理與信息工程學(xué)院,福建 福州350108)




wd.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。