《電子技術應用》
您所在的位置：首頁 > 人工智能 > 設計應用 > 一種深度神經(jīng)網(wǎng)絡的分布式訓練方法
一種深度神經(jīng)網(wǎng)絡的分布式訓練方法
電子技術應用 2023年3期
原野1，田園1，蔣七兵2，3
（1.云南電網(wǎng)有限責任公司 信息中心，云南 昆明 650214；2.云南云電同方科技有限公司 云南 昆明 650214； 3.西南林業(yè)大學 大數(shù)據(jù)與智能工程學院，云南 昆明 650224）
摘要： 深度神經(jīng)網(wǎng)絡在高維數(shù)據(jù)的分類和預測中取得了巨大成功。訓練深度神經(jīng)網(wǎng)絡是數(shù)據(jù)密集型的任務，需從多個數(shù)據(jù)源收集大規(guī)模的數(shù)據(jù)。這些數(shù)據(jù)中通常包含敏感信息時，使得深度神經(jīng)網(wǎng)絡的訓練過程容易泄露數(shù)據(jù)隱私。針對訓練過程中的數(shù)據(jù)隱私和通信代價問題，提出了一種深度神經(jīng)網(wǎng)絡的分布式訓練方法，允許基于多個數(shù)據(jù)源共同訓練深度神經(jīng)網(wǎng)絡。首先，提出了分布式訓練架構，由1個計算中心和多個代理組成。其次，提出了基于多代理的分布式訓練算法，允許代理在數(shù)據(jù)不出本地和減少通信代價的情況下，通過切割深度神經(jīng)網(wǎng)絡，實現(xiàn)分布式地共同訓練模型。然后，分析了算法的正確性。最后，實驗結果表明該方法是有效的。
中圖分類號：TP311 文獻標志碼：A DOI: 10.16157/j.issn.0258-7998.223244
中文引用格式： 原野，田園，蔣七兵. 一種深度神經(jīng)網(wǎng)絡的分布式訓練方法[J]. 電子技術應用，2023，49(3)：48-53.
英文引用格式： Yuan Ye，Tian Yuan，Jiang Qibing. Distributed training method for deep neural networks[J]. Application of Electronic Technique，2023，49(3)：48-53.
Distributed training method for deep neural networks
Yuan Ye1，Tian Yuan1，Jiang Qibing2，3
(1.Information Center， Yunnan Power Grid Co.， Ltd.， Kunming 650214， China； 2.Yunnan Yundian Tongfang Technology Co.， Ltd.， Kunming 650214， China； 3.School of Big Data and Intelligent Engineering， Southwest Forestry University， Kunming 650224， China)
Abstract： Abstract： Deep neural networks have achieved great success in classification and prediction of high-dimensional data. Training deep neural networks is a data-intensive task, which needs to collect large-scale data from multiple data sources. These data usually contain sensitive information, which makes the training process of convolutional neural networks easy to leak data privacy. Aiming at the problems of data privacy and communication cost in the training process, this paper proposes a distributed training method for deep neural networks, which allows to jointly learn deep neural networks based on multiple data sources. Firstly, a distributed training architecture is proposed, which is composed of one computing center and multiple agents. Secondly, a distributed training algorithm based on multiple data sources is proposed, which allows to distributed jointly train models through the splitting of convolutional neural networks under the constraints that raw data are not shared directly and the communication cost is reduced. Thirdly, the correctness of the algorithm is analyzed. Finally, the experimental results show that our method is effective.
Key words : deep neural network；distributed training；supervised learning；privacy guarantee

0　引言

深度神經(jīng)網(wǎng)絡在高維數(shù)據(jù)的分類和預測中取得了巨大成功，例如圖像、視頻和音頻。但是，訓練深度神經(jīng)網(wǎng)絡是數(shù)據(jù)密集型的任務，往往需要從多個數(shù)據(jù)源收集大規(guī)模的數(shù)據(jù)。一個深度神經(jīng)網(wǎng)絡模型通常包含百萬級參數(shù)，需要大量數(shù)據(jù)和算力來訓練這些參數(shù)。

當訓練數(shù)據(jù)包含敏感信息時，深度神經(jīng)網(wǎng)絡的訓練過程往往會泄露隱私。如果訓練數(shù)據(jù)中包含用戶信息、管理信息等高度敏感的信息，數(shù)據(jù)所有者通常不希望公開這些敏感數(shù)據(jù)。因此，深度神經(jīng)網(wǎng)絡因數(shù)據(jù)隱私而在現(xiàn)實應用中受到限制。

為了控制深度神經(jīng)網(wǎng)絡訓練過程中數(shù)據(jù)的隱私泄露，一種可行的解決方案是使用集中式的隱私保護深度學習方法。該方法依賴于一個可信的集中式計算環(huán)境，訓練過程使用全局差分隱私算法擾亂訓練數(shù)據(jù)，從而實現(xiàn)數(shù)據(jù)的隱私保護。在這種方式下，多個數(shù)據(jù)源需要信任云服務器，并將擁有的數(shù)據(jù)上傳到云服務器，而云服務器將使用各數(shù)據(jù)源上傳的數(shù)據(jù)集中訓練深度神經(jīng)網(wǎng)絡。但是，這種方法因要求各代理共享數(shù)據(jù)而在實際使用中受到限制。

相比集中式的隱私保護深度學習方法，分布式的學習方法更適合實際應用，因為分布式的學習方法并不需要各數(shù)據(jù)源（代理）共享上傳數(shù)據(jù)，也不需要集中式的可信計算環(huán)境。聯(lián)邦學習是一種分布式的學習方法。在聯(lián)邦學習中，各數(shù)據(jù)源在不共享數(shù)據(jù)的情況下，通過參數(shù)聚合機制共同訓練卷積神經(jīng)網(wǎng)絡。但是，該方法在訓練過程中將面臨巨大的通信開銷。

針對上述問題，本文提出了一種深度神經(jīng)網(wǎng)絡的分布式訓練方法。該方法允許多個數(shù)據(jù)源在不共享數(shù)據(jù)的情況下，通過網(wǎng)絡切割，共同訓練深度神經(jīng)網(wǎng)絡，并減少訓練過程中的通信開銷。具體地，本文主要貢獻包括以下幾點：

(1) 提出了一種深度神經(jīng)網(wǎng)絡的分布式訓練方法，允許代理在數(shù)據(jù)不出本地的情況下，通過網(wǎng)絡切割，實現(xiàn)模型的分布式共同訓練；

(2) 分析了該方法的正確性；

(3) 通過實驗，驗證了該方法的有效性。



本文詳細內(nèi)容請下載：http://theprogrammingfactory.com/resource/share/2000005228




作者信息：

原野1，田園1，蔣七兵2，3

（1.云南電網(wǎng)有限責任公司 信息中心，云南 昆明 650214；2.云南云電同方科技有限公司 云南 昆明 650214；

3.西南林業(yè)大學 大數(shù)據(jù)與智能工程學院，云南 昆明 650224）



微信圖片_20210517164139.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權禁止轉(zhuǎn)載。