一種多教師模型知識蒸餾深度神經(jīng)網(wǎng)絡模型壓縮算法
所屬分類：技術(shù)論文
上傳者：zhoubin333
文檔大小：1151 K
標簽： 模型壓縮 知識蒸餾 多教師模型
所需積分：0分積分不夠怎么辦？
文檔介紹：為了能將龐大的深度學習模型壓縮后部署到算力和存儲能力有限的設備中時盡可能減小精度損失，對知識蒸餾模型壓縮方法進行研究，提出了一種改進后帶篩選的多教師模型知識蒸餾壓縮算法。利用多教師模型的集成優(yōu)勢，以各教師模型的預測交叉熵為篩選的量化標準篩選出表現(xiàn)更好的教師模型對學生進行指導，并讓學生模型從教師模型的特征層開始提取信息，同時讓表現(xiàn)更好的教師模型在指導中更具有話語權(quán)。在CIFAR100數(shù)據(jù)集上的VGG13等分類模型實驗結(jié)果表明，與其他壓縮算法相比在最終得到的學生模型大小相同的情況下，精度上有著更好的表現(xiàn)。
現(xiàn)在下載
VIP會員，AET專家下載不扣分；重復下載不扣分，本人上傳資源不扣分。