基于BERT-CNN的新聞文本分類的知識蒸餾方法研究
所屬分類：技術(shù)論文
上傳者：aetmagazine
文檔大?。?span>3576 K
標(biāo)簽： 新聞文本 BERT CNN
所需積分：0分積分不夠怎么辦？
文檔介紹：近年來，隨著大數(shù)據(jù)時(shí)代進(jìn)入人類的生活之后，人們的生活中出現(xiàn)很多無法識別的文本、語義等其他數(shù)據(jù)，這些數(shù)據(jù)的量十分龐大，語義也錯(cuò)綜復(fù)雜，這使得分類任務(wù)更加困難。如何讓計(jì)算機(jī)對這些信息進(jìn)行準(zhǔn)確的分類，已成為當(dāng)前研究的重要任務(wù)。在此過程中，中文新聞文本分類成為這個(gè)領(lǐng)域的一個(gè)分支，這對國家輿論的控制、用戶日常行為了解、用戶未來言行的預(yù)判都有著至關(guān)重要的作用。針對新聞文本分類模型參數(shù)量多和訓(xùn)練時(shí)間過長的不足，在最大限度保留模型性能的情況下壓縮訓(xùn)練時(shí)間，力求二者折中，故提出基于BERT-CNN的知識蒸餾。根據(jù)模型壓縮的技術(shù)特點(diǎn)，將BERT作為教師模型，CNN作為學(xué)生模型，先將BERT進(jìn)行預(yù)訓(xùn)練后再讓學(xué)生模型泛化教師模型的能力。實(shí)驗(yàn)結(jié)果表明，在模型性能損失約2.09%的情況下，模型參數(shù)量壓縮約為原來的1/82，且時(shí)間縮短約為原來的1/670。
現(xiàn)在下載
VIP會員，AET專家下載不扣分；重復(fù)下載不扣分，本人上傳資源不扣分。