最新資訊

基于BERT-CNN的新聞文本分類的知識(shí)蒸餾方法研究

近年來(lái)，隨著大數(shù)據(jù)時(shí)代進(jìn)入人類的生活之后，人們的生活中出現(xiàn)很多無(wú)法識(shí)別的文本、語(yǔ)義等其他數(shù)據(jù)，這些數(shù)據(jù)的量十分龐大，語(yǔ)義也錯(cuò)綜復(fù)雜，這使得分類任務(wù)更加困難。如何讓計(jì)算機(jī)對(duì)這些信息進(jìn)行準(zhǔn)確的分類，已成為當(dāng)前研究的重要任務(wù)。在此過(guò)程中，中文新聞文本分類成為這個(gè)領(lǐng)域的一個(gè)分支，這對(duì)國(guó)家輿論的控制、用戶日常行為了解、用戶未來(lái)言行的預(yù)判都有著至關(guān)重要的作用。針對(duì)新聞文本分類模型參數(shù)量多和訓(xùn)練時(shí)間過(guò)長(zhǎng)的不足，在最大限度保留模型性能的情況下壓縮訓(xùn)練時(shí)間，力求二者折中，故提出基于BERT-CNN的知識(shí)蒸餾。根據(jù)模型壓縮的技術(shù)特點(diǎn)，將BERT作為教師模型，CNN作為學(xué)生模型，先將BERT進(jìn)行預(yù)訓(xùn)練后再讓學(xué)生模型泛化教師模型的能力。實(shí)驗(yàn)結(jié)果表明，在模型性能損失約2.09%的情況下，模型參數(shù)量壓縮約為原來(lái)的1/82，且時(shí)間縮短約為原來(lái)的1/670。

發(fā)表于：1/13/2023