基于改進(jìn)BERT-BiGRU模型的文本情感分類(lèi)研究
2023年電子技術(shù)應(yīng)用第2期
李蕓1，2，潘雅麗1，肖冬1
1.杭州電子科技大學(xué) 電子信息學(xué)院，浙江 杭州 310018；2.浙江省裝備電子研究重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 310018
摘要： 針對(duì)目前網(wǎng)絡(luò)評(píng)論文本情感分類(lèi)準(zhǔn)確性不高的問(wèn)題，提出一種基于BERT和雙向門(mén)控循環(huán)單元（BiGRU）的改進(jìn)模型，使用能夠表征文本豐富語(yǔ)義特征的BERT模型進(jìn)行詞向量表示，結(jié)合能夠長(zhǎng)期保留文本上下文關(guān)聯(lián)信息的BiGRU神經(jīng)網(wǎng)絡(luò)提高模型的分類(lèi)效果，并在此基礎(chǔ)上引入注意力機(jī)制，突出文本中更能表達(dá)分類(lèi)結(jié)果的情感詞權(quán)重，提高情感分類(lèi)的準(zhǔn)確率。將上述模型分別在Acllmdb_v1和酒店評(píng)論兩個(gè)公開(kāi)數(shù)據(jù)集上進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果表明，該模型在中、英文文本情感分類(lèi)任務(wù)中都獲得了良好的性能。
中圖分類(lèi)號(hào)：TP391.1
文獻(xiàn)標(biāo)志碼：A
DOI: 10.16157/j.issn.0258-7998.223108
中文引用格式： 李蕓，潘雅麗，肖冬. 基于改進(jìn)BERT-BiGRU模型的文本情感分類(lèi)研究[J]. 電子技術(shù)應(yīng)用，2023，49(2)：9-14.
英文引用格式： Li Yun，Pan Yali，Xiao Dong. Research on text emotion classification based on improved BERT-BiGRU model[J]. Application of Electronic Technique，2023，49(2)：9-14.
文獻(xiàn)標(biāo)志碼：A
DOI: 10.16157/j.issn.0258-7998.223108
中文引用格式： 李蕓，潘雅麗，肖冬. 基于改進(jìn)BERT-BiGRU模型的文本情感分類(lèi)研究[J]. 電子技術(shù)應(yīng)用，2023，49(2)：9-14.
英文引用格式： Li Yun，Pan Yali，Xiao Dong. Research on text emotion classification based on improved BERT-BiGRU model[J]. Application of Electronic Technique，2023，49(2)：9-14.
Research on text emotion classification based on improved BERT-BiGRU model
Li Yun1，2，Pan Yali1，Xiao Dong1
1.School of Electronics Information， Hangzhou Dianzi University， Hangzhou 310018， China； 2.Zhejiang Provincial Key Laboratory of Equipment Electronics， Hangzhou 310018， China
Abstract： Aiming at the problem that the accuracy of text emotion classification of online comment is not high, an improved model based on BERT and bidirectional gated recurrent unit (BiGRU) is proposed. The word vector representation is carried out by using the BERT model which can represent the rich semantic features of the text. The classification effect of the model is improved by combining the BiGRU neural network which can retain the text context related information for a long time. On this basis, the attention mechanism is introduced, to highlight the weight of emotional words which can better express the classification results in the text, and improve the accuracy of emotional classification. The above model was tested on Acllmdb_v1 data set and hotel reviews data set, which are public data set. The experimental results show that the model achieves good performance in both Chinese and English text emotion classification tasks.
Key words : text emotion classification；BERT；BiGRU；attention mechanism
0 引言
文本情感分類(lèi)[1]是自然語(yǔ)言處理(Natural Language Processing, NLP)的一個(gè)重要任務(wù)。隨著互聯(lián)網(wǎng)的飛速發(fā)展，人們不僅能夠從網(wǎng)上獲取信息，還能通過(guò)各種平臺(tái)隨心所欲地發(fā)表包含自己主觀情緒的觀點(diǎn)和看法，例如網(wǎng)絡(luò)購(gòu)物、微博評(píng)論等。對(duì)含有豐富情感信息的文本數(shù)據(jù)進(jìn)行分析具有非常重要的現(xiàn)實(shí)意義，它被廣泛應(yīng)用于產(chǎn)品推薦、搜索排名等領(lǐng)域。但由于一些平臺(tái)字符長(zhǎng)度有限，而且用戶(hù)表達(dá)較隨意，存在用詞不規(guī)范和詞語(yǔ)拼寫(xiě)錯(cuò)誤等問(wèn)題，傳統(tǒng)的情感分類(lèi)方法在許多方面表現(xiàn)效果差強(qiáng)人意，實(shí)現(xiàn)高效準(zhǔn)確的自動(dòng)文本情感分類(lèi)方法是本文的主要研究?jī)?nèi)容。
本文詳細(xì)內(nèi)容請(qǐng)下載：http://theprogrammingfactory.com/resource/share/2000005161。
作者信息：
李蕓1，2，潘雅麗1，肖冬1
（1.杭州電子科技大學(xué) 電子信息學(xué)院，浙江 杭州 310018；2.浙江省裝備電子研究重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 310018）
此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。