《電子技術(shù)應用》
您所在的位置：首頁 > 通信與網(wǎng)絡(luò) > 設(shè)計應用 > 基于標簽嵌入的多模態(tài)多標簽情感識別算法
基于標簽嵌入的多模態(tài)多標簽情感識別算法
網(wǎng)絡(luò)安全與數(shù)據(jù)治理 2022年 第1期
張 超，張信明
(中國科學技術(shù)大學 大數(shù)據(jù)學院，安徽 合肥230026)
摘要： 多模態(tài)情感分析目前是多模態(tài)分析和自然語言處理領(lǐng)域的研究熱點，在商品推薦、智能客服等場景中具有廣泛的應用?，F(xiàn)有的方法在多標簽場景下對標簽間依賴性表示不充分，并且忽略了模態(tài)特征之間語義差距。對此提出了一種基于標簽嵌入的多模態(tài)多標簽情感識別算法，通過訓練的標簽嵌入向量捕獲標簽之間依賴關(guān)系，對模態(tài)特征添加約束減小模態(tài)之間的語義差距。實驗結(jié)果顯示，該算法在多模態(tài)多標簽情感識別任務(wù)中在準確率和漢明損失指標上相較于現(xiàn)有方法有明顯提升。
中圖分類號： TP391.1
文獻標識碼： A
DOI： 10.20044/j.csdg.2097-1788.2022.01.016
引用格式： 張超，張信明. 基于標簽嵌入的多模態(tài)多標簽情感識別算法[J].網(wǎng)絡(luò)安全與數(shù)據(jù)治理，2022，41(1)：101-107.
Label embedding based multimodal multi-label emotion recognition
Zhang Chao，Zhang Xinming
(School of Data Science，University of Science and Technology of China，Hefei 230026，China)
Abstract： Multimodal utterance-level emotion recognition has been a hot topic in both multimodal analysis and natural language processing communities which has a variety of applications such as product recommendation and intelligent customer service. Previous methods do not adequately represent inter-label dependencies in multi-label scenarios and ignore the semantic gap between modality features. The proposed method uses learned label embedding to capture label dependency and adds a constraint to modality features aiming at learning modality-invariant representations to reduce the modality gap. Detailed experimental results demonstrate that the proposed method has a significant improvement on accuracy and hamming loss on the multi-modal multi-label emotion recognition task compared with existing methods.
Key words : multimodal；emotion recognition；multi-label;label embedding

0 引言

隨著互聯(lián)網(wǎng)與社交媒體的不斷發(fā)展，越來越多的人使用包含文本、語音、圖像在內(nèi)的多模態(tài)數(shù)據(jù)在社交媒體上表達自己的看法或觀點。海量的多模態(tài)數(shù)據(jù)中蘊含著豐富的情感信息，對多模態(tài)數(shù)據(jù)進行情感分析有利于了解人們對某些事件的態(tài)度和看法，在輿論監(jiān)控、商品推薦、股市預測等方面具有很大的應用價值。此外，近年來的研究表明，與單模態(tài)情感識別模型相比，多模態(tài)模型在處理社交媒體數(shù)據(jù)時具有更強的魯棒性，并在識別準確率方面取得了顯著的改進[1]。不同的模態(tài)信息可能暗含著不同的情緒，如圖1所示，可能從文本信息中只能推斷出厭惡的情緒，而從視覺和語音的組合信息中推斷出悲傷和生氣的情緒，因此必須充分融合來自不同模態(tài)的信息才能準確識別出多模態(tài)數(shù)據(jù)中的情感信息。

盡管目前多模態(tài)情感分析在模型性能方面已經(jīng)取得了較好的效果，但是仍然存在兩個問題需要解決。第一個問題是情感識別在現(xiàn)實場景中通常是一個多標簽分類問題，如何對標簽依賴關(guān)系建模并使用標簽信息是一項具有挑戰(zhàn)性的任務(wù)。目前大多數(shù)工作將多標簽分類問題轉(zhuǎn)換為多個二分類問題，而忽視了標簽之間的依賴性。另一個問題是異構(gòu)模態(tài)信號之間的巨大語義差異，使得模態(tài)特征難以直接融合。

目前關(guān)于多模態(tài)情感分析的研究主要集中在設(shè)計高效的模態(tài)融合機制。Zadeh等[2]利用張量的外積來對不同模態(tài)之間的相互作用進行建模，Tsai等[3]提出了基于注意力的模型，使用跨模態(tài)注意力融合來自不同模態(tài)的信息。盡管這些模型在多模態(tài)情感識別任務(wù)中取得了良好的效果，但是忽略了模態(tài)特征之間的語義差異，影響了多模態(tài)特征融合的效果。Ju等[4]提出了基于序列生成的模型來解決多模態(tài)多標簽情感識別問題，利用序列生成的方式對標簽之間依賴關(guān)系建模，但是這種方法依賴于預先定義的標簽順序并且計算效率低。

本文提出了一種基于標簽嵌入的多模態(tài)多標簽情感識別算法，即使用標簽嵌入向量對標簽依賴性建模，使用模態(tài)不變表示來減少模態(tài)語義差異。首先，鑒于情感標簽包含著豐富的信息，本文使用標簽之間的共現(xiàn)信息來學習多模態(tài)情感標簽嵌入。然后，使用CMD分布度量[5]限制不同模態(tài)特征的分布差距，獲得模態(tài)不變表示，這種限制有助于縮小不同模態(tài)之間的語義差距，從而使用更簡單的融合方法融合不同模態(tài)特征。最后，將所有的模態(tài)特征連接起來，利用學習到的標簽嵌入和融合特征完成情感識別任務(wù)。

本文在一個公開的多模態(tài)多標簽情感數(shù)據(jù)集CMU-MOSEI上進行了廣泛的實驗，以評估方法性能。實驗結(jié)果表明，該方法能夠有效地融合模態(tài)特征并且對標簽依賴進行建模。本文主要貢獻有：

(1)使用標簽的共現(xiàn)信息來學習標簽嵌入，用標簽嵌入來表示標簽依賴關(guān)系。

(2)考慮了模態(tài)特征之間的語義差距，通過在損失函數(shù)中添加對模態(tài)特征的約束來減小模態(tài)特征語義差距。

(3)MOSEI數(shù)據(jù)集的實驗結(jié)果表明，該方法在多模態(tài)多標簽情感識別任務(wù)上相較于現(xiàn)有方法，性能有明顯提升。




本文詳細內(nèi)容請下載：http://theprogrammingfactory.com/resource/share/2000004619




作者信息：

張  超，張信明

(中國科學技術(shù)大學 大數(shù)據(jù)學院，安徽 合肥230026)


此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。