近期，我校計算機科學(xué)與技術(shù)學(xué)院李祖賀副教授團隊在國際知名期刊《Information Fusion》（中科院一區(qū)TOP期刊，IF=18.6）上發(fā)表了題為“Multi-level correlation mining framework with self-supervised label generation for multimodal sentiment analysis”（用于多模態(tài)情感分析的自監(jiān)督標(biāo)簽生成的多層次關(guān)聯(lián)挖掘框架）的研究論文。
多模態(tài)情感分析旨在從文本、音頻和視覺等多模態(tài)數(shù)據(jù)中挖掘用戶情感信息，現(xiàn)有大多數(shù)方法忽略了模態(tài)之間的隱藏關(guān)系，未能最大限度地利用它們的潛在相關(guān)性，也未充分利用資源豐富的模態(tài)知識來幫助資源匱乏的模態(tài)。為了應(yīng)對這些挑戰(zhàn)，李祖賀副教授團隊提出了一種基于多層次關(guān)聯(lián)挖掘和自監(jiān)督多任務(wù)學(xué)習(xí)的多模態(tài)情感分析方法。首先，為了克服多模態(tài)信息融合的困難，使用一種基于模態(tài)特征融合和語言學(xué)引導(dǎo)的Transformer框架來挖掘模態(tài)之間的相關(guān)性信息。其次，將多模態(tài)情感分析任務(wù)分為一個多模態(tài)任務(wù)和三個單模態(tài)任務(wù)，并設(shè)計了一個自監(jiān)督標(biāo)簽生成模塊（SLGM）來生成單模態(tài)任務(wù)的情感標(biāo)簽，為其他研究人員提供了新穎思路。
該論文是以鄭州輕工業(yè)大學(xué)為第一署名單位完成，李祖賀為第一作者，碩士研究生郭青冰為第二作者。
《Information Fusion》創(chuàng)刊于2000年，是一本由ELSEVIER出版的理論方法學(xué)術(shù)刊物，該刊是國際一流期刊，發(fā)文范圍涵蓋計算機人工智能等領(lǐng)域。此刊已入選SCI、SCIE來源期刊，是中科院分區(qū)1區(qū)TOP期刊，2023年影響因子18.6。
此項研究成果得到了國家自然科學(xué)基金和河南省科技攻關(guān)項目的資助。
論文連接：https://www.sciencedirect.com/science/article/abs/pii/S1566253523002075
?豫公網(wǎng)安備 41010502004744號