2023年11月,研究团队博士生王乾龙和硕士生许鸿凌合作的论文 “Image-to-Text Conversion and Aspect-Oriented Filtration for Multimodal Aspect-Based Sentiment Analysis” 获情感计算领域重要国际期刊 IEEE Transactions on Affective Computing录用。
多模态方面级情感分析(Multimodal aspect-based sentiment analysis, MABSA)旨在基于多模态内容预测文本中提到的每个方面的情感极性。现有的工作通常利用模态交互建模每个方面的多模态情感特征。然而,(1)在模态交互中,文本和图像模态之间的表征差距可能会增加misalignment的风险;(2)对于一些图像与文本不相关的样本,当建模方面的多模态情感特征时,图像信息可能会引入噪音并对文本模态形成干扰。针对上述不足,论文提出了一个具有图像转换和噪音过滤功能的端到端MABSA框架。具体来说,为了弥合不同模态的表示差距,我们尝试将图像转换到预训练语言模型(PLMs) 的输入空间中。为此,开发了一个图像到文本的转换模块,该模块可以将每个图像转换为一个隐式的嵌入序列。此外,论文设计了一个面向方面的过滤模块,以减轻隐式嵌入序列中的噪声。在过滤噪声之后,拼接文本、方面和来自过滤后的隐式嵌入的图像图示,并利用PLMs编码情感特征,以进行情感预测。在两个MABSA数据集(Twitter2015和 Twitter2017)上的实验结果表明,论文所提出的框架实现了目前最先进的性能。此外,通过大量的分析实验表明该框架具有良好的鲁棒性和效率。
方法架构图
IEEE Transactions on Affective Computing是情感计算领域的重要国际期刊,影响因子11.2,JCR Q1期刊,在中科院学术推荐列表(升级版)中为二区期刊,CCF-B类期刊。
论文信息:
Qianlong Wang, Hongling Xu, Zhiyuan Wen, Bin Liang, Min Yang, Bing Qin, and Ruifeng Xu*. Image-to-Text Conversion and Aspect-Oriented Filtration for Multimodal Aspect-Based Sentiment Analysis. IEEE Transactions on Affective Computing. 2023