2023年11月，研究团队博士生王乾龙和硕士生许鸿凌合作的论文 “Image-to-Text Conversion and Aspect-Oriented Filtration for Multimodal Aspect-Based Sentiment Analysis” 获情感计算领域重要国际期刊 IEEE Transactions on Affective Computing录用。
多模态方面级情感分析(Multimodal aspect-based sentiment analysis, MABSA)旨在基于多模态内容预测文本中提到的每个方面的情感极性。现有的工作通常利用模态交互建模每个方面的多模态情感特征。然而，(1)在模态交互中，文本和图像模态之间的表征差距可能会增加misalignment的风险；（2）对于一些图像与文本不相关的样本，当建模方面的多模态情感特征时，图像信息可能会引入噪音并对文本模态形成干扰。针对上述不足，论文提出了一个具有图像转换和噪音过滤功能的端到端MABSA框架。具体来说，为了弥合不同模态的表示差距，我们尝试将图像转换到预训练语言模型(PLMs) 的输入空间中。为此，开发了一个图像到文本的转换模块，该模块可以将每个图像转换为一个隐式的嵌入序列。此外，论文设计了一个面向方面的过滤模块，以减轻隐式嵌入序列中的噪声。在过滤噪声之后，拼接文本、方面和来自过滤后的隐式嵌入的图像图示，并利用PLMs编码情感特征，以进行情感预测。在两个MABSA数据集(Twitter2015和 Twitter2017）上的实验结果表明，论文所提出的框架实现了目前最先进的性能。此外，通过大量的分析实验表明该框架具有良好的鲁棒性和效率。
方法架构图
IEEE Transactions on Affective Computing是情感计算领域的重要国际期刊，影响因子11.2，JCR Q1期刊，在中科院学术推荐列表（升级版）中为二区期刊，CCF-B类期刊。
论文信息：
Qianlong Wang, Hongling Xu, Zhiyuan Wen, Bin Liang, Min Yang, Bing Qin, and Ruifeng Xu*. Image-to-Text Conversion and Aspect-Oriented Filtration for Multimodal Aspect-Based Sentiment Analysis. IEEE Transactions on Affective Computing. 2023
