2024
年
4
月，研究团队博士生王冰冰的论文
What Do They "Meme"? A Metaphor-aware Multi-modal Multi-task Framework for Fine-grained Meme Understanding
获
Knowledge-Based Systems
期刊录用。
模因(Meme)被定义为一种通过用户在互联网上广泛传播和复制的文化影响。社交媒体平台如Facebook和Twitter为模因的复制和传播提供了广泛的平台。现有研究证明，模因具有固有的隐喻特征，并以多模式的方式出现。例如，在图1中，通过源域“My friend”和目标域“cat”组成的隐喻信息传达了“我的朋友在我考试要求额外答题纸时和图片中的猫一样震惊”这一消息。
本文工作主要研究细粒度模因理解，旨在通过情感分析、意图检测和攻击性检测等任务，从多个角度探索和理解模因的意义。针对现有工作忽视模因在相同模态和跨模态的不协调特征以及缺乏对不同任务之间相关性的考虑，论文将隐喻信息视为文本模态，提出了一种隐喻感知的多模态多任务框架(Metaphor-aware Multi-modal Multi-task Framework, M3F)来实现细粒度模因的理解。具体地，首先设计了基于Transformer的模态间注意机制和模态内注意机制，以捕捉文本和图像之间的模态间交互作用，以及模拟文本和隐喻信息之间的矛盾。为学习不同任务之间的隐式交互作用，设计了一个多交互层次解码器，通过利用门控网络来建立不同子任务之间的关系。在MET-Meme数据集上的实验结果表明，本文所提出的框架在细粒度的模因理解方面取得最优性能。
Knowledge-Based Systems是人工智能领域的国际性期刊，影响因子8.8，JCR Q1期刊，在中科院学术推荐列表中为一区期刊。
论文信息：
Bingbing Wang, Shijue Huang, Bin Liang, Geng Tu, Min Yang, Ruifeng Xu*. What Do They "Meme"? A Metaphor-aware Multi-modal Multi-task Framework for Fine-grained Meme Understanding. Knowledge-Based Systems. 2024
|
