2023年6月,研究团队许鸿凌同学完成的题为《基于图像检索的多模态细粒度情感分析研究》的毕业论文荣获2023届哈尔滨工业大学(深圳)优秀本科毕业设计(论文)。本年度计算机科学与技术学院共评选出9篇优秀本科毕业设计(论文),获奖率约为2.8%。
该论文主要研究多模态细粒度情感分析,提出了一种图像检索增强的方法来缓解多模态数据中的图像噪声问题。在此基础上,论文从两个角度出发展开进一步研究,主要包括:(1) 提出了一种双流多模态融合方法以缓解跨模态语义鸿沟问题。该方法将属性作为枢纽进行双流特征交互,然后融合双流特征进行情感分类,在两个公开数据集上取得了目前的最优性能。(2) 提出了基于指令学习的小样本学习方法以缓解数据标注不足问题。该方法设计了任务相关的指令提示,然后使用预训练模型完成情感分类,其性能显著优于各类基线模型。
许鸿凌同学的论文相关研究成果已投稿CCF-C类会议NLPCC(一作)及一区期刊IEEE Trans. Affective Computing(二作)。