2025年10月，研究生团队博士生涂耿牵头撰写的论文“Multi-Task Mutual Learning for Multimodal Emotion-Cause Pair Extraction in Conversations”获计算机科学人工智能和理论方法领域顶级国际期刊Information Fusion录用。

多模态对话中的情感-原因对抽取（MC-ECPE）任务旨在识别多模态对话中的情感并发现其对应的原因。传统方法多采用两步式框架，易导致误差累积，因此近年来端到端的方法逐渐受到关注。然而，现有端到端方法中的多模态融合往往依赖简单拼接，难以充分理解上下文信息，同时在建模情感与原因的相互依赖性方面仍显不足。为此，本文提出了一种多任务互学习框架（MTML），结合显式与隐式建模策略，设计了多模态交互图注意网络（MIGAT）。通过在模态内、跨模态及跨任务三个层面建立交互连接，有效捕捉情感与原因之间的深层关联。其中，隐式建模通过MIGAT中的跨任务连接与渐进式多任务学习实现信息共享，而显式建模则通过迭代更新情感与原因的概率分布以强化推理能力。在ECF公开数据集的实验结果表明，MTML框架性能优于目前的强基线。

本文方法架构图

Information Fusion是计算机科学人工智能和理论方法领域的顶级国际期刊，影响因子15.5，JCR Q1期刊，在中科院学术推荐列表（升级版）中为一区TOP期刊。

论文信息：

Geng Tu, Jun Wang, Li Yang, Bin Liang, Erik Cambria, Wenjie Li and Ruifeng Xu*. Multi-Task Mutual Learning for Multimodal Emotion-Cause Pair Extraction in Conversations. Information Fusion. 2025