背景
博士生涂耿论文获ACM MM 2024会议录用
2024-07-20 16:20 HITSZ-HLT    (浏览量)
2024 年 7 月，研究组博士生涂耿牵头撰写的论文《 Multimodal Emotion Recognition Calibration in Conversations 》获 32nd ACM Multimedia Conference (ACM MM 2024) 录用。 ACM 是多媒体计算领域的顶级会议，在中国计算机学会推荐会议列表中被列为 A 类。本次会议将于 2024 年 10 月 28 日 -11 月 1 日在澳大利亚墨尔本召开。
论文题目：Multimodal Emotion Recognition Calibration in Conversations
作者：涂耿，熊峰，梁斌，王晖，曾曦，徐睿峰*
论文简介：多模态对话情绪识别（MERC）旨在识别会话视频中每个话语所传达的情感。目前的工作重点是对说话人敏感的上下文依赖关系和多模态融合进行建模。尽管取得了进展，但MERC方法的可靠性在很大程度上仍未得到探索。大量的实证研究表明，目前的方法存在不可靠的预测置信度。具体而言，在某些情况下，当模态或特定上下文线索被破坏时，这些模型估计的置信度会增加，将其定义为不确定样本。这与信息学的基本原则相矛盾，即消除不确定性。基于此，我们提出了一种新的校准框架CMERC，用于在不改变模型结构的情况下校准MERC模型。该框架整合了课程学习，引导模型逐步学习更多不确定的样本；混合监督对比学习通过将不确定样本和其他样本分开来细化话语表征；以及在不确定样本上惩罚模型的置信度约束。在两个数据集上的实验结果表明，CMERC显著提高了各种MERC模型的可靠性和泛化能力，性能优于现有强基线。
图片
框架整体架构



打印    收藏
【关闭窗口】

Return Top

© 2019 哈尔滨工业大学（深圳）·智能计算研究中心 All rights reserved.