背景
第三届中国情感计算大会(CCAC 2023)技术评测任务发布
2023-04-11 14:00 HITSZ-HLT    (浏览量)

第三届中国情感计算大会(Chinese Conference on Affect Computing, CCAC 2023)是由中国中文信息学会情感计算专委会(筹)主办,西安交通大学承办,将于2023年6月底在陕西西安召开。CCAC聚焦情感计算的学科前沿研究,为传播和分享情感计算最新学术研究和技术成果提供了交流平台。中国情感计算大会每年举办一次,目前已成为自然语言处理、社会计算领域的重要学术活动。

CCAC 2023将继续组织情感计算相关技术评测。经过前期评测任务征集,评测委员会已确定3项评测任务,包括多模态对话情感识别、多领域多要素属性级情感分析、智慧论辩等重要研究方向。欢迎广大研究者参与评测竞赛。


一、评测任务
任务一:多模态对话中的情感识别
任务背景

多模态对话中的情感识别旨在自动识别和跟踪对话中说话者的情绪状态,在自然人机交互、教育、医疗等场景具有广泛的应用。与传统的单句多模态情感识别不同,多模态对话场景下的多模态情感识别是一个更具挑战性的问题,因为对话中影响说话者情绪状态的影响因素很多,包括多模态的上下文、对话者刺激、自身情绪惰性、对话场景、人格特征等。本届评测关注多模态对话场景下的情感识别任务,鼓励参赛者从不同模态不同角度对多模态对话中的情感进行建模和预测,旨在推动多模态对话情感识别相关研究的发展。

任务介绍

本届多模态对话中的情感识别评测任务将采用M3ED(Multi-modal Multi-scene Multi-label Emotional Dialogue)数据集作为支撑数据集,该评测的任务描述如下。

本届多模态对话中的情感识别评测任务旨在识别M3ED数据集中不同语句(utterance)的情感。输入是含有文本、语音以及图像信息的对话,输出是对话中每条语句对应的情感。在本次评测中,我们将对话中蕴含的情感分为以下七个类别之一:平静(Neutral)、开心(Happy)、惊讶(Surprised)、难过(Sad)、厌恶(Disgust)、生气(Angry)和害怕(Fear)。

说明:数据集原始标注是多情感标签标注(比如生气和伤心),为简化任务难度,本届测评采用单标签(主情感标签)情感识别。

具体任务细节参见:https://github.com/AIM3-RUC/MERC_Challenge_CCAC2023

组织者和联系人

- 主席:金琴(中国人民大学)

- 评测委员会成员:赵金明(启元实验室)

- 顾问委员会成员:王素格(山西大学)、赵妍妍(哈尔滨工业大学)、杨亮(大连理工大学)

如有疑问,请致信评测会务组:zhaojinming@ruc.edu.cn
报名方式
https://docs.qq.com/form/page/DQUNKTmlhY3p3TWRO

任务二:多领域多要素属性级情感分析评测
任务背景

属性级情感分析(Aspect-Based Sentiment Analysis, ABSA)是细粒度情感分析的一项重要任务,在学术界和工业界引起了广泛的关注。目前,尽管各种共享的ABSA任务和数据集已经被提出,但仍然缺少一个多领域多要素的大型ABSA数据集和一个覆盖多个领域的开放领域评估方式。尤其在文本情感分析任务面临ChatGPT等大模型冲击的背景下,上述评估显得更加重要。因此,我们标注了一个多领域多要素属性集情感分析数据集,覆盖属性、类别、观点、情感四种要素,支持隐式评价对象和隐式观点表达,包含五个典型领域。我们基于该数据,设定了Aspect-Sentiment二元组抽取、Aspect-Category-Opinion-Sentiment四元组抽取两个评测任务,每个任务又分别设置了特定领域和开放领域两种评估方式,后者允许使用包括ChatGPT在内的外部资源。

任务介绍

本届多领域多要素ABSA评测比赛包含2个子任务,任务内容覆盖Aspect-Sentiment二元组抽取和Aspect-Category-Opinion-Sentiment(ACOS)四元组抽取。本届比赛我们提供了一个多领域的英文数据集作为评测语料。

  • 子任务1 Aspect-Sentiment二元组抽取:1)Aspect表示表达了观点的实体或属性片段;2)Sentiment表示针对实体或属性的情感极性。

  • 子任务2 Aspect-Category-Opinion-Sentiment四元组抽取:1)Aspect表示表达了观点的实体或属性片段;2)Category表示所关注实体或属性的预定义类别;3)Opinion表示与实体或属性相关的情感表达片段;4)Sentiment表示针对实体或属性的情感极性。特别地,隐式Aspect和隐式Opinion均用“NULL”来表示。

数据集:我们从AirBnb、Yelp等公开网站上收集了五个领域(Book, Clothing, Hotel, Restaurant和 Laptop)的英文产品评论,由专业标注员进行了Aspect-Sentiment二元组和ACOS四元组的标注,整理为json格式的文件。

具体任务细节参见:https://github.com/NUSTM/CCAC-ABSA

组织者和联系人
评测委员会成员:夏睿(南京理工大学)、虞剑飞(南京理工大学)、吴震(南京大学)、赵妍妍(哈尔滨工业大学)
如有疑问,请致信评测会务组:蔡鸿杰hjcai@njust.edu.cn、宋楠 nsong@njust.edu.cn
报名方式
https://docs.qq.com/form/page/DU2NJa3BsZWRkSVl0

任务三:第三届智慧论辩评测(AI-Debater 2023)
任务背景

论辩是人类智慧的一项重要技能,在诸多人类活动中承担着不可或缺的作用。计算论辩技术关注机器对人类论辩过程的理解和模仿,广泛应用于决策辅助、写作支持和逻辑审查等场景,于近年来逐渐成为人工智能研究的新兴重要分支。本届评测关注中、英文辩论赛场景下的论辩挖掘任务,鼓励参赛者使用计算论辩相关技术对辩论陈词中的论辩要点等成分做识别或生成,旨在推动计算论辩相关研究的发展,并试图为学界研究着与相关产业从业者提供良好的沟通交流平台。

任务介绍

本届智慧论辩评测比赛包含2个子任务,反论点生成及基于辩题的论点生成。其中反论点生成任务提供了一个英文数据集,基于辩题的论点生成任务则提供了一个中文数据集。

  • 子任务1 反论点生成:针对给定的话题和原始论点,由参赛模型自动生成反驳原始论点的5个句子(称为反论点)。

  • 子任务2 基于辩题的论点生成:针对既定的辩题,由参赛模型自动生成贴合辩题的5个论点。

英文数据集(反论点生成任务):数据集来源于ChangeMyView论坛(CMV),标注员针对用户的交互内容进行了反驳关系标注,整理为带格式的txt文件。

中文数据集(基于辩题的论点生成任务):数据集来源于2007至2021年的近700场知名华语辩论比赛,经由语音转译及人工校验得到了每场比赛的单环节、单方陈词文本,由标注员进行了论点句和互动论点对等标注,整理为带格式的txt文件。

具体任务细节参见:http://www.fudan-disc.com/sharedtask/AIDebater23/index.html

组织者和联系人
主席:魏忠钰(复旦大学)
- 评测委员会成员:高源(复旦大学),林嘉昱(复旦大学)
- 顾问委员会成员:黄萱菁(复旦大学),蒋昌建(复旦大学)
如有疑问,请致信评测会务组:disclab@fudan.edu.cn
报名方式
http://www.fudan-disc.com/sharedtask/AIDebater23/index.html

二、评测总体时间安排

事  项

时   间

任务发布与报名启动

2023年4月11日

训练集语料发布

2023年5月01日

测试集语料发布

2023年6月12日

提交截止(报名结束)

2023年6月15日

比赛结果公布

2023年6月22日

CCAC2023大会召开及颁奖典礼

2023年6月30日

具体各评测任务的详细具体时间安排,请关注各个评测任务通知详情。

有任何问题请与任务组织者或评测主席联系。
赵妍妍:yyzhao@ir.hit.edu.cn
杨亮:liang@dlut.edu.cn

CCAC 2023评测主席:

赵妍妍,哈尔滨工业大学
杨亮,大连理工大学  



审稿:徐睿峰

校正:王   丹


打印    收藏
关闭窗口

Return Top