简介：该工作主要研究基于生成式预训练模型的脚本事件预测方法（Script Event Prediction）。脚本事件预测任务旨在根据输入的历史事件链，预测最可能的后续事件，这要求模型能够推断出事件之间的相关性。本文提出了一种生成式的方法来解决脚本事件预测问题。该方法将预训练模型用事件中心的训练目标进行预训练，随后用生成的方式预测下一个事件。具体来说，首先引入事件级别的空白填充策略作为学习目标，将事件级别的知识注入到预训练语言模型中。随后设计了一个基于似然的对比损失来微调生成模型。本文使用生成模型生成的似然序列来进行预测，而不是使用额外的预测层。这一方法在没有任何外部知识的情况下隐式地建模了事件之间的相关性。基于似然的预测方法使得模型不需要额外的参数来进行预测，同时由于本文模型能为事件中的每一个单词进行打分，使得模型的预测过程在一定程度上具有可解释性。在多选式叙事完成任务（MCNC）的实验结果表明本文提出的方法相比之前的方法取得了更高的性能。

整体架构

审稿：徐睿峰