2024
年
3
月，研究团队博士生王冰冰的论文
“Gaze-infused BERT: Do Human Gaze Signals Help Pre-trained Language Models?”
获
SCI
期刊
Neural Computing and Applications
录用。
近年来，研究者多次尝试将外部信息整合到BERT模型中，通过抑制或修改注意机制以获得更好的表现。然而，眼动注视信号是否能进一步提高BERT模型在下游任务中的表现尚不清楚。本文深入研究了BERT模型中的注意力机制和人类注视模式之间的复杂联系，并探究利用注视信息提高自然语言处理模型性能的方法。
本文首先基于Spearman相关性分析了BERT注意与五种不同的注视信号之间的相关性，发现无论是所有的注意层还是所有的注视信号都不能准确地捕捉到单词的重要性。基于这一发现，本文提出了眼动增强BERT (Gaze-infused BERT)模型，将眼动注视信号集成到BERT中以提高性能。具体而言，首先建立注视预测模型以预测注视信号，然后利用熵权法，通过结合不同的注视信号来获得全面的眼动注视表示，并将注视表示嵌入到Transformer编码器中，以提高模型性能。在15个数据集上的结果表明，论文所提出的模型实现了优异的性能，也体现了将人类眼动注视信号整合到BERT模型中的潜力。
整体架构图
Neural Computing and Applications是神经计算与应用领域的重要国际期刊，影响因子6.0，JCR Q2期刊，在中科院学术推荐列表中为三区期刊，CCF-C类期刊。
Bingbing Wang, Bin Liang, Lanjun Zhou, Ruifeng Xu*. Gaze-infused BERT: Do Human Gaze Signals Help Pre-trained Language Models?. Neural Computing and Applications. 2024.
