背景
论文速递| Cognitive Computation 基于多视图层级图神经网络的论辩挖掘
2025-01-16 10:32 HITSZ-HLT    (浏览量)
论文信息:Yang Sun, Jianzhu Bao, Geng Tu, Bin Liang, Min Yang*, Ruifeng Xu*. Multi-View Hierarchical Graph Neural Network for Argumentation Mining. Cognitive Computation, 17, 31 (2025).


论文链接:
https://link.springer.com/article/10.1007/s12559-024-10391-0
作者:孙洋,鲍建竹,涂耿,梁斌,杨敏,徐睿峰
单位:哈尔滨工业大学(深圳)



动机



论辩挖掘(Argumentation Mining, AM)旨在通过识别论点、它们之间的关系以及每个单独论点的内部结构来检测文本文档中的论辩结构。 论辩挖掘不仅提供了关于人们持有何种观点的基本信息,还提供了关于人们支持或反对这些观点的论点基本信息。 通常来说,论辩文本的内部结构包含多个论辩部件(AC)。 论辩文本通常包括多个主张和前提,其中主张是一个有争议的陈述,而前提是证明或反驳该主张的理由。 此外,这些论辩部件具有定向的论辩关系(AR),描述了一个论辩部件与其他论辩部件之间的支持或反驳关系。 图1展示了一个论辩文本及其结构的例子,其中文本被分解成五个AC,并且AC之间有两种类型的AR。 论辩结构的识别主要涉及三个关键的挑战性子任务,包括(1)论辩组件类型分类(ACTC),对每个AC的类型进行分类(即Claim或Premise),(2)论辩关系识别(ARI),识别AC中的AR(即Relevant或Non-Relevant),(3)确定 AR类型的论辩关系类型分类(ARTC)(即Support或Attack)。
图片
图1 论辩结构示例
图片
图2 动机示例
现有方法通常采用均值池化或加权和操作来学习AC的表示,即粗粒度的AC表示。然而,来自同一输入段落的AC通常在语义上是相似的,因此这些方法未能充分利用它们之间的相互作用。我们认为,论辩挖掘(AM)需要细粒度的推理能力,以区分AC之间的细微差异,从而捕捉它们的语义交互。如图2所示,预测AC1与AC2之间的关系及其类型(Attack)要求模型对齐AC1中的“advertisements”和AC2中的“it”,然后识别AC1中的“falseful and exaggerated”和AC2中的“important role economically”之间的对立语义。因此,学习AC的细粒度语义表示是有利的,这将增强论辩结构建模的能力。
图片
图3 模型架构示例



总体架构



为此我们提出一个基于多视图层级图神经网络的论辩挖掘框架MHGNN,目的是同时优化论辩挖掘的三个耦合子任务。 图1展示了MHGNN模型的架构。 MHGNN从多个视图(即词级视图和语义视图)学习图嵌入。 每个图视角配备了两层图结构,其中第一层是论辩图(AG),每个论辩部件(AC)作为一个节点,第二层是(词级或语义级)论辩部件图,其中每个词或语义角色作为图节点。 多视图论辩部件图从词汇视角和语义视角学习细粒度的AC表示。 特别地,多视图论辩部件图包含一个词汇级论辩部件图,其中每个词作为图节点,以及一个语义级论辩部件图,其中每个语义角色作为图节点。
在构建和表示学习多视图论辩部件图之后,基于这些图结构,通过将每个论辩部件作为节点并通过论辩关系构建边,建立多视图论辩图。每个论辩图从论辩文本中学习论辩部件级别的知识。它将每个论辩部件视为节点,将每个论辩关系视为边。特别地,多视图论辩图包含一个以每个词级论辩部件图为节点的词视图论辩图和一个以每个语义级论辩部件图为节点的语义视图论辩图。采用多视图论辩部件图来学习细粒度的综合论辩部件表示,使得模型具有细粒度的推理能力,能够区分论辩部件之间的细微差别。从而,论辩挖掘的三个子任务(即ACTC、ARI和ARTC)分别可以转化为节点分类、边预测和边类型分类任务。
词级论辩部件图: 为每个词级论辩部件图学习细粒度的结构化表示。通过将唯一的词作为顶点,将词之间的共现作为边,为每个论辩部件构建了词级论辩部件图 图片 词级论辩部件图中节点的嵌入表示是用从BERT中学到的上下文词表示H初始化的,表示为 图片 ,其中 图片 图片 是嵌入维度的大小。 这里采用图注意力网络来更新每个词节点的表示 图片 ,并通过聚合其在词级论辩部件图上的邻居信息来构建内在结构。
语义级论辩部件图: 在语义级论辩部件图中,采用语义角色标注技术,通过使用BERT-SRL学习每个论辩部件的语义角色标签。具体来说,使用BERT-SRL来解析每个论辩部件,并提取一个语义角色元组列表 图片 其中 图片 其中 图片 图片 表示第 i 个元组的参数(即施事者和受事者), 图片 为谓词(通常是动词)。 为了对一个给定的论辩部件构建语义级论辩部件图,将从论辩部件中提取的所有参数和谓词看作是图的语义级节点。 在一个语义角色元组中共同出现的参数和谓词节点在图中是相连的。 此外,还在每一对有重叠词的节点之间添加一条无向边。 语义级节点的嵌入被初始化为从BERT中学到的上下文词表示。 特别地,对于包含多个词的参数或谓词,使用平均池化操作获得初始语义节点表示。 使用 图片 来表示给定语义论辩部件图的第 图片 个语义节点的初始化表示。 之后,采用图注意力网络来更新每个语义节点的表示 图片 ,并通过聚合其在语义级论辩部件图中的邻居的信息来构建其内在结构。
互图注意力机制用于ARI
论辩关系识别(ARI)子任务可以转化为论辩图中边预测问题,需要探索每个论辩部件对之间的关系。为此,将每个论辩部件对中的细粒度的语义(或词)节点表示进行对齐。以语义视图论辩图为例, 图片 表示第i 个和第 j 个语义级论辩部件图中所有语义节点的表示。首先采用相互图注意力机制学习第j个语义级论辩部件图中的每个语义节点 q 对于第i 个语义级论辩部件图中的每个语义节点 p 的重要性得分 图片 。之后,通过在 图片 上的加权和计算第j个语义级论辩部件图的特定节点表示为 图片 ,其中每个元素 图片 被下述方式计算:
图片
应用对齐函数来进行节点间的细粒度对齐,并计算第i个语义级论辩部件图的节点对齐表示 图片 每个节点表示 图片 的计算方法是:
图片
其中, 图片 表示第i 个语义级论辩部 件图中的节点p受第 j 个语义级论辩部件图的影响而形成的细粒度对齐表示。
同样地,把每个语义节点表示 图片 作为查询,而节点表示 图片 作为键和值,可以计算出第j个语义级论辩部件图的节点对齐表示 图片 然后分别对第i个语义级论辩部件图和第i个语义级论辩部件图的节点对齐向量 图片 图片 使用平均池化操作获得关系特定的图表示 图片 图片 :
图片
为了捕捉论辩图中每条边的双向属性,将带有ReLU激活函数的多层感知器(MLP)和双线性操作对每个论辩部件对的图表示 图片 图片 ,并计算出论辩关系确认任务的预测概率 图片 为:
图片
层次图注意力用于ACTC
我们提出基于层次图注意力机制的图聚合方法用于论辩部件类型分类任务。通过论辩关系识别任务获得预测的边及其概率后,在论辩图上沿着学到的边进行信息传播和聚合,以便学习邻居感知节点表示。然后,将学到的节点表示用于节点分类问题(即论辩部件类型分类任务)。
给定一个中心论辩部件图,在其相邻的论辩部件图的指导下,可以学习该中心论辩部件图的邻居感知表示。通过使用相互图注意力机制,在 图片 上使用加权和操作可以得到第j个论辩部件图的中心特定的节点表示 图片 ,其中论辩部件图 图片 表示中心论辩部件图i的邻居论辩部件图j。 然后对中心特定的节点表示 图片 使用平均池化操作,从邻居论辩部件图j获得中心论辩部件图i的中心特定的图表示 图片 :
图片
给定论辩部件图i的图表示z_i和中心特定的图表示 图片 ,使用论辩关系预测任务预测的边概率 图片 计算注意力权重 图片
图片
其中 图片 表示所有节点的共享线性变换。 图片 表示注意力机制 图片 然后使用softmax函数将γ^(j→i)在所有的邻居节点j∈N_i中归一化。 在得到归一化的注意力系数后γ ̃^(j→i),通过聚合其邻居的信息,得到论辩部件图i的邻居感知表示c_i。
图片
通过结合 图片 图片 获得语义级论辩部件图i的综合表示 图片
最后,在论辩部件图i的综合表示上应用多层感知机和softmax函数进行节点分类(即论辩部件类型分类)。
图片
边类型分类用于ARTC
有向边的分类是通过结合论辩部件图的关系特定的图表示g和综合表示 图片 进行的。以语义视图论辩图为例,给定一对论辩部件图 图片 ,首先结合论辩部件图的两种特征得到论辩部件图i和j的整体图表示 图片 图片
图片
然后,应用一个共享的多层感知机层(MLP),将整体图表示转换到同一表示空间。 之后用一个双线性仿射函数φ聚集论辩部件图节点i和j的特征,并应用一个softmax函数来分类从i到j的有向边类型:
图片
同样,在词视图论辩图中计算从论辩部件i到论辩部件j的的有向边类型概率 图片 采用交叉熵来优化分类目标。



实验结果



图片
表1  PE数据集结果
图片
表2  CDCP数据集结果
如表所示,MHGNN在PE和CDCP论辩挖掘数据集上取得了最优或者可比较的结果,证明了该方法的优越性。
审稿:徐睿峰
校正:王   丹




打印    收藏
关闭窗口

Return Top