跳至正文

GNN-based KGEs

概览

知识图谱表示学习方法关注如何将离散表示的实体和关系映射到连续低维的向量空间中。传统的知识图谱表示学习方法一般会根据特定的打分函数以及向量空间的假设,对每个实体和关系学习一个特定的向量表示。与其相比,基于图神经网络(GNN)的知识图谱表示学习方法,通常会在实体和关系的表示之后,添加多层的图神经网络结构,利用该结构对实体和关系的表示进行基于周围邻居结构信息的编码更新。在这一类基于图神经网络的知识图谱表示学习方法中,重点是如何设计用于编码向量表示的图神经网络层。

和传统GNN对比

在图表示学习领域,图神经网络已经被证明可以有效地从周围结构进行特征表示的编码,并且在图相关的多个领域,例如图分类以及图半监督学习,获得非常好的效果。然而相比于处理传统图结构的图神经网络,在知识图谱领域,图神经网络结构需要处理知识图谱中的关系。例如在R-GCN中,设计了关系特定的转换矩阵;在CompGCN中,设计了基于多种实体-关系合成操作的GNN结构用于联合嵌入实体和关系的表示。

除此之外,在把GNN结构用到知识图谱中的时候,通常会在GNN编码后的表示之后,添加传统KGE的打分函数,从而基于GNN输出的实体和关系表示,计算三元组成立的可能性,如下图。

Example: R-GCN

这里介绍一个利用GNN进行KGE的经典模型R-GCN。R-GCN中的主要部分是如何对实体表示进行更新。在该模型中,实体在第\( (l+1) \)层表示的更新可以形式化成如下公式:

其中\(\mathcal{N}_{i}^{r}\)是实体\( i \)周围以关系\(r \in R\)为连接的周围实体集合,\(c_{i,r}\)是一个用于正规化的常量。

在从R-GCN的输出获取到表示后,这些经过GNN编码的表示就可以根据不同的任务从而用于不同的损失函数计算,如下图。

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注