基于注意路径的知识图谱补全算法

原文：Attentive Path Combination for Knowledge Graph Completion

出版：Proceedings of Machine Learning Research 77:590–605, 2017

代码：未开源

摘要

知识图谱(KG)通常是不完整的，因此需要补全知识图谱。基于路径的关系推理是解决这一问题的重要方法之一。传统方法将实体对之间的每条路径视为原子特征，这样会导致稀疏性。

最近，神经网络模型解决了这一问题，在使用递归神经网络(RNN)架构建模路径表示之前，先将路径分解为路径中的关系序列。在实体对之间有多条路径的情况下，最先进的神经模型要么只选择一条路径，要么使用简单的评分池方法，如Top-K、Average、LogSumExp。不幸的是，这些方法中没有一种能够建模如下的场景: 即只能通过综合考虑多个信息路径来推断关系。

在本文中，我们提出了一种新的基于路径的关系推理模型，该模型学习带有注意路径组合的实体对表示。给定一个实体对和一组连接实体对的路径，我们的模型允许集成来自每个信息路径的信息，并为每个查询关系形成一个动态实体对表示。我们在真实数据集上对所提出的方法进行了实证评估。实验结果表明，该模型的性能优于现有的基于路径的关系推理方法。

文章贡献

我们发现，在基于路径的关系推理中，往往只有信息路径的聚合才具有预测性。现有的路径组合方法无法解决这一问题。
我们提出了一种基于注意路径的关系推理模型，该模型从多条路径中聚合证据，并为每个查询关系自动构建动态实体对表示。
在实验中，我们展示了该模型在真实数据集上与最先进的方法相比的有效性。

算法

整体架构

路径表示生成: 我们采用RNN架构(针对所有查询关系)来为每条路径πi生成一个向量表示
注意力路径组合:我们使用注意力机制来动态地为实体对构建关于给定查询关系δ的向量表示，然后用于关系推理。
具体架构图如下所示

路径表征

基于RNN的路径表征如下图所示：

在该模块中，路径πi = {es，r1，e1，r2，..., et}首先被映射为向量，然后以RNN方式按顺序合成。在每个RNN步骤t，模型消耗实体e(t-1)的表示(设e(0) = e(s))和关系r(t)，并输出隐藏状态h(t)。具体公式如下：

注意力路径组合

这个模块的输入是实体对之间所有路径的一组向量表示:{π1，π2，，πn}。我们使用注意机制将实体对的向量表示建模为其路径的非线性加权表示:

在得到实体对的路径组合表示后，其在给定关系中的概率δ由下式给出：

评估

数据集

我们的数据集包含来自Freebase和Clueweb的信息，并利用ClueWeb数据集中的Freebase实体的链接方法来生成丰富的更大的知识图。

实验结果

我们将如下模型进行对比：PRA、Path-RNN、Single-Model、Att-Model、Single-Model + Types、Att-Model + Types。
具体实验结果如下:

结论

当我们仅使用路径中的关系(AttModel)时，所提出的模型在MAP得分上优于也仅使用关系的其他方法，并且在比较中相对于所有模型实现了最好的MRR得分；
当我们通过将它们的类型添加到RNN建模中来进一步考虑路径中的实体时，我们发现所提出的方法(Att-Model+Types)仍然比其主要对手(Single-Model + Types)在MRR分数上实现了相当大的改进，并且在所有方法中在MAP分数上实现了最好的性能。