TransR 学习笔记

TransR

paper : Learning Entity and Relation Embeddings for Knowledge Graph Completion

论文

what is TransR ？

TransR 是由清华大学的刘知远、孙茂松老师团队发表在 2015 年 AAAI 上的工作，主要的工作就是将 TransH 的超平面投影更进一步——投影到空间中，将 TransH 中的投影向量 Wr 换成了投影矩阵 Mr，实体依旧由一个向量表示，关系由一个本体 embedding r 与一个投影矩阵 Mr 来表示。

Method

TransR 的 R 表示 relation space ，由 Mr 来确认关系所在的平面，每个关系都有自己的一个独立空间，要想计算实体得分，必须先将实体投影到关系所在平面中。

投影操作如下：

Score function ：

TransR 的得分函数与他文章中提到的一个模型：SE 模型的得分函数很相似，SE 的得分如下：

SE 模型中的每个关系对应两个矩阵，没有关系自身的 embedding。

Loss function

训练同样是采用 随机梯度下降法 SGD

CTransR

文章中还提出了 CTransR （ cluster-based TransR ），基于聚类的 TransR 模型，因为无论是 TransE 、 TransH 、 TransR ，他们对于关系自身只有一个 embedding ，考虑到一个向量无法表示这一关系下的所有实体对，将输入的头尾实体进行聚类。

实体对（ h ，t ）用他们的 向量偏移量 （ h-t ）来表示，方便进行聚类分组，再用一个向量来表示每个聚类分组。

Experiment

和 TransH 一样，TransR 也进行了链接预测、三元组分类和关系抽取三项实验。

在实验结果上。TransR 及其变体都达到了最优，但这是以巨大的计算量复杂度换来的。根据文章的说法，TransR 的训练时间约是 TransE 的 36 倍、是 TransH 的 6 倍。

Summary

TransR 将 TransH 的投影操作进行进一步拓展，将实体和关系投影到空间中。