层次建模（TransRHS）
TransRHS
paper: TransRHS: A Representation Learning Method for Knowledge Graphs with Relation Hierarchical Structure
这篇文章是天津大学的一个研究团队发表在 IJCAI 2020 上的一篇文章，提出了 TransRHS 模型，主要工作是在 KGE 时也对关系的层次结构建模，方法是对每个关系，训练一个向量和一个球（sphere），用向量差和球的相对位置关系表示关系的层级结构。
问题提出
以往的模型在进行 KGE 时，忽略了关系的层次结构（具体为关系间的“subRelationOf”关系），因为考虑层次结构会对 KGE 效果有负面的影响。为了解决该问题，本文提出了 TransRHS，将每个关系嵌入为一个带有球（sphere）的向量，利用向量和球之间的相对位置建模“subRelationOf”代表的层次关系结构，并且不损失 KGE 效果。
上图为 NELL 中层次关系结构的示例。在将关系层次结构（Relation Hierarchcal Structure）融入到 KGE 中时，KG 中关系和实体的 embedding 会被影响。而本文的 TransRHS 在不影响原来模型的基础上，无缝地整合了 RHS 信息。
关系层级结构
上图为 RHS 的形式化表示，下面层的关系是上面层关系的子关系，\(r_j^{(i)}\) 表示第 i 层的第 j 个子关系。
整个 KG 的所有三元组被分为两部分：subRelationOf 三元组集 \(T_r\) 和普通的关系三元组集 \(T_e\)。
为了整合 RHS 信息，KGE 模型应当满足如下的两条 rdf 规则：
TransRHS
TransRHS 仍然遵循翻译规则 “h + r ≈ t”，只是为每个关系多引入了一个球。
给定三元组对 \((h,r,t) \in T_e\) 和 \((r,sro,p) \in T_r\)，TransRHS 为关系 p 学习一个低维向量 p 和相应的球 \(s_1\)（半径为 \(m_1\)），为关系 r 学习一个向量 r 和相应的球 \(s_2\)（半径为 \(m_2\)）。
h+p 和 t 之间的距离为：\(d_1 = \lVert h+p-t \rVert_2\)
h+r 和 t 之间的距离为：\(d_2 = \lVert h+r-t \rVert_2\)
两层 RHS
上图展示了理想的 embedding 情况，该三元组对需要满足如下的条件：
在如下的情况下 embedding 仍然需要继续训练优化：
针对上面的四种情况定义的 loss:
三层 RHS
TransRHS 可以处理多层的关系层次结构：
给定一个关系三元组 \((h,r,t)\) 和两个 subRelationOf 的三元组 \((r,sro,t)\) 和 \((p,sro,pp)\)，理想的 embedding 应满足如下条件：
球半径比例下降
由上面 TransRHS 的假设可以看到，关系越深（越具体），其 sphere 的半径越大（球的半径可以视为一种误差容忍范围），这样会导致 h+r 与 t 的差异也趋向变大，与基本的翻译规则“h+r≈t”不相符。为了解决这个问题，文章提出了球半径差异成比例下降的策略：
\([m_{(i)}-m_{(i-1)}] : [m_{(i+1)}-m_{(i)}] = \eta ： (1-\eta)\)
该策略可以保证，随着关系树中深度的增加，相邻层的球的半径的差异变小，可以缓解与基本翻译规则的冲突。
训练
loss 分为两部分：
普通的关系三元组的 loss：
总 loss 为两部分 loss 之和：
实验
数据集
使用了 NELL 数据集，但是这个数据集太少了，只包含两类关系：运动类包含4个关系，位置类包含5个关系，个人认为这是这篇文章的致命弱点，样本量太小不足以证明模型的有效性，相当于只在这两种关系上实现了 SOTA，如何证明在其他关系类型、关系数量多时也同样有效？
链接预测
链接预测指标采用 MRR：
三元组分类
论文中没有提供代码。
小结： 看这篇之前看了 w2g 作者的对词做层次化嵌入的论文，然后又看了这篇对 KG 做层次化嵌入的。刘知远老师的书里说的知识的层次化嵌入是一个很好的方向，做的人很少，本来想着看完这两篇看能不能跟进一下，emmmm 算了，感觉不太好做，主要是因为这篇没有给代码（bushi）。后面打算转战到主流的 NN for KGE 吧，看几篇后决定是做 NN 还是做知识推理。五一之前看的几篇 KGR 倒是有代码，感觉也是很好的方向，但是跟第一篇论文的方向差的有点远了，怕最后的大论文不好 cover。
