未归类模型（一）（CombinE、SimE-ER、RTKRL）
我有一个毛病，就是看论文很多，做得却很少，看论文的时候看到这篇文章里面的参考文献，有相关的比较感兴趣的，觉得应该看一下，补充一下知识体系，然后论文就攒了一堆，然后看的时候就会效率极低，一看论文就会陷入无意识走神的状态，总想着将这篇论文速读一下，结果看起来思路就被带着走了，没有做别的时候那么专注，看下来也不知道讲了什么，印象不深，不愿意看，看了也没啥收获。所以这个毛病要改一改，以后不能花太多时间在看论文上面了，接下来三个月的主要工作应该在自己做的上面，遇到想看的论文先存起来好了，等开题报告里面的工作都做完了有时间再看吧，还有列出的一系列新的模型，也要等以后有时间再看了，要把主要精力放在最重要的事情上面了。
今天看了三篇论文，前两篇是期刊上的，很水很好懂，第三个是 CombinE，却没看太懂，果然以我的水平，只能看水文。看了没用的水文，还得写笔记，不写笔记过些日子，就跟没看一样样的，不想写，但又不得不写。本来还有两篇 NN 的论文要看的，但是不打算安排在明天了，还是要着手研究内容二了，等做实验遇到瓶颈再看看论文囤货吧。
SimE-ER
【paper】 Knowledge Graph Representation via Similarity-Based Embedding
模型
SimE-ER (Simlilarity-based Embedding Entity/Relation) 引入了两个空间：independent sapce 和 associated space，前者捕捉实体和关系
本身的内在固有特征，后者用与其关联的实体表示当前实体，并计算实体在两个空间的 embedding 的相似度，使其尽量相似。
下标为 i 代表 independent space 中的表示，下标为 a 代表 associated space 中的表示。
两个空间中的相似度计算采用余弦相似度：
忽略分母，头实体的两个空间 embedding 的相似度为：
SimE-E 使用头尾实体各自在两个空间的 embedding 的相似度作为模型的相似度：
SimE-ER 使用实体和关系三者的相似度之和：
Loss：
实验
在 WN18、FB15K、FB40K 上进行了链接预测实验，不贴图了。
RTKRL
【paper】 Representation Learning of Knowledge Graphs via Fine-Grained Relation Description Combinations
模型
RTKRL （Relation Text-embodied Knowledge Representation Learning）是一个引入外部文本信息的模型，我为什么要读这篇论文orz，真是脑子被驴踢了。
模型也是非常简单，就是用 CNN 编码了一下 relation 的文本描述信息， 然后与 Trans 模型进行了一下 jointly embedding。
能量函数为 structure-based 和 text-based 两部分之和。
实验
在 FB15K 上进行了链接预测实验，还有 case study。之所以没有选择 WN18 给出的解释是 WN18 的关系的文本描述信息不好抽取，搞笑~
baseline 模型也只用了 TransE、TransH、TransR 三个，鸡肋得很~
CombinE
【paper】 Representation Learning of Large-Scale Knowledge Graphs via Entity Feature Combinations
模型
ConbinE 在平常的论文综述中并不常见到，但是已经出现过好几次了，所以今天决定看一下，但是，没看懂。反正就是用加法和减法两种方式进行了 combination。
这两个操作就完全背离了 TransE "h+r≈t" 的翻译规则了。
文中说，在加法组合中，关系是 related 实体对的抽象；在减法组合中，特定实体的特征被用于 offset the divergence and preserve the prominence between head and tail entities（偏置差异并保留显著性）。
加法组合
在这种模式下，希望：
加法组合的打分函数为：
减法组合
在这种模式下，希望：
减法组合的打分函数为：
减法组合与 TransE 的区别：
组合模型
整体打分函数为：
加正则项的 Loss：
实验
在 WN18 和 FB15K 上进行了实体预测和关系预测、case study，还进行了 CombinE+、CombinE-、CombinE 三种模式的比较，最后还进行了复杂度分析。
