知识图谱&表示学习

1.表示学习

（1）表示学习：用机器学习提取特征，而不是手动提取特征。学习如何提取特征，即学习如何学习。

（2）表示学习算法的典型例子：自编码器（autoencoder）。

（3）表示学习从原始数据中提取高层次、抽象的特征很难。深度学习（deep learning）通过其他较简单的表示来表达复杂表示，解决了表示学习中的核心问题。

（4）表示学习的韦恩图和流程图：

（5）表示学习一般作为其他任务的前置任务，比如【实体关系预测】、【实体分类】。 

  

2.网络(嵌入)表示学习 vs 知识图谱表示学习

（1）网络表示学习=网络嵌入

①网络表示学习没有关系，更注重在嵌入空间保留(拓扑)结构信息，注重节点表示/建模，之所以要将原始问题转化为图网络也是因为，从网络中可以发现传统方法发现不到的结构信息；

②网络表示学习强调的是节点的表示，这为下游任务：节点分类，链接预测，网络重构，网络可视化等提供了方便。

   并不是表示学习在图数据中不强调关系的重要性，而是因为关系没有那么清楚和直白，关系是模糊不清的，不可能像是在知识图谱中那样很明确。所以没办法对关系进行建模，干脆就放弃建模。

③网络表示学习中没有明显的结点之间的关系，网络中各个结点相互连接，所有结点是一视同仁，但我们并不知道他们之间的具体关系是什么，这就需要一个有效的方法去挖掘。(比如社交网络这个网络图，A、B和我之间都有连线，但直观上看不出来我和A、B谁的关系更好，需要利用其它信息去发现)

④网络表示大多是用于单关系网络的，比如社交网络，只有朋友关系这一种；

④网络表示学习算法：DeepWalk，Node2vec，LINE……

　　DeepWalk是受word2vec的启发，通过随机游走得到结点序列，然后用word2vec的方法最大化结点共同出现的概率。

　　Node2vec在DeepWalk的基础上考虑了随机游走的广度和深度两个方面，可以根据情况有不同的侧重点。

　　LINE，保留节点的二阶相似度。

⑤网络表示学习通常有两个基本目标：

　　一是在低维空间中学习到的表征可以重构出原有网络结构。

　　二是学习到的表征可以有效地支持网络推断。

⑥网络表示学习通常包括三种：

　　基于矩阵分解的模型，比如SVD；

　　基于随机游走的模型，比如DeepWalk；

　　基于深度神经网络的模型，就更多了，CNN、RNN都可以用。

　　此外还有同质网络、异质网络的区分，还有属性网络、融合伴随信息的网络等。

⑦网络表示学习分为：异质信息网络和同质信息网络（但是不能完全区分开），而同质信息网络可看作异质信息网络的特例。

 

（2）知识图谱表示学习

①知识图谱表示学习在保留结构信息的基础上强调关系和头尾关系；

②知识图谱表示学习强调的是节点和关系的表示，节点和关系同样重要；

③知识图谱表示学习中往往指明了关系，比如水果和猕猴桃之间是所属关系。知识图谱表示学习中常常提到的一个概念就是三元组（头实体，关系，尾实体）

④知识图谱表示中的关系不再是单关系，而是多种关系，之前的方法不适用，出现了一些知识图谱表示学习的方法；

⑤知识图谱的表示前提需要一个知识图谱，现在很多研究都用到了开源的知识图谱，也有不少人在自己搭建相关领域的知识图谱。因为知识图谱不像图网络那样只需要有结点和边就可以了，知识图谱需要有实体和关系，那么实体和关系又从何而来？这就要用到信息抽取。所以知识图谱要用到实际中还是需要做很多工作的。

⑥知识图谱表示算法：trans系列的算法，什么是TransE，TransR，TransH，很多很多，它们都是将图谱表示成大量的三元组，通过这个三元组去刻画实体和关系的向量表示。

（3）区别

①知识图谱表示学习强调关系，网络表示学习不考虑关系；　　　　

②从知识推理的角度来说，异质信息网络=知识图谱。从网络的构建和布局等角度来说，异质信息网络！=知识图谱。

（4）联系

①两者都是表示学习，目标都是将实体或者关系或者结点表示成一个向量，用这个向量去做分类、聚类等；

②知识图谱表示学习是特殊的网络表示学习；网络表示学习是更一般的知识图谱表示学习；

③两种方法都可以统一在encoder-decoder的框架下，不过由于隐空间下的距离度量和设计的loss不同，模型有所变化；

④两种方法的模型可以在相关任务通用，但算法性能差别较大；

⑤异质信息网络和知识图谱都可以用图的形式进行表示；

 

参考：https://www.zhihu.com/question/269781335

如果还不明白，可以读一个论文：斯坦福17年的综述Methods and Applications和他们在www18上组织的相关tutorial。

 

3.知识图谱的关系推理的三种方法

统计关系学习方法（SRL）：如马尔科夫逻辑网络、贝叶斯网络，但这类方发需要设计相应的规则，因此没有很好的扩展性和泛化性；

嵌入式表示的方法：旨在将实体和关系映射为空间中的向量，通过空间中向量的运算来进行推理（如TransE），该方法取得了较好的准确率，但分布式表示的解释性不强，另外，较难实现并行计算；

基于关系路径特征的随机游走模型：该方法可以进行并行计算，具有较好的执行效率，但准确率与召回率相比嵌入式表示学习的方法存在劣势。

本文的想法是：是否可以设计算法同时实现随机游走模型的执行效率以及保留嵌入式表示学习方法的准确率？

论文：ISGIR 2016，Hierarchical Random Walk Inference in Knowledge

 

4.知识图谱表示学习，将知识图谱映射到低维稠密向量空间

论文：TransG : A Generative Model for Knowledge Graph Embedding

 

5.Word Representation

（1）one-hot representation

长度为词典长度，每个词在词典中的位置置1，其余置0
Curse of Dimension, 不适合太大的字典
互相正交，难以表示词语之间的相似性

（2）词向量(distributed representation)

词向量：http://licstar.net/archives/328（学习，很系统）

稠密、实值、低维的向量

便于Deep Learning

相似度用距离表示

word2vec

king-queen = man-woman

参考：https://blog.csdn.net/zlasd/article/details/69258491

这篇文章还有Trans系列、知识融合总结（值得细看）

 

6.论文笔记和源码复现

序号	会议	论文	阅读笔记	源码复现	创新点
[1]	AAAI 2016	Representation Learning of Knowledge Graphs with Entity Descriptions	戳这里	戳这里	无

参考：

https://blog.csdn.net/Wangpeiyi9979/article/details/102758244?depth_1-utm_source=distribute.pc_relevant.none-task-blog-OPENSEARCH-1&utm_source=distribute.pc_relevant.none-task-blog-OPENSEARCH-1

 

 

 

 

参考：

https://www.cnblogs.com/jtianwen2014/p/7018872.html

https://www.cnblogs.com/jtianwen2014/p/7000190.html