知识图谱和知识推理的研究进展

摘 要：知识图谱是近年来出现的一种知识表达形式,在自然语言处理、知识推理、实体关系预测等领域得到了越来越多的应用。在这其中,知识推理无疑是一个发展潜力巨大的领域。在如今这个信息爆炸的时代,基于人的知识推理显然难以满足如此庞大的信息处理需求,从而基于知识图谱的知识推理成为了当下的热点。首先,本文将回顾知识图谱和知识推理的发展历程。然后,我们将传统知识推理的方式分为三种类型：基于谓词的知识推理、基于词向量的知识推理和基于神经网络的知识推理,进一步讨论最近火热的时序知识推理问题,梳理知识推理最新的研究进展。最后,我们会讨论知识推理面临的应用和挑战。

1 引言

当今互联网蓬勃发展,信息量呈指数爆炸增长,面对海量的数据,如何进行组织和管理并进行进一步的应用是十分关键的。知识图谱应运而生。知识图谱是到目前为止最好的表示知识的方法之一,一大批知识图谱已经渐渐的发展成熟起来。比如YAGO、Freebase和WordNet。知识图谱能够将大量的信息进行高效的、有组织的储存。在知识图谱中,将实体抽象化为图中的节点,实体与实体之间的关系抽象成节点与节点之间的边,从而构成一个知识网络。如此形成的网络型结构有图论的理论支持,因此知识图谱有了广泛的应用。
推理是人与生俱来的能力。人类通过观察到、学习到的已有的知识推理出全新的知识,从而对未知的事物的现象做出识别和判断。推理是一个由已知挖掘未知的过程。到目前未知,机器的推理已经取得了很大的成就。阿尔法狗在2016年战胜世界围棋冠军,这便是知识推理的巨大成就。知识推理已经被证明在人工智能领域有举足轻重的地位。开发阿尔法狗的DeepMind公司指出人工智能必须要有知识推理的能力。
知识推理包括知识图谱补全(knowledge graph completion, knowledge base completion)和知识图谱去噪(knowledge graph refinement, knowledge graph cleaning)。在这其中,知识图谱补全又包括实体预测、关系预测、属性预测等。知识图谱补全的目的为根据已知推理未知,推理出的未知知识又可以作为新的已知知识进行进一步的推理。而知识图谱去噪则旨在识别知识图谱中错误的知识。知识推理的方法则包括基于谓词的知识推理(rule-based reasoning)、基于词向量的知识推理(distributed representation-based reasoning)和基于神经网络的知识推理(neural network-based reasoning)。时序知识推理是在传统的知识推理上加上时间标签属性,让知识图谱的语义更加丰富,更贴近现实,却也增大了知识推理的难度。我们接下来将分别阐述四种知识推理最新的研究进展,对比不同方法之间的差别和优劣,指出未来的挑战和研究方向。

2知识图谱和知识推理简介

本节介绍知识图谱和知识推理的基本概念理论。

2.1知识图谱定义及广泛使用的知识图谱简介

在知识图谱中,实体作为图中都是节点,实体与实体之间的关系抽象成节点与节点之间的边,实体间的关系有其属性。在知识图谱中,通常以三元组的方式表示知识,即(头实体,关系,尾实体)。给定一个知识图谱KG=<E, R, T>,其中E,T表示知识图谱中头实体和尾实体的集合,R表示关系集合,R中的边连接两个节点形成一个三元组(h,r,t)∈T来表示知识。
YAGO [1] :YAGO 是由 Max Planck 研究所开发的知识库, 其内容是从维基百 科、WordNet 和 GeoNames 中提取的。YAGO 将实体分配给超过 35 万个类别, 拥 有超过 1700 万个实体, 并包括超过 1.5 亿个知识。YAGO 还给部分实体附加了时间和空间维度。
WordNet:WordNet是一个英语词汇数据库,于1985年由普林斯顿大学认知科学实验室创建。在WordNet中,英语词汇作为实体出现在图谱中,词与词之间通过语义相互关联。目前,WordNet已经包含超过15万个实体单词、20万个语义关系和450万个知识。

2.2知识推理定义和面向知识图谱的知识推理

知识推理即从已知的知识中推理出未知的知识。给定知识图谱 KG =< E, R, T >,生成 KG 中不存在的三元组 G = (h, r, t)|h ∈ E, r ∈ R, t ∈ T,(h, r, t)\(\notin\)KG。
知识推理的目的是判断实体之间的潜在关系,并识别错误知识,以补充知识图谱。而知识图谱完全可以形式化的解释现实世界中的概念以及关系。因此基于知识图谱的知识推理是十分具体且灵活的。近年来,研究人员已经实现了一些信息抽取系统,例如TextRunner[2]系统和WOE[3]系统。这些系统极大的扩大了知识图谱的规模,给知识推理带来了新的机遇和挑战。

3基于逻辑谓词的知识推理

3.1基于一阶谓词规则的知识推理

在知识推理研究的早期,基于逻辑谓词的知识推理主要使用的是一阶逻辑谓词规则。基于一阶逻辑谓词的知识推理以一个命题作为推理的基本单位,对能够独立存在的实体对象进行预测。实体对象可以是具体的事务,也可以是抽象的概念。例如,人际关系可以用一节逻辑谓词进行推理,将关系作为谓词,设定推理的规则和约束条件进行简单的推理。具体的推理过程如下
(Trump, wasBornedIn, NewYork) ∧ (NewYork, America) =⇒ (Trump, nationality, America)
采用这种方法最经典的工作是First-OrderInductiveLearner(FOIL)[4]方法。其目的在于找到KG中所有潜在的关系,并获取所有关系的Horn从句作为特征用来预测关系是否存在。最后利用机器学习的方法来判别关系模型。进一步的,出现了大量的关于FOIL的工作。nFOIL,tFOIL[5]分别将朴素贝叶斯学习和增强贝叶斯与FOIL相结合。tFOIL的本质是放宽了朴素贝叶斯的假设,允许子句之间存在其他的概率依赖,放宽假设的代价是前期理论推导的困难,但事实证明确实有效,事实上允许存在格外依赖的假设也与现实更加的贴合。而nFOIL用朴素贝叶斯的概率得分指导结构搜索,这种方法里新知识的推导不再是盲目的,而是依据一定的指导而有方向的进行,结果证明这种方法相较于基础的FOIL尤其的高效,准确率也有相应的提升。接下来,kFOIL[6]结合了nFOIL和tFOIL方法,成功的从知识图谱的关系表示中推导处理一组特征,至此FOIL方法趋于成熟。
在这之后,Nakashole和Sozio[7]等人提出了一种针对不确定性知识库查询的一阶谓词推理方法。这种方法结合了知识推理的软规则(soft deduction rules)和硬规则(hard rules)。具体实现方法大致为将软规则用于去发现新的知识,而硬规则用于对新发现的知识和添加了新知识的知识图谱进行强制约束。
这种传统的FOIL算法在知识图谱的规模比较小时达到了很高的精确度,并且对于关系预测有很强的推理能力。但传统FOIL算法的本质仍是穷举思想,当知识图谱的规模较小时,由于考虑到了新知识的所有可能性,其准确率确实较高,但其时间复杂度至少为O(\(n^2\)),不适用于大规模的知识图谱。其时间和空间复杂度是无法接受的。为了解决这个问题,Wang和Li[8]提出了一种名为RDF2Rules的全新的知识推理算法。这个方法先识别频繁出现于知识图谱中的谓词,通过循环的方式来优化寻找规则的过程,并且大规模的使用了剪枝策略。如此以来一次可以挖掘多条潜在规则,很大程度上提高了处理大规模知识图谱的能力。
为了有效的对知识图谱进行形式化处理,描述逻辑(DL)应运而生,其目的在于平衡推理复杂度和表示能力。DL由TBox和ABox组成。TBox中包含着更加绝对的规则,而ABox中的规则针对单一实体。目前对DL使用最好的成果是Bienvenu[9]等人开发的框架,该方法不仅能够描述知识图谱的不完整性进一步实现模糊推理,并且是推理系统具备了较强大的解释能力。

3.2基于规则的知识推理

基于规则的知识推理其本质思想是通过统计特征或者是基础的规则进行知识图谱推理。在这种思想的指导下,Paulheim和Bizer[10]提出了SDValidate方法,利用统计特征来补全知识图谱和检测错误。具体来说,SDValidate使用头实体和尾实体在统计上的分配来预测实体的类型,计算每个关系的相对谓词频率(RPF),将RPF值较低的潜在关系排除。这种基于统计意义上的知识推理取得了很好的效果。在这之后,Wang和Mazaitis[11]等人使用了个性化PageRank(ProPPR)算法,将知识推理的发现过程抽象成随机马尔科夫过程,基于SLD定理进行理论证明,从而将问题表述为一个概率推理任务。

3.3基于随机游走的知识推理

基于随机游走的知识推理基于一个核心思想,即路径规则对知识推理有启发作用,因此将路径规则注入到知识推理。在基于随机游走的知识推理中,路径排序算法(PRA)(Lao,Cohen[12])是较早使用的通用技术。PRA由三部分组成：特征提取、特征计算和特征分类。PRA的具体做法是先找到一些潜在有价值的连接实体对,构成关系类型序列,按此序列结合路径约束进行随机游走,记录游走的长度,然后计算游走的概率p(t|h,π),其中(h,t)为一个节点对,π为路径。具体计算方法为

其中\(p(t|e';r_l)=\frac{r_l(e',t)}{|r_l(e',t)|}\)。最后使用逻辑回归算法学习训练路径特征的权重,作为对知识推理的指导。PRA的计算效率搞、精度高,有良好的可解释性,并且能够相对有效的解决较大规模的知识图谱推理问题。但PRA对于路径的发现本质仍是枚举的思想,对于真正的大规模知识图谱仍难以使用。因此在PRA的基础上,Lao、Mitchell和Cohen[13]进行了改进。其主要改进的是路径的生成过程,对于一个路径,只有在训练集中存在目标实体且长度小于一个上限才认为这个路径是有效的,从而很大程度上提高了路径生成的速度。
PRA仍有一个问题,就是PRA方法生成的特征无法避免稀疏性。在这之后,Gradner和Mitchell[14]提出了子图特征提取算法(SFE),这是一个更简单并且更高效的算法。SFE的第一步和PRA的第一步完全相同,而接下来SFE首先执行局部搜索来对实体周围的图进行抽象化处理。对于这些组图提取特征从而或者每个实体的特征向量。这种方法在效果和效率上都优于PRA。
虽然Lao等人对于PRA的改进在一定程度上对路径选择有了一定的约束,但本质上仍然是没有引导的纯随机游走。这种纯随机算法注定是低效的。基于此,Wang、Liu和Luo[15]等人提出了一种新的基于PRA的学习框架,称为CPRA。CPRA采用多任务机制,其中一个模块用于自动发现高度相关的关系,另一个用于关系的学习,达到了不错的效果。

4基于词向量的知识推理

最近,词嵌入的方法大量的应用于自然语言处理问题之中。词嵌入的方法本质为将一个实体映射到一个连续的向量空间之中,得到向量表示。这些向量能够表达实体在不同特征中的取值,实体之间的关系也与对应向量之间的距离相关。

4.1基于语义匹配的知识推理

在基于张量分解的知识推理中,最具有代表性的当属RESCAL[16]模型。RESCAL的具体做法是把知识图谱中的每一个关系都用一个矩阵表示,每一个实体用一个向量表示,图谱中所有的关系构成一个三阶张量。具体优化目标为

利用神经网络优化目标。本质为在对张量降维的同时保留数据特征,进行张量分解。
在 RESCAL 的基础上,Yang 等人提出了 DistMult [17] 模型。与 RESCAL 相 同的是,DIstMult 仍然用一个向量来表示实体。而不同的是,DistMult 用一个向量 来表示一个关系, 从而将 RESCAL 中的 R 矩阵退化为对角矩阵。由此优化目标 变为

其余与RESCAL类似。DistMult相比于RESCAL更高效、更准确,尤其是在速度上有很大的提升。但DistMult的缺点仍然明显。DistMult中一个关键的前提假设是知识图谱中的关系是对称的,但事实上这种假设难以达到。例如,基于DistMult的假设,“A是B的父亲”和“B是A的父亲”两个关系默认同时成立,这在现实中不可能正确。基于语义分析的知识推理具有很强的表达能力,同时没有约束,但是解释性不好。

4.2基于翻译距离的知识推理

基于翻译距离的知识推理的本质思想是：实体嵌入的向量之间的距离能够表示实体之间的关系。这种思想来自于TomasMikolov的发现[18]。在将词向量映射到二维空间可视化后,TomasMikolov敏锐的发现国家词向量和与其对应的首都词向量之间的差值及其相近,如图1所示。
因此基于翻译距离的知识推理的前提假设为实体嵌入之间的距离表示实体之间的关系,例如:China−BeiJing≈Britain−London
基于这种思想,Bordes 等人提出了经典的 TransE [19] 模型。该模型的具体实 现方法为, 对于一个三元组 (h, l, t) ∈ S 和 (h ′ , l, t′ ) ∈ S ′ , 其中 S, S′ 分别为已知的和未知的三元组集合, 优化目标为

图 1: TransE 图片选自 [Tomas Mikolov 2013 [18]]

其中 d(h + l, t) = (h + l − t) T (h + l − t), 并且进行约束 ∥h∥ = 1, ∥t∥ = 1
TransE是一个非常经典的算法,具有很高的准确率。但缺点在于它无法描述一对多的关系。例如,“A是B的父亲”和“A是C的父亲”完全可以同时满足,但B和C是不同的两个实体,A−B≈A−C很有可能并不成立。为了解决这个问题,Wang等人提出了TransH[20]模型。TransH的本质在于将实体映射到向量空间后,再将实体映射到不同的超平面。每一个关系都对应一个超平面。在上述例子中,B和C在向量空间中不在一个点上,但映射到“父子”关系对应的超平面后在一个点上,从而解决一对多关系的问题,如图2所示。

图 2: TransH 图片选自 [Wang 2014 [20]]

TransH将关系对应到一个超平面,而这种方法仍然略显复杂,当关系数量多时,计算复杂度将大大提升。Liu等人因此提出了TransR[21]模型。与TransH不同,TransR将实体空间与关系空间分开,TransR使用矩阵将关系映射到另一空间,使得具有关系的实体彼此相近,没有关系的实体彼此分离。优化目标改为

其中\(f_r(h,t)=||h_r+r-t_r||_2^2\)
这种基于翻译距离的知识推理方法具有很好的解释性,但是缺点在于表达能力不强,并且模型对于约束有很高的要求。

5基于神经网络的知识推理

5.1基于循环神经网络的知识推理

在基于循环神经网络的知识推理中,PathRNN[22]是一个经典的模型。PathRNN使用PRA作为在知识图谱中讯号轮径的方法,然后将路径中的二元关系的嵌入式表达作为神经网络的输入。它将整个路径的起始实体与终止实体之间的关系抽象化,根据语义输出一个向量。如图10所示,在找到Microsoft→Washington→USA这个路径后,PathRNN生成了一个语义上接近“总部-国家”的关系向量。

图3: Path RNN 图片选自[Neelakantan 2015 [22]]

PathRNN存在三个缺点。首先,它的推理是通过一整个关系链,而与构成路径的实体无关。其次,在进行未知知识的推理时,PathRNN只采用单一路径作为证据,可靠性不足。最后,由于它需要为每一个关系类型训练一个模型,因此变得难以扩展,需要维护的参数量也过于庞大。据此,Wang和Chen[23]等人提出了多段推理的注意力机制。在使用原有方法找到实体构成的路径之后,根据注意力分配机制将整个路径进行整合,从而判断关系类型。

5.2基于卷积神经网络的知识推理

随着数据量的不断增大,整个知识图谱的特点是多源异构的、数据稀疏的,在此背景之下,描述性知识表示学习(DKRL)应运而生。DKRL使用两个编码器(encoder)来对实体进行描述性工作,来处理数据稀疏的问题和零样本的问题。在此基础上,Shi和Weninger[24]提出了ConMask模型,它将与实体间的关系有关的单词掩盖来突出显示与任务相关的单词,接上一个完全卷积神经网络(FCN)。
为了更加充分的利用知识图谱中丰富的属性信息,Tay和Tuan[25]等人首先提出了一种多任务神经网络模型(MT-KGNN)。MT-KGNN在推理的过程中会对属性进行编码,进一步挖掘实体、关系和属性之间的关联。
ConvE[26]是能应用于大型知识图谱的基于卷积神经网络的最早被提出的模型之一。ConvE的结构中最先是一个嵌入层,对实体和关系进行词嵌入映射,接着是进行映射和重构,输出的矩阵被送入一个循环层,输出被映射到k维空间中。最后输入全连接层,然后将所有的候选对象与原本的嵌入表达进行对比预测,结构如图4所示

图4: ConvE 图片选自[Dettmers 2018 [26]]

6基于时序知识图谱的知识推理

对于传统的知识推理的方法日渐成熟,但有时间标签的知识图谱推理则是新的主题。与传统的知识图谱(KG)不同,时序知识图谱(Temporal Knowledge Graph,TKG)多了时间标签。即对于一个给定的TKG=\(<E_1,R,E_2,T>\),其中E1,E2表示知识图谱中头实体和尾实体的集合,R表示关系集合,T是时间集合,R中的边连接两个节点形成一个三元组\((ε_1,r,ε_2,t)\in G\)来表示知识。
基于TKG的知识推理包括实体预测任务和关系预测任务。实体预测即预测哪一个实体或哪一对实体在给定的时间有给定的关系,也就是<ε,r,?,t>补全问题。关系预测问题即预测在未来的哪一个时间点会有给定的关系,也就是<ε1,?,ε2,t>补全问题。
Know-evolve[27]和DyRep[28]进行了一些早期的尝试。它们都通过将历史中所有发生过的时间进行建模来学习实体表示,但它们的缺点都在于对于同一时间并行发生的时间无法进行建模,而此类事件之间的关联往往是紧密的。TKG之所以比传统的KG面临更大的挑战,主要是因为以下点：(1)TKG中所有的事件具有很强的依赖关系。(2)很容易忽略实体类型等一些静态属性的作用。
Liu和Jin[29]等人较好的解决了以上两点困难,提出了RE-GCN模型。REGCN模型是一种基于图卷积网络的新型循环进化网络,它对传统知识图谱(KG)序列进行循环建模,学习每个实体和关系的表示。RE-GCN分为两个部分:规则挖掘和规则应用。规则挖掘的本质是一个随机游走的过程。整个游走路径可以表示为

对于一个固定的关系\(r_n\)进行规则推理的学习, 对于每一个\(r_n\)找到一个上述 的路径, 生成 \(conf(R)=\frac{rulesupport}{bodysupport}\) .
应用规则的过程主要是解决实体预测的问题,从满足t∈[\(t_q−w\),\(t_q\)]的子图中寻找R的bodygroundings,对于每一个候选预测,计算得分f(R,C)。RE-GCN的本质思想是从现有的知识图谱中学习可能的关系之间的推演规则,应用于实体预测。

7知识图谱推理的应用

医学领域是最广泛、最适合使用知识图谱进行抽象表达和推理的领域之一[30]。由于医学领域的实体多种多样,可以是病毒、药物、器官、疾病、症状等等,并且实体之间的关系五花八门,可以是“病毒-疾病”的产生关系,可以是“疾病-症状”的对应关系,这种复杂、多样而且大量的信息用其他的方式难以储存。而知识图谱是最好的储存方法,而现有的基于知识图谱的知识推理也广泛的应用于医学领域之中。
知识推理可以用于医疗信息搜索。传统的医疗搜索难以处理百亿计的网页数据,而知识图谱相较于传统方法,可以通过从图谱中抽取实体、关系和属性来进行扩展搜索。目前已经出现了很多典型的医疗专用搜索引擎,例如WebMD、Healthline等。Healthline是一个医学信息搜索引擎,已经涵盖5万条相互关联的概念。目前的医疗搜索引擎主要受限于医学知识图谱的数量和质量。

8 总结

本文将知识图谱和基于知识图谱的知识推理领域分为了基于逻辑谓词的知识推理、基于词向量的知识推理、基于神经网络的知识推理和时序知识图谱的知识推理。对这四类知识推理,文章分析了一些经典模型及其优劣,并进一步阐述了对这些经典模型的改进。最后简单的说明了知识图谱推理在医学领域将的广泛应用。希望这篇文章能对知识推理领域的研究这提供新的简介。

参考文献

[1] Fabian M. Suchanek, Gjergji Kasneci, and Gerhard Weikum. Yago: A core of semantic knowledge. In Proceedings of the 16th International Conference on World Wide Web, WWW ’07, page 697–706, New York, NY, USA, 2007. Association for Computing Machinery.

[2] Michele Banko, Michael J. Cafarella, Stephen Soderland, Matt Broadhead, and Oren Etzioni. Open information extraction from the web. page 2670 –2676, 2007. Cited by: 1139.

[3] Fei Wu and Daniel S. Weld. Open information extraction using wikipedia. In Jan Hajic, Sandra Carberry, and Stephen Clark, editors, ACL 2010, Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, July 11-16, 2010, Uppsala, Sweden, pages 118–127. The Association for Computer Linguistics, 2010.

[4] Stefan Schoenmackers, Oren Etzioni, Daniel S. Weld, and Jesse Davis. Learning first-order horn clauses from web text. page 1088–1098, 2010. Cited by: 147.

[5] Niels Landwehr, Kristian Kersting, and Luc De Raedt. Integrating naïve bayes and foil. Journal of Machine Learning Research, 8:481–507, 2007. Cited by: 53.

[6] Niels Landwehr, Andrea Passerini, Luc De Raedt, and Paolo Frasconi. Fast learning of relational kernels. Mach. Learn., 78(3):305–342, 2010.

[7] Ndapandula Nakashole, Mauro Sozio, Fabian Suchanek, and Martin Theobald. Query-time reasoning in uncertain rdf knowledge bases with soft and hard rules. volume 884, page 15–20, 2012. Cited by: 7.

[8] Zhichun Wang and Juanzi Li. Rdf2rules: Learning rules from rdf knowledge bases by mining frequent predicate cycles, 2015.

[9] Meghyn Bienvenu, Camille Bourgaux, and François Goasdoué. Computing and explaining query answers over inconsistent dl-lite knowledge bases. J. Artif. Intell. Res., 64:563–644, 2019.

[10] Heiko Paulheim and Christian Bizer. Improving the quality of linked data using statistical distributions. Int. J. Semantic Web Inf. Syst., 10(2):63–86, 2014.

[11] William Yang Wang, Kathryn Mazaitis, and William W. Cohen. Programming with personalized pagerank: a locally groundable first-order probabilistic logic.

In Qi He, Arun Iyengar, Wolfgang Nejdl, Jian Pei, and Rajeev Rastogi, editors, 22nd ACM International Conference on Information and Knowledge Management, CIKM’13, San Francisco, CA, USA, October 27 - November 1, 2013, pages 2129–2138. ACM, 2013.

[12] Ni Lao and William W. Cohen. Relational retrieval using a combination of pathconstrained random walks. Mach. Learn., 81(1):53–67, 2010.

[13] Ni Lao, Tom M. Mitchell, and William W. Cohen. Random walk inference and learning in A large scale knowledge base. In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, EMNLP 2011, 27-31 July 2011, John McIntyre Conference Centre, Edinburgh, UK, A meeting of SIGDAT, a Special Interest Group of the ACL, pages 529–539. ACL, 2011.

[14] Matt Gardner and Tom Mitchell. Efficient and expressive knowledge base completion using subgraph feature extraction. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 1488–1498, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[15] Quan Wang, Jing Liu, Yuanfei Luo, Bin Wang, and Chin-Yew Lin. Knowledge base completion via coupled path ranking. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1308–1318, Berlin, Germany, August 2016. Association for Computational Linguistics.

[16] Maximilian Nickel, Volker Tresp, and Hans-Peter Kriegel. A three-way model for collective learning on multi-relational data. In Lise Getoor and Tobias Scheffer, editors, Proceedings of the 28th International Conference on Machine Learning, ICML 2011, Bellevue, Washington, USA, June 28 - July 2, 2011, pages 809–816. Omnipress, 2011.

[17] Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, and Li Deng. Embedding entities and relations for learning and inference in knowledge bases. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[18] Tomás Mikolov, Ilya Sutskever, Kai Chen, Gregory S. Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. In Christopher J. C. Burges, Léon Bottou, Zoubin Ghahramani, and Kilian Q. Weinberger, editors, Advances in Neural Information Processing Systems 26: 27th Annual Conference on Neural Information Processing Systems 2013. Proceedings of a meeting held December 5-8, 2013, Lake Tahoe, Nevada, United States, pages 3111–3119, 2013.

[19] Antoine Bordes, Nicolas Usunier, Alberto García-Durán, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In Christopher J. C. Burges, Léon Bottou, Zoubin Ghahramani, and Kilian Q. Weinberger, editors, Advances in Neural Information Processing Systems 26: 27th Annual Conference on Neural Information Processing Systems 2013. Proceedings of a meeting held December 5-8, 2013, Lake Tahoe, Nevada, United States, pages 2787–2795, 2013.

[20] Zhen Wang, Jianwen Zhang, Jianlin Feng, and Zheng Chen. Knowledge graph embedding by translating on hyperplanes. In Carla E. Brodley and Peter Stone, editors, Proceedings of the Twenty-Eighth AAAI Conference on Artificial Intelligence, July 27 -31, 2014, Québec City, Québec, Canada, pages 1112–1119. AAAI Press, 2014.

[21] Yankai Lin, Zhiyuan Liu, Huan-Bo Luan, Maosong Sun, Siwei Rao, and Song Liu. Modeling relation paths for representation learning of knowledge bases. In Lluís Màrquez, Chris Callison-Burch, Jian Su, Daniele Pighin, and Yuval Marton, editors, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, EMNLP 2015, Lisbon, Portugal, September 17-21, 2015, pages 705–714. The Association for Computational Linguistics, 2015.

[22] Arvind Neelakantan, Benjamin Roth, and Andrew McCallum. Compositional vector space models for knowledge base inference. In 2015 AAAI Spring Symposia, Stanford University, Palo Alto, California, USA, March 22-25, 2015. AAAI Press, 2015.

[23] Zikang Wang, Linjing Li, Daniel Dajun Zeng, and Yue Chen. Attention-based multi-hop reasoning for knowledge graph. In 2018 IEEE International Conference on Intelligence and Security Informatics, ISI 2018, Miami, FL, USA, November 9-11, 2018, pages 211–213. IEEE, 2018.

[24] Baoxu Shi and Tim Weninger. Proje: Embedding projection for knowledge graph completion. In Satinder Singh and Shaul Markovitch, editors, Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, February 4-9, 2017, San Francisco, California, USA, pages 1236–1242. AAAI Press, 2017.

[25] Yi Tay, Anh Tuan Luu, Minh C. Phan, and Siu Cheung Hui. Multi-task neural network for non-discrete attribute prediction in knowledge graphs. CoRR, abs/1708.04828, 2017.

[26] Tim Dettmers, Pasquale Minervini, Pontus Stenetorp, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings. CoRR, abs/1707.01476, 2017.

[27] Rakshit Trivedi, Hanjun Dai, Yichen Wang, and Le Song. Know-evolve: Deep temporal reasoning for dynamic knowledge graphs. In Doina Precup and Yee Whye Teh, editors, Proceedings of the 34th International Conference on Machine Learning, ICML 2017, Sydney, NSW, Australia, 6-11 August 2017, volume 70 of Proceedings of Machine Learning Research, pages 3462–3471. PMLR, 2017.

[28] Rakshit Trivedi, Mehrdad Farajtabar, Prasenjeet Biswal, and Hongyuan Zha. Dyrep: Learning representations over dynamic graphs. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[29] Zixuan Li, Xiaolong Jin, Wei Li, Saiping Guan, Jiafeng Guo, Huawei Shen, Yuanzhuo Wang, and Xueqi Cheng. Temporal knowledge graph reasoning based on evolutional representation learning. CoRR, abs/2104.10353, 2021.

[30] 袁凯琦; 邓扬; 陈道源; 张冰; 雷凯;. 医学知识图谱构建技术与研究进展. 计 算机应用研究, 35:1929–1936, 2018.