图神经网络GNN、GCN、GAE、GRNN、GRL详细解释

论文地址Deep Learning on Graphs: A Survey

一、图的不同种类深度学习方法

1、主要分为三大类：半监督学习，包括图神经网络和图卷积神经网络；

2、无监督学习图自编码机；

3、最新的进展，图对抗神经网络和图强化学习。分析了不同方法的特点和联系。

二、图神经网络 (GNN)

图神经网络是图数据最原始的半监督深度学习方法。

GNN的思路很简单：为了编码图的结构信息，每个节点可以由低维状态向量表示。对于以图为中心的任务，建议添加一个特殊节点，这个节点具有与整个图相对应的唯一属性。

回顾过去，GNN统一了一些处理图数据的早期方法，如递归神经网络和马尔可夫链。

展望未来，GNN中的概念具有深远的启示：许多最先进的GCN实际上遵循与邻近节点交换信息的框架。事实上，GNN和GCN可以统一到一个通用框架中，GNN相当于GCN使用相同层来达到的稳定状态。

从概念角度来看，GNN是非常重要的，但它也有几个缺点：

• 首先，在其计算过程中，公式(具体公式可查看原文)中的映射必须是压缩映射，这就严重限制了建模能力。

• 其次，由于在梯度下降步骤之间需要许多迭代，因此GNN在计算上的代价是昂贵的。

或许是因为这些原因，GNN并未被社区所熟知。

三、图卷积网络 (GCN)

除了GNN，图卷积网络(GCN)是图的另一类半监督方法。由于GCN通常可以像标准的CNN那样通过反向传播来训练特定任务的损失，所以本文主要关注其采用的体系结构。

下表总结了本文所研究的GCN的主要特征：

不同图卷积网络之间的比较

可以看到在本文所研究的22种GCN方法中，从类型角度看分为两种，一种是光谱域(Spectral)、另一种是空间域(Spatial)。

三、图自编码器 (GAE)

自编码器(AE)和变分自编码器(VAE)广泛应用于无监督学习中，它们适用于学习无监督信息的图节点表示。

下表总结了本文所研究的GAE主要特征：

不同GAE之间的比较

可以看到，在本文所研究的10种GAE方法中，7种属于自编码器(AE)、3种属于变分自编码器(VAE)。

每种方法采用的降维方法也有所不同，主要包括L2-Reconstruction、拉普拉斯特征映射(Laplacian Eigenmap)、递归Reconstruction、排序、GAN等等。

在可扩展性、节点特征以及其它改进方面也各不相同。

四、最新的进展

]

4.1、图递归神经网络

递归神经网络(RNN)，例如GRU或LSTM是建模序列数据的一个实际标准，在GNN中用于模拟节点状态。

RNN也可以用于图级别。为了消除歧义，我们将这种架构称为Graph RNNs。

You et al. [94]将Graph RNN应用于图生成问题。

具体来说，他们采用两个RNN，一个用于生成新的节点，另一个用于以自回归的方式为新添加的节点生成边。结果表明，与传统的基于规则的图生成模型相比，这种分层RNN结构在具有可接受的时间复杂度的同时，能够有效地从输入图中学习。

动态图神经网络提出利用 time-aware LSTM来学习动态图中的节点表示。作者表明， time-aware LSTM可以很好地建模边形成的顺序和时间间隔，从而有利于图的广泛应用。

也可以将Graph RNN与其他架构(如GCN或GAE)结合使用。例如RMGCNN将LSTM应用于GCN的结果，逐步重构图，如图所示，旨在解决图的稀疏性问题。Dynamic GCN应用LSTM在动态网络中收集不同时间片段的GCN结果，目的是获取空间和时间图信息。

4.2、图强化学习

GCPN[98]利用RL生成目标导向的分子图，以处理不可导目标和约束。实验结果证明了GCPN在各种图生成问题中的有效性。

MolGAN[99]也采用了类似的思想，即使用RL生成分子图。MolGAN建议直接生成完整的图，而不是通过一系列的动作来生成图，这对小分子很有效。