图神经网络分类

1. 大量的学习任务需要处理包含丰富元素间关系信息的图数据。图神经网络(GNNs)是一种连接主义模型，它通过图节点之间的消息传递来捕获图的依赖性。
2. 与标准的神经网络不同，图神经网络保留了一种状态，可以表示来自其任意深度的邻域的信息。虽然原始的gnn很难训练为定点，但最近在网络架构、优化技术和并行计算方面的进展已经使它们能够成功地学习。近年来，多种图神经网络的系统得到了广泛应用：基于图卷积网络(GCN)、图关注网络(GAT)、门控图形神经网络(GGNN)在上述许多任务上都表现出了突破性的性能。
3. 为什么图神经网络值得研究的基本原因：

• 首先，标准的神经网络如CNNs和RNNs不能很好地处理图的输入，因为它们将节点的特征按特定的顺序进行堆叠。然而，图中没有节点的自然顺序。为了完整地呈现一个图，我们需要遍历所有作为模型输入的可能的顺序，如CNNs和RNNs，这在计算时是非常冗余的。为了解决这个问题，GNNs分别在每个节点上传播，忽略节点的输入顺序。也就是说，对于节点的输入顺序，GNNs的输出是不变的。
• 其次，图中的边表示两个节点之间的依赖关系信息。在标准的神经网络中，依赖信息只是作为节点的特征。然而，gnn可以在图结构的指导下进行传播，而不是将其作为特性的一部分使用。一般情况下，gnn通过其邻域状态的加权和来更新节点的隐藏状态。
• 第三，推理是高级人工智能非常重要的研究课题，人脑的推理过程几乎是基于从日常经验中提取的图。标准的神经网络已经显示出通过学习数据分布来生成合成图像和文档的能力，而它们仍然无法从大量的实验数据中学习推理图表。然而，gnn探索从场景图片和故事文档等非结构性数据生成图，这可以成为进一步高级人工智能的强大神经模型。

An overview of variants of graph neural networks

按照类别分类：

we divide the existing methods into five categories based on their model architectures and training strategies:

1. graph recurrent neural networks (Graph RNNs),
2. graph convolutional networks (GCNs),
3. graph autoencoders (GAEs),
4. graph reinforcement learning (Graph RL),
5. and graph adversarial methods

the following high-level distinctions：

1. Graph RNNs capture recursive and sequential patterns of graphs by modeling states at either the node-level or the graph-level.
2. GCNs define convolution and readout operations on irregular graph structures to capture common local and global structural patterns.
3. GAEs assume low-rank graph structures and adopt unsupervised methods for node representation learning.
4. Graph RL defines graph-based actions and rewards to obtain feedbacks on graph tasks while following constraints.
5. Graph adversarial methods adopt adversarial training techniques to enhance the generalization ability of graph-based models and test their robustness by adversarial attacks.

• 图RNNs通过在节点级或图级建模状态来捕获图的递归和顺序模式。
• GCNs在不规则图结构上定义卷积和读出操作，以捕获常见的局部和全局结构模式。
• GAEs采用低秩图结构，并采用无监督的方法进行节点表示学习。
• Graph RL定义了基于图的动作和奖励，以获得对图任务的反馈，同时遵循约束条件。
• 图对抗性方法采用对抗性训练技术来提高基于图的模型的泛化能力，并通过对抗性攻击来检验模型的鲁棒性

 

列出了几个关键的灵感。
首先，在构造图或选择架构时，将领域知识合并到模型中是很重要的。例如，基于相对距离构建一个图可能适合于交通预测问题，但可能不适用于地理位置也很重要的天气预测问题。
其次，基于图形的模型通常可以构建在其他架构之上，而不是作为一个独立的模型。例如，计算机视觉社区通常采用CNNs检测对象，然后使用基于图的深度学习作为推理模块。
对于NLP问题，可以采用GCNs作为句法约束。因此，关键的挑战是如何集成不同的模型。这些应用还表明，基于图的深度学习不仅能够挖掘现有图数据背后的丰富价值，而且有助于将关系数据自然地建模为图，极大地扩展了基于图的深度学习模型的适用性。

 

参考：Deep Learning on Graphs: A Survey