李宏毅机器学习2022年学习笔记（六）-- 图神经网络 (GNN)

一 Introduction

GNN 可以理解为是由 Graph（图) + Nerual Networks 组合而成的，图结构应该都在数据结构与算法里了解得很清楚，关键要解决的问题是：将图的结构和图中每个节点和边的特征转化为一般的神经网络的输入（张量）。

GNN 可以应用于许多分类和生成的场景，例如：

① 对化学分子结构特征进行分类，判断其特征是否属于会导致突变的那类

② 学习若干个分子结构特征后，能够去生成类似结构的分子（GraphVAE）

二、实现方法（模拟卷积神经网络）

将图结构中各节点和边的特征信息代入到特征矩阵中，之后选择相应大小的过滤器进行卷积神经网络操作。卷积有两种方式：基于空间的卷积（Spatial-based convolution）和基于频域的卷积（Spectral-based convolution）

1. 基于空间特征的图神经网络（Spatial-based Convolution）

思想：

（1）Aggregate：模仿卷积神经网络工作（每一次操作考虑的是某个点的所有联通邻居的特征信息，因此在 GNN 当中也是通过这样的方式下更新下一层（在GNN中叫做aggregation），当然会包括这个节点本身的特征 feature。
（2）Readout：整个图所有结点的 feature 集合起来，用一个特征值代表整个 graph 的信息

衍生模型应用：

① NN4G （Neural Network for Graph）

input layer 首先经过基本的 embedding 之后到 hidden layer 0。然后更新的话是将其相邻的节点相加然后乘以权重再加上之前 input layer 的原始输入。

Aggregate 更新方法：

每个隐藏层都是一个图，图中每个结点的权值 = 一个待学习的参数 w × 上一层这个结点所有相邻结点的权值和 + 原本在第一层 input layer 这个结点输入的值（例如：w₁ * x₃ 就是 h₃⁰ ）

需要注意的是，全连接神经网络的神经元是固定的，因此对于每个图输入后，最后进入全连接层的 vector 维度应该是一样的。因此 NN4G 使用的方法特点是：对于每个图都固定隐藏层数量，然后取每层的均值送入全连接神经网络，这样可以避免图大小的影响

关于为什么要相加的问题：如果不用相加的话，你就很难去处理节点间邻居数量不同这个巨大的区别。另外，相加是最简单也是被证实最有效的利用邻点信息的方法。

Readout 方法：

通过求出整个图中的每个顶点间的特征均值（按照层数求平均），然后各自乘以相应的权重（需要学习）再把每个结点得到的结果相加。

②DCNN (Diffusion-Convolution Neural Network )

思想：对每一层进行更新时，第 n 层看离当前节点距离 n 的节点信息。

例如在第一层，更新结点 3 首先找到与它距离为 1 的节点（有 0、2、4），然后用这三个与节点距离为 1 的结点的原始的输入相加取平均值（mean）再乘以权重;

在第二层，更新节点 3 首先找到与它距离为2的节点（有 1 和 自己本身，注意结点 3 和 3 本身的距离也是 2），然后用这几个符合条件的结点的原始的输入相加取平均值再乘以权重。
这样就可以将每一层的节点特征组成一个矩阵，然后叠在一起。
当我们需要每个节点的feature 信息的时候，采用以下的方式来表示图中每个节点的特征：