图神经网络——GCN聚合原理理解

本博客基于B站UP主望舒同学的图神经网络系列讲解及代码实现-GCN1。

GCN的核心思想：通过邻接矩阵A对结点特征进行聚合，用于更新某结点特征。不同的聚合方式$\to$ GCN变体。

GCN基于的一个假设：结点的特征与其邻居结点有密切的关系，并且距离越近的邻居关系越大。

GCN聚合直接邻居结点

这是一个简单的图结构。笔者将以该图为示例，讲解GCN以最简单的方式（求平均）聚合直接邻居结点流程。由上图结构可知，其邻接矩阵为$A=\left(\begin{array}{cccccc}0& 0& 1& 0& 0& 0\\ 0& 0& 1& 0& 0& 0\\ 1& 1& 0& 1& 1& 0\\ 0& 0& 1& 0& 0& 1\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\end{array}\right)$，结点特征$X=\left(\begin{array}{c}{X}_0\\ X_1\\ X_2\\ X_3\\ X_4\\ X_5\end{array}\right)=\left(\begin{array}{c}10\\ 20\\ 22\\ 19\\ 18\\ 21\end{array}\right)$，度矩阵$D=\left(\begin{array}{cccccc}1& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0\\ 0& 0& 4& 0& 0& 0\\ 0& 0& 0& 2& 0& 0\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\end{array}\right)$。

Step 1——求和

以$X_2$为更新对象。注意：$A_i$表示邻接矩阵的第$i$行，$A_{ij}$表示邻接矩阵的第$i$行第$j$列。

$$\begin{array}{rl}aggregate(X_2)& =X_0+X_1+X_3+X_4\\ & =1\cdot X_0+1\cdot X_1+0\cdot X_2+1\cdot X_3+1\cdot X_4+0\cdot X_5\\ \text{(1)}& & =A_{2}X\end{array}$$

虽然这样更新了$X_2$，但是没有包含其本身的特征。总不能全部依靠邻居的特征吧，显得不太合理。因此，加上自身的特征，相当于自环。$\hat{A}=A+I=\left(\begin{array}{cccccc}1& 0& 1& 0& 0& 0\\ 0& 1& 1& 0& 0& 0\\ 1& 1& 1& 1& 1& 0\\ 0& 0& 1& 1& 0& 1\\ 0& 0& 1& 0& 1& 0\\ 0& 0& 0& 1& 0& 1\end{array}\right)$，$I$为单位矩阵。

则（1）式修改为

$$\begin{array}{rl}aggregate(X_2)& =X_0+X_1+X_2+X_3+X_4\\ & =1\cdot X_0+1\cdot X_1+1\cdot X_2+1\cdot X_3+1\cdot X_4+0\cdot X_5\\ \text{(2)}& & =\widehat{A_2}X\end{array}$$

Step 2——求平均

因为$\hat{A}$考虑到了自身特征，所以$\hat{D}=D+I$。

$$\begin{array}{rl}aggregate(X_2)& =\frac{X_0+X_1+X_2+X_3+X_4}{5}\\ & =\frac{1\cdot X_0+1\cdot X_1+1\cdot X_2+1\cdot X_3+1\cdot X_4+0\cdot X_5}{5}\\ & =\frac{\widehat{A_2}X}{5}\\ & =\frac{\widehat{A_2}X}{{\hat{D}}_{2,2}}\\ \text{(3)}& & ={\hat{D}}_{2,2}^{-1}\widehat{A_2}X\end{array}$$

整体计算如下：

$$\begin{array}{}\text{(4)}& aggregate(X)={\hat{D}}^{-1}\hat{A}X\end{array}$$

注意：$\hat{D}$是对角阵，因此左乘和右乘结果相同，并且其逆等于对角线元素值的倒数。

（4）式其实相当于使用了一种归一化方法，即非对称归一化邻接矩阵，目的是消除结点度数对聚合信息的影响。详见图神经网络知识总结——归一化。也可以采用其他方式求平均方式或称为归一化方式，如对称归一化邻接矩阵、归一化拉普拉斯矩阵等。

Step 3——更新

将求平均后的值作为聚合后的特征值。

GCN聚合间接邻居结点

实际操作：在第一次卷积的基础上，以相同的方式，进行第二次卷积，第三次卷积 ……

理解：第一次卷积之后，结点特征已经聚合了其直接邻居结点的特征，所以再一次进行卷积的时候，虽然看上去还是在对直接邻居结点进行卷积，但是相当于在对其邻居的邻居结点（间接邻居结点）进行卷积。