学习笔记：GCN

本文第一部分摘抄自一篇知乎上的回答如何理解 Graph Convolutional Network（GCN）？，第二部分是对Kipf这篇GCN论文的学习笔记。

目前还没必要都那么细，就“不求甚解”，只知道咋用吧。

1 不止Kipf的GCN

Kipf在2017年发S的EMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS并不是第一篇GCN论文，他也是在前人肩膀上取得的成果。下面从0开始记录GCN的诞生。

1.1 传统卷积

CNN中的卷积，也就是离散卷积，本质是一种加权求和：通过中心像素点与相邻像素点的加权和来实现特征提取，加权系数就是卷积核参数。

1.2 提取图结构（Graph）的方式

一种是空间维度，对每个节点分别计算它们的相邻节点
一种是图谱维度，从邻接矩阵的角度，转化为“频域”问题

1.3 为什么用拉普拉斯矩阵

拉普拉斯矩阵有三种：

• Combinatorial Laplacian：$L=D-A$
• Symmetric normalized Laplacian：$L^{sys}=D^{-1/2}LD^{-1/2}$
• Random walk normalized Laplacian：$L^{rw}=D^{-1}L$
  GCN上常用的是$L^{sys}$，其中$D$是度矩阵（对角矩阵），$A$是邻接矩阵。

拉普拉斯矩阵有很多良好的性质：

• 是对阵并且半正定的，可以进行特征分解。
• 一种解释说，$L$的特征向量，就相当于傅里叶变换中的$e^{-i\omega x}$，第$i$行实际上反应了第$i$个节点在对其他所有节点产生扰动时所产生的增益累积
• 表示了相邻关系
  （那为什么要偏向用Lsys呢 #不解 ）

1.4 推广傅里叶变换

传统的[[傅里叶变换|傅里叶变换]]定义为：

$$F(\omega)=\mathcal{F}[f(t)]=\int_{}^{}f(t)e^{-i\omega t} dt$$

这里面$F(\omega)$是频域函数，$f(t)$是时域函数，$e^{-i\omega t}$是拉普拉斯算子的特征函数。

图的拉普拉斯算子就是拉普拉斯矩阵（缺一个证明 #不解 ）。对拉普拉斯矩阵进行分解$L=U\Lambda U^T$，这里$\Lambda$对角线上每个元素就是一个特征值，$U$上每一列就是一个特征向量，而这个特征向量就相当于傅里叶变换里的$e^{-i\omega t}$。

仿照着，图上傅里叶变换为：$F(\lambda_l)=\hat{f} (\lambda_l)=\sum_{i=1}^{N}{f(i) u_l^*(i)}$
用矩阵的形式就是：$\hat{f}=U^Tf$

图上傅里叶逆变换为：$f(i)=\sum_{l=1}^{N}{\hat{f}(\lambda_l) u_l(i)}$
用矩阵的形式就是：$f=U\hat{f}$

1.5 推广卷积

卷积定理：函数卷积的傅里叶变换是函数傅立叶变换的乘积

$$f*h=\mathcal{F}^{-1}\left[ \hat{f}(\omega)\hat{h}(\omega) \right]$$

卷积核$h$的傅里叶变换写成对角矩阵的形式：$\left(\begin{matrix}\hat h(\lambda_1) & \\&\ddots \\ &&\hat h(\lambda_n) \end{matrix}\right)$
（为什么一定能写成对角矩阵的形式？ #不解 ）
那么谱域先进行傅里叶变换，再乘上卷积核，再进行傅里叶逆变换，这个过程就是：$(f*h)_G= U\hat hU^Tf$
也可以写成：$(f*h)_G=U((U^Th)\odot(U^Tf))$，其中$\odot$是哈达马积

1.6 GCN简洁进化史

1.6.1 第一代GCN

Spectral Networks and Locally Connected Networks on Graphs直接摆出了最纯粹的图卷积：

$$y_{output}=\sigma \left(U g_\theta(\Lambda) U^T x \right)$$

其中$g_\theta(\Lambda)$是卷积核，$\sigma(\cdot)$是激活函数。它的缺点：

• 每次传播要计算$U$，$diag(\theta_l )$和$U^T$的矩阵乘积，计算代价高
• 卷积核不具有spatial localization
• 卷积核需要$n$个参数

1.6.2 第二代GCN

Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering把$\hat h(\lambda_l)$设计为$\sum_{j=0}^K \alpha_j \lambda^j_l$，可以推出：$U \sum_{j=0}^K \alpha_j \Lambda^j U^T =\sum_{j=0}^K \alpha_j U\Lambda^j U^T = \sum_{j=0}^K \alpha_j L^j$，这意味着图卷积简化为：

$$y_{output}=\sigma \left( \sum_{j=0}^{K-1} \alpha_j L^j x \right)$$

它的好处是：

• 卷积核$k$个参数，远小于$n$，参数复杂度降低了（不是同时意味着能力受到了限制吗，因为对每个邻居的改变的权重都相同了啊 #不解 ）
• 不需要做特征分解了
• 卷积核具有spatial localization，$K$就是它的接受域

1.6.3 以Chebyshev多项式为卷积核

利用Chebyshev多项式作为卷积核是非常通用的形式
比如这篇文章第二部分的内容，通过对k=1的切比雪夫多项式的特殊处理，将传播过程变为：

$$H^{(l+1)}=\sigma\bigg(\tilde D^{-\frac{1}{2}}\tilde A\tilde D^{-\frac{1}{2}}H^{(l)}W^{(l)}\bigg)$$

这篇知乎上的文章后面还介绍了Local Connectivity、Parameter Sharing、可解释性、有向图问题、过渡平滑等内容，就不在这里列出来了。

2 Kipf的GCN

SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS

作者：Thomas N.Kipf, Max Welling
论文地址：https://openreview.net/forum?id=SJU4ayYgl
代码地址（tensorflow）：https://github.com/tkipf/gcn

2.1 谱图卷积

把图上的谱卷积定义为：

$$g_\theta\star x=Ug_\theta U^\top x \tag1$$

$U$是正则化的图拉普拉斯$L=I_N-D^{-\frac{1}{2}}AD^{-\frac{1}{2}}=U\Lambda U^\top$的特征向量构成的矩阵，$\Lambda$是特征值组成的对角矩阵，$U^\top x$是$x$的图傅里叶变换。可以把$g_\theta$理解成$L$的特征值的函数，如$g_\theta(\Lambda)$。

由于矩阵分解计算量太大，因此使用切比雪夫多项式简化。
（矩阵分解复杂度好像是$O(n^3)$级别的）

$n$阶切比雪夫多项式：$\cos n\theta=T_n(\cos\theta)$，即用关于$\cos\theta$的$n$阶多项式来表示$\cos n\theta$
具有性质：$T_0(x)=1,~T_1(x)=x,~T_k(x)=2xT_{k-1}(x)-T_{k-2}(x)$

（此处省略证明：1.能用$\cos\theta$的$n$阶多项式表示$\cos n\theta$，且$\cos^n\theta$的系数为$2^{n-1}$ ；2.递归式的推导）
将$g_\theta$设置为

$$g_{\theta^{\prime}}(\Lambda)\approx\sum_{k=0}^K\theta_k^{\prime}T_k(\tilde{\Lambda}) \tag2$$

这里的$\tilde\Lambda=\frac{2}{\lambda_{max}}\Lambda-I_N$，保证了大小在[-1,1]，满足了切比雪夫不等式的条件（即在$\cos$运算范围内）。$\theta'_k$是实数。
（为什么这里是约等于，是不是因为使用的不是$\Lambda$，而是缩放过的$\tilde\Lambda$呢？ #不解 ）
将这个带入卷积式子中，得到：

$$g_{\theta'}\star x \approx U \left( \sum_{k=0}^K\theta_k^{\prime} T_k(\tilde{\Lambda}) \right) U^\top x \tag3$$

简化为：

$$g_{\theta'}\star x \approx \sum_{k=0}^K\theta_k^{\prime} T_k(\tilde{L}) x \tag4$$

其中$\tilde L=\frac{2}{\lambda_{max}}L-I_N$，从而不再需要矩阵分解。$\lambda_{max}$可以用幂迭代法求，即利用$v=L^mv_0$求出近似的主特征向量，然后$\lambda_{max}\approx v^TLv$即可。
(3)简化为(4)是因为$U \left( \sum_{k=0}^K\theta_k^{\prime} T_k(\tilde{\Lambda}) \right) U^\top =\sum_{k=0}^K\theta_k^{\prime} T_k(\tilde{U\Lambda U^\top})$，这个的证明用到了切比雪夫是多项式这一性质。注意，$U$是正交矩阵，具有性质：$U^\top=U^{-1}$

(4)是K局部的，即一个点的信息最多向外扩展到K远的邻点处。复杂度是O(|E|)的。因为$U\Lambda^K U^\top$即表示$L^K$，邻接矩阵的K次幂，也就是K阶邻居的情况（路径数之类的）

（ #不解 为什么是O(|E|)的，不需要算矩阵乘法吗？）

2.2 层级线性模型

令K=1，然后假定$\lambda_{max}=2$，期待训练的参数能够修正这一设定，这样(4)就变成了：

$$g_{\theta'}\star x\approx\theta'_0x+\theta'_1\left(L-I_N\right)x=\theta'_0x-\theta'_1D^{-\frac{1}{2}}AD^{-\frac{1}{2}}x \tag5$$

为了限制参数的数量以避免过拟合，我们可以改成这样：

$$g_\theta\star x\approx\theta\left(I_N+D^{-\frac{1}{2}}AD^{-\frac{1}{2}}\right)x \tag6$$

这里$\theta=\theta_0'=-\theta_1'$。这里$I_N+D^{-\frac{1}{2}}AD^{-\frac{1}{2}}$的范围是[0,2]。多次重复这个操作会造成梯度消失/下降，因此使用这个重正则化技巧：$I_N+D^{-\frac{1}{2}}AD^{-\frac{1}{2}}\rightarrow\tilde{D}^{-\frac{1}{2}}\tilde{A}\tilde{D}^{-\frac{1}{2}}$，其中$\tilde{A}=A+I_N,~\tilde{D}_{ii}=\sum_j\tilde{A}_{ij}$ 。最终得到的式子为：

$$Z=\tilde{D}^{-\frac12}\tilde{A}\tilde{D}^{-\frac12}X\Theta \tag7$$

其中$X\in\mathbb R^{N\times C}$，$C$是通道数（特征维度），$\Theta\in\mathbb R^{C\times F}$，$F$是过滤器数。$Z\in\mathbb R^{N\times F}$是卷积信号矩阵。这个过滤操作的复杂度为$\mathcal O(|\mathcal E|FC)$，其中$\tilde AX$能看做一个稀疏矩阵和稠密矩阵的乘积从而有效地计算（？ #不解 ）

---

参考文献：

1. Chebyshev多项式作为GCN卷积核
2. 证明(3)(4)等价
3. 切比雪夫多项式的定义与推导
4. 幂迭代法
5. 知乎：如何理解 Graph Convolutional Network（GCN）？