Connecting Graph Convolution and Graph PCA
Zhao L. and Akoglu L. Connecting graph convolution and graph pca. 2022.
概
从 graph-regularized PCA 角度提出一种 GCN 的 message passing layer.
符号说明
- \(\tilde{A}\), normalized 邻接矩阵;
- \(\tilde{L}\), normalized Laplacian matrix;
- \(H^{(l)}\), 第 \(l\) 层的特征;
本文思路
-
GPCA:
\[\tag{1} \min_{Z, W} \: \|X - ZW^T\|_F^2 + \alpha \text{Tr}(Z^T \tilde{L} Z), \quad \text{s.t. } W^TW = I. \] -
它的最优解是
\[\tag{2} Z^* = (I + \alpha \tilde{L})^{-1} XW^* \]其中 \(W^*\) 的是 \(X^T (I + \alpha \tilde{L})^{-1} X\) 的前 k-largest 特征向量;
-
因为
\[(I + \alpha \tilde{L})^{-1} \approx I - \alpha \tilde{L} = (1 - \alpha) I + \alpha \tilde{A}, \]故当 \(\alpha = 1\) 的时候, (2) 近似为
\[\tilde{A}XW, \]相当于一次不同的 GCN layer.
-
接下来作者就是在其基础上进行拓展, 最后得到如下的 layer:
注意: 该算法分为预训练和再训练两步, 第一步预训练是包含 11 步的.
