Connecting Graph Convolution and Graph PCA

目录

• 概
• 符号说明
• 本文思路

Zhao L. and Akoglu L. Connecting graph convolution and graph pca. 2022.

概

从 graph-regularized PCA 角度提出一种 GCN 的 message passing layer.

符号说明

• $\tilde{A}$, normalized 邻接矩阵;
• $\tilde{L}$, normalized Laplacian matrix;
• $H^{(l)}$, 第 $l$ 层的特征;

本文思路

• GPCA:

  $$\tag{1} \min_{Z, W} \: \|X - ZW^T\|_F^2 + \alpha \text{Tr}(Z^T \tilde{L} Z), \quad \text{s.t. } W^TW = I.$$

• 它的最优解是

  $$\tag{2} Z^* = (I + \alpha \tilde{L})^{-1} XW^*$$

  其中 $W^*$ 的是 $X^T (I + \alpha \tilde{L})^{-1} X$ 的前 k-largest 特征向量;

• 因为

  $$(I + \alpha \tilde{L})^{-1} \approx I - \alpha \tilde{L} = (1 - \alpha) I + \alpha \tilde{A},$$

  故当 $\alpha = 1$ 的时候, (2) 近似为

  $$\tilde{A}XW,$$

  相当于一次不同的 GCN layer.

• 接下来作者就是在其基础上进行拓展, 最后得到如下的 layer:
  

注意: 该算法分为预训练和再训练两步, 第一步预训练是包含 11 步的.