PA-GNN Parameter-Adaptive Graph Neural Networks

目录

• 概
• 符号说明
• PA-GNN

Yang Y., Liang Y. and Zhang M. PA-GNN: Parameter-adaptive graph neural networks. ICML workshop, 2022.

概

一个自适应学习 GNN layer weights 的方法.

符号说明

• $\mathcal{G} = (\mathcal{V}, \mathcal{E})$, graph;
• $n = |\mathcal{V}|$;
• $A \in \mathbb{R}^{n \times n}$, adjacency matrix;
• $\tilde{A} = A + I$;
• $\tilde{D}$, degree matrix of $\tilde{A}$;
• $\tilde{A}_{sym} = \tilde{D}^{-1/2} \tilde{A} \tilde{D}^{-1/2}$, normalized adjacency matrix with self loops;
• $X \in \mathbb{R}^{n \times d}$, node feature matrix.

PA-GNN

• 一般的基于谱的方法形如

  $$Z = \sum_{k=0}^K \gamma_k \tilde{A}_{sym}^k H^{(0)},$$

  其中 $H^{(0)} = X$. $\gamma_k, k=0, \ldots, K$ 为固定的系数.

• GPR-GNN 将这些系数替换为可训练的参数, 从而能够自动地学习. 但是这种简单的设计方式略微有些粗暴了.

• PA-GNN 采用稍复杂的方式. 首先, PA-GNN 最终的形式为

  $$Z_i = \sum_{k=0}^K \gamma_{ik} [\tilde{A}_{sym}^k H^{(0)}],$$

  其中 $Z_i$ 为 $Z$ 的 $i$-th 行向量. 注意到, PA-GNN 为每个结点赋予了一组不同的系数, 这使得它能够更容易抓住不同的局部特征.

• 特别地, PA-GNN 设计了一个 Parameter Network 来得到参数 $\gamma_{ik}$ (见下图的上半部分):

• 具体的, $\gamma_{ik}$ 的计算方式如下:

  1. 计算输入:
     $$H_p^{(0)} = f_{\theta_1}(X) \oplus \xi,$$
     其中 $f_{\theta_1}$ 为 MLP, $\xi$ 表示通过 DeepWalk 得到的表示向量, $\oplus$ 表示向量拼接操作;
  2. 通过 Parameter Network 进行转换 (实际上就是一个 GPR-GNN):
     $$Z_p = \sum_{k=0}^M \varphi_k \tilde{A}_{sym}^k H_p^{(0)} \in \mathbb{R}^{n \times d'},$$

  3. 计算 $\Delta \gamma_{ik}$:
     $$\Delta \gamma_{ik} = f_{\theta_3}([Z_p]_i),$$
     这里 $f_{\theta_3}$ 也是 MLP, $[Z_p]_i$ 表示 $Z_p$ 的第 $i$-th 个行向量.
  4. 最后
     $$\gamma_{ik} = \underbrace{\gamma_k}_{global} + \underbrace{\Delta \gamma_{ik}}_{local},$$
     其中 $\gamma_k$ 同样是可训练的参数.

• 训练的时候, 作者 $\gamma_{ik}$ 添加了 $L_1$-norm 的惩罚, 防止不同的结点的系数差异过大.