Robust Graph Representation Learning via Neural Sparsification

目录

• 概
• 符号说明
• NeuralSparse

Zheng C., Zong B., Cheng W., Song D., Ni J., Yu W., Chen H. and Wang W. Robust graph representation learning via neural sparsification. ICML, 2020.

概

自动稀疏化图的, 思想很简单, 就是学一个概率分布然后用 Gumbel-softmax 采样.

符号说明

• $n$ 个结点的图;
• $G = (V, E, \mathbf{A})$, 图;
• $V \in \mathbb{R}^{n \times d_n}$, 每一行是对应结点的特征;
• $E \in \{0, 1\}^{n \times n}$, 邻接矩阵, $E(u, v) = 1$ 若存在边 $(u, v)$;
• $\mathbf{A} \in \mathbb{R}^{n \times n \times d_e}$, $\mathbf{A}(u, v)$ 表示边 $e_{uv}$ 所对应的边的特征.

NeuralSparse

• 图上的任务可以归结为估计概率分布:

  $$P(Y|G),$$

  如果是 node-level 的分类任务, 则 $Y \in \mathbb{R}^{n \times c}$, 若是 graph-level 的分类任务, 则 $Y \in \mathbb{R}^c$.

• 作者认为:

  $$P(Y|G) = \sum_{g \in \mathbb{S}_G} P(Y|g, G) P(g |G) \approx \sum_{g \in \mathbb{S}_G} P(Y|g) P(g |G).$$

  即, 稀疏化后的 graph $g$ 包含了大部分预测 $Y$ 所需的信息.

• 作者的想法很简单, 就是用:

  $$P(g | G) \rightarrow Q_{\phi}(g|G), \\ P(Y | g) \rightarrow Q_{\theta}(Y|g).$$

  $Q_{\phi}$ 实际上是一个稀疏化网络, $Q_{\theta}$ 实际上是在空间 $\mathbb{S}_G$ 上的一个分类网络.

• 针对稀疏化, 作者首先选择了一个非常简单的 $\mathbb{S}_G$, 作者假设稀疏化后的图每个结点只有 $k$ 个邻居, 整体的稀疏化过程如下:
  

• 即, 通过一个简单的 MLP 来预测出边 $(u, v)$ 的 logit, 然后通过 gumbel-softmax 进行采样.

• $Q_{\theta}$ 就是一般的图网络.