Neo-GNNs: Neighborhood Overlap-aware Graph Neural Networks for Link Prediction

目录

• 概
• 符号说明
• Motivation
• Neo-GNN
• 代码

Neo-GNNs: Neighborhood overlap-aware graph neural networks for link prediction. NeurIPS, 2021.

概

一种计算上相对高效的, 同时利用结构信息和特征信息的链接预测模型.

符号说明

• $\mathcal{G} = (\mathcal{V}, \mathcal{E})$, graph;
• $\mathcal{V} = \{v_1, v_2, \ldots, v_N\}$, $N$ nodes;
• $\mathcal{E} = \{e_{ij} | v_i, v_j \in \mathcal{V}\}$, edges;
• $A \in \mathbb{R}^{N \times N}$, adjacency matrix;
• $D \in \mathbb{R}^{N \times N}$, diagonal matrix $D_{ii} = \sum_{j} A_{ij}$;
• $X \in \mathbb{R}^{N \times F}$, node features

Motivation

• link prediction 有很多启发式的方法, 比如利用

  $$S_{CN}(u, v) = |\mathcal{N}(u) \cap \mathcal{N}(v) | = \sum_{k \in \mathcal{N}(u) \cap \mathcal{N}(v)} 1, \\ S_{RA}(u, v) = \sum_{k \in \mathcal{N}(u) \cap \mathcal{N}(v)} \frac{1}{d_k}, \\ S_{AA}(u, v) = \sum_{k \in \mathcal{N}(u) \cap \mathcal{N}(v)} \frac{1}{\log d_k}.$$

• 作者的做法是将它一般化, 即

  $$S(u, v) = \sum_{k \in \mathcal{N}(u) \cap \mathcal{N}(v)} x_k.$$

Neo-GNN

• $x_k$ 是这般设计的:

  $$x_i^{struct} = \mathcal{F}_{\theta}(A_i) = f_{\theta_{node}} \bigg( \sum_{j \in \mathcal{N}_i} f_{\theta_{edge}} (A_{ij}) \bigg),$$

  通过可学习的参数从邻接矩阵 $A$ 中获得有用的结构信息.

• 有更一般的计算方式. 我们令

  $$X^{struct} = \text{diag}(x^{struct}) \in \mathbb{R}^{N \times N},$$

  则当 $f_{\theta_{edge}}(x) = x$ 而 $f_{\theta_{edge}}(x) = 1 / \sqrt{\log x}$ 的时候,

  $$S(u, v) = z_u^T z_v, \: Z = AX^{struct}.$$

• 更为一般的, 为了利用更高阶的信息, 作者实际上采用如下的形式:

  $$Z = g_{\Phi} (\sum_{l=1}^L \beta^{l-1} A^l X^{struct}),$$

  其中 $\beta$ 是用来控制高阶信息的一个超参数.

• 除此之外, 通过一个普通的 GNN 得到传统的 (smoothed) 节点特征:

  $$H = \text{GNN}(X, \tilde{A}_{GNN}; W) \in \mathbb{R}^{N \times d'}.$$

• 最后两个结点存在边的概率通过如下的方式得到:

  $$\hat{y}_{ij} = \alpha \cdot \sigma (z_i^T z_j) + (1 - \alpha) \cdot \sigma (s(h_i, h_j)),$$

  其中 $\alpha$ 是可训练的参数.

• 训练的时候, 两个分支也要单独参与训练:

  $$\mathcal{L} = \sum_{(i, j) \in D} (\lambda_1 BCE(\hat{y}_{ij}, y_{ij})) + \lambda_2 BCE(\sigma(z_i^T z_j), y_{ij}) + \lambda_3 BCE(\sigma(s(h_i, h_j)), y_{ij}).$$

代码

[official]