Graph Neural Networks with Diverse Spectral Filtering
概
为每个结点赋予不同的多项式系数.
符号说明
- \(\mathcal{V}\), node set, \(|\mathcal{V}| = N\);
- \(\mathcal{E}\), edge set;
- \(\mathcal{G} = (\mathcal{V}, \mathcal{E})\), graph;
- \(\mathcal{N}_{i,k} = \{v_j| d(v_i, v_j) \le k, \forall v_j \in \mathcal{V}\}\);
- \(\mathbf{A} \in \mathbb{R}^{N \times N}\), adjacency matrix;
- \(\mathbf{L} = \mathbf{D} - \mathbf{A}\), Laplacian matrix;
- \(\mathbf{\hat{A}} = \mathbf{D}^{-1/2} \mathbf{A} \mathbf{D}^{-1/2}\), normalized adjacency matrix;
- \(\mathbf{\hat{L}} = \mathbf{I} - \mathbf{\hat{A}}\), normalized Laplacian matrix;
- \(\mathbf{X} \in \mathbb{R}^{N \times d}\), node feature matrix.
DSF
-
谱图网络可以一般性写为:
\[\mathbf{Z} = \sum_{k=0}^K \alpha_k P_k(\mathbf{\hat{L}}) \mathbf{X}, \]其中 \(\alpha_k\) 为多项式基 \(P_k\) 的系数, 可以是可训练的也可以是通过启发的方法设定.
-
本文的 DSF 推荐如下方式:
\[\mathbf{Z} = \sum_{k=0}^K \text{diag}(\beta_{k,1}, \beta_{k,2}, \ldots, \beta_{k, N}) P_k(\mathbf{\hat{L}}) \mathbf{X}, \]从而对于每个阶段, 都有一个相对独立的多项式去拟合周围 local graph.
-
这么做的出发点是, 作者认为相较于之前的行为, 这种方式能够使得多项式的系数能够更符合子图的特性, 而不是所有子图都共享一种模式. 这地方我省略了推导过程, 因为我觉得其中有一部分的假设不那么合理. 但是, 总的来说, 出发点个人感觉是 ok 的.
-
当然了, \(\beta_{k, i}\) 也并非完全独立训练的, 它设计为:
\[\beta_{k, i} = \gamma_i \theta_{k, i}, \]其中 \(\gamma_i\) 为 global filter weight (确定不是 \(\gamma_k\) ?), 而 \(\theta_{k, i} \in (-1, 1)\) 则是 local filter weight, 它实际上也是通过别的方式拟合得到而非直接学的, 总的来说, 具有相似 local 结构的, \(\theta_{k, i}\) 也相近.
代码
[official]
