Elastic Graph Neural Networks

目录

• 概
• 符号说明
• 代码

Liu X., Jin W., Ma Y., Li Y., Li Y., Liu H., Wang Y., Yan M. and Tang J. Elastic graph neural networks. In International Conference on Machine Learning (ICML), 2021.

概

把这个思想推广到 elastic 正则.

符号说明

• 如 here 所讲的, GCN 的 feature aggregation 部分可以看出是解决如下的一个 graph signal denoising 问题:

  $$\min_F \|F - X_{in}\|_F^2 + \lambda \text{tr}(F^T L F),$$

  其中 $L$ 为 laplacian 矩阵;

• 本文就是在此基础上, 添加以下额外的正则化项:

  $$\tag{1} \min_F \|F - X_{in}\|_F^2 + \lambda \text{tr}(F^T \tilde{L} F) + \lambda_1 g_1(\tilde{\Delta} F),$$

  其中

  $$\tilde{\Delta} F = [\frac{F_i}{\sqrt{d_i + 1}} - \frac{F_j}{d_j + 1}]_{ij},$$

  为一阶差分算子. 注意这里我们用 $\tilde{\cdot}$ 替换 $L$, 因为本文用的就是这种 normalized 后的矩阵;

• $g_1$ 可以选择如

  $$\|\tilde{\Delta} F\|_1 = \sum_{(v_i, v_j) \in \mathcal{E}} \|\frac{F_i}{\sqrt{d_i + 1}} - \frac{F_j}{d_j + 1}\|_1, \\ \|\tilde{\Delta} F\|_{21} = \sum_{(v_i, v_j) \in \mathcal{E}} \|\frac{F_i}{\sqrt{d_i + 1}} - \frac{F_j}{d_j + 1}\|_2. \\ $$

• 此时, 直接求解 (1) 是复杂的, 所以作者采用 ADMM 的方法近似, 这里只给出结果:

代码

[official]