论文解读(SAGA)《Siamese Attribute-missing Graph Auto-encoder》

论文信息

论文标题:Siamese Attribute-missing Graph Auto-encoder
论文作者:Wenxuan Tu, Sihang Zhou, Yue Liu, Xinwang Liu
论文来源:2021,arXiv
论文地址:download 
论文代码:download

1 Introduction

  属性缺失:

    • 1)the absence of particular attributes;
    • 2)the absence of all the attributes of specific nodes.

2 Method

  总体框架:

   

  两个主要模块:

    • a dual correlation aggregating (DCA) module
    • a hidden structure refining (HSR) module

2.1 Notations

  节点集 $\mathcal{V}=\left\{v_{1}, v_{2}, \ldots, v_{N}\right\}$ 可以分为:
    • 属性缺失节点集:$\mathcal{V}^{m}=   \left\{v_{1}^{m}, v_{2}^{m}, \ldots, v_{N_{m}}^{m}\right\}$
    • 属性完整节点集:$\mathcal{V}^{o}=\left\{v_{1}^{o}, v_{2}^{o}, \ldots, v_{N_{o}}^{o}\right\}$
  并有 $\mathcal{V}=\mathcal{V}^{o} \cup \mathcal{V}^{m}, \mathcal{V}^{o} \cup \mathcal{V}^{m}=\varnothing$ 、$N=N_{o}+N_{m} $ 。

  对于属性缺失的节点集,对其属性 $0$ 填充补齐,得到 $\widetilde{\mathbf{X}} \in \mathbb{R}^{N \times D}$ 。

  引入高阶相邻信息 $\mathcal{A}=\left\{\mathbf{A}^{1}, \mathbf{A}^{2}, \ldots, \mathbf{A}^{H}\right\}$,其中 $\mathbf{A}^{h}=\mathbf{A}^{1} \mathbf{A}^{(h-1)}$ 。在训练过程中,我们手动屏蔽了多阶相邻矩阵上的部分连接,以促进网络学习 。因此 $\mathcal{A}$ 定义为  $\dot{\mathcal{A}}=\left\{\dot{\mathbf{A}}^{1}, \dot{\mathbf{A}}^{2}, \ldots, \dot{\mathbf{A}}^{H}\right\}$ 。

2.2 Structure-attribute Mutual Enhancement

Dual Correlation Aggregating

Encoder

    $\mathbf{Z}^{(l)}=\sigma\left(\widetilde{\mathbf{A}} \mathbf{Z}^{(l-1)} \mathbf{W}^{(l)}\right)$

  特别地,我们在编码器后引入了一个额外的操作,如下:

    $\mathbf{Z}_{a}=\alpha \mathbf{S}^{\mathcal{N}} \mathbf{Z}+(1-\alpha) \mathbf{S}^{\prime \mathcal{N}} \mathbf{Z}$

  其中,加权系数 $\alpha = 0.5$ ,其中的 $\mathbf{S}^{\mathcal{N}}$ 和 $\mathbf{S}^{\prime \mathcal{N}}$ 构造如下 :

    $\mathbf{S}_{i j}=\frac{\mathbf{z}_{i} \mathbf{z}_{j}^{\mathbf{T}}}{\left\|\mathbf{z}_{i}\right\|\left\|\mathbf{z}_{j}\right\|}, \quad \forall i, j \in[1, N]$

  对于 $\mathbf{S}^{\prime \mathcal{N}}$ 的构造:首先,根据  $\mathbf{S}$ 来选择每个节点的 $1$ 到 $P$ 阶的邻居节点,然后将 $\mathbf{S}$ 中的其他节点 置为 $-1$ ,最后对称化 $\mathbf{S}$ 。

  

2.3 Hidden Structure Refifining

  包括两个方面:

    • the multi-order observed attributes fusion
    • the edge recovery

  将 $\widetilde{\mathbf{X}}$ 和 $\dot{\mathcal{A}}= \left\{\dot{\mathbf{A}}^{I}, \dot{\mathbf{A}}^{2}, \ldots, \dot{\mathbf{A}}^{H}\right\}$ 放入 一个共享权重的 Encoder $E$ ,得到其 $h$ 阶的表示:

    $\mathbf{Z}^{h(l)}=\sigma\left(\dot{\mathbf{A}}^{h} \mathbf{Z}^{h(l-1)} \mathbf{W}^{(l)}\right)$

  注意:上述 $H=3$ ,代表考虑三阶邻居节点。

  接着求节点 $n$ 在不同阶的重要性:

    ${\LARGE a_{n}^{h}=\frac{e^{\left(\mathbf{W}^{h}\left(\mathbf{z}_{n}^{h}\right)^{\mathbf{T}}+\mathbf{b}^{h}\right)}}{\sum\limits _{h=1}^{H} e^{\left(\mathbf{W}^{h}\left(\mathbf{z}_{n}^{h}\right)^{\mathbf{T}}+\mathbf{b}^{h}\right)}}} $

  最终的表示如下:

    $\mathbf{Z}_{s}=\sum\limits _{h=1}^{H}\left(\mathbf{A t t}^{h}\right)^{\mathbf{T}} \odot \mathbf{Z}^{h}$

  其中

    • $\odot$ 代表着 means matrix product ;
    • $\mathbf{A t t}^{h} \in \mathbb{R}^{d \times N}$ 为  $\left[\mathbf{a}_{1}^{h}, \mathbf{a}_{2}^{h}, \ldots, \mathbf{a}_{N}^{h}\right] and \mathbf{a}_{n}^{h} \in \mathbb{R}^{d \times 1}$ ,且 $\mathbf{a}_{n}^{h} \in \mathbb{R}^{d \times 1}$ ;
  接着 $\mathbf{Z}_{s}$ 被解码为:

    $\widehat{\mathbf{A}}=\operatorname{Sigmoid}\left(\mathbf{Z}_{s} \mathbf{Z}_{s}^{\mathbf{T}}\right)$

  常规的链接预测损失函数如下:

    $l_{i j}=-\left[\mathbf{A}_{i j} \ln \widehat{\mathbf{A}}_{i j}+\left(1-\mathbf{A}_{i j}\right) \ln \left(1-\widehat{\mathbf{A}}_{i j}\right)\right]$

   由于存在节点特征缺失,本文定义了一个新的超参数控制 边恢复:

    $\mathcal{L}_{i j}=\left\{\begin{array}{ll}\gamma l_{i j}, & v_{i}, v_{j} \in \mathcal{V}^{m} \\l_{i j}, & \text { otherwise }\end{array}\right.$

  对于所有节点的总损失:

    $\mathcal{L}_{s}=\frac{1}{N^{2}} \sum\limits _{i=1}^{N} \sum\limits_{j=1}^{N} \mathcal{L}_{i j}$

2.4 Information Aggregation and Decoding

  将上述两个模块的表示进行融合 :

    $\mathbf{Z}_{f}=\beta \mathbf{Z}_{a}+(1-\beta) \mathbf{Z}_{s}$

   然后走 Encoder :

    $\mathbf{Z}^{\prime}(l)=\sigma\left(\tilde{\mathbf{A}} \mathbf{Z}^{\prime}(l-1) \mathbf{W}^{\prime}(l)\right)$

3 Joint Loss and Optimization

  联合损失如下:

    $\mathcal{L}_{\text {total }}=\lambda \mathcal{L}_{a}+\mathcal{L}_{s}$

4 Conclusion

  该论文瞅瞅就行。

 

posted @ 2022-07-27 15:03  图神经网络  阅读(244)  评论(0编辑  收藏  举报
Live2D