论文信息

论文标题：Attributed Graph Clustering: A Deep Attentional Embedding Approach
论文作者：Chun Wang, Shirui Pan, Ruiqi Hu, Guodong Long, Jing Jiang, Chengqi Zhang
论文来源：2019, IJCAI
论文地址：download
论文代码：download

1 Introduction

　　研究现状：目前的图表示学习方法都是两阶段方法，且融合结构和属性信息的机制并不完美。

　　本文模型与传统的 $\text{two-step}$ 方法的比较如 Figure 1 所示：

本文模型是将节点表示和聚类放在一个统一的框架中学习。
$\text{Two-step}$ 方法则是先学习 $\text{node embedding}$ ，然后进行聚类。

2 Method

　　总体框架：　　

　　组成部分：

- Graph Attentional Autoencoder
- Self-training Clustering

2.1 Graph Attentional Autoencoder

2.1.1 GAT encoder

　　首先：衡量 $\text{node}$ $i$ 的邻居 $N_i$ 对于节点 $i$ 的影响，采用图注意力机制：

　　　　 $z_{i}^{l+1}=\sigma\left(\sum\limits _{j \in N_{i}} \alpha_{i j} W z_{j}^{l}\right)\quad\quad\quad(1)$

　　其中： $\alpha_{i j}$ is the attention coefficient that indicates the importance of neighbor node $j$ to node $i$ ；

　　对于注意力系数 $\alpha_{i j}$ 主要参考两个方面：

1. 属性值（attribute values）；
2. 拓扑距离（ topological distance ）；

　　Aspact 1：属性值

　　注意力系数 $\alpha_{i j}$ 可以表示为由 $x_i$ 和 $x_j$ 拼接形成的单层前馈神经网络：

　　　　 $c_{i j}=\vec{a}^{T}\left[W x_{i} \| W x_{j}\right]\quad \quad \quad(2)$

　　其中：

- $\vec{a} \in R^{2 m^{\prime}}$ 是权重向量；

　　Aspact 2：拓扑距离

　　考虑节点高阶邻居信息（指 $\text{t-order}$ 邻居），得到 $\text{proximity matrix}$ ：

　　　　 $M=\left(B+B^{2}+\cdots+B^{t}\right) / t\quad \quad\quad(3)$

　　其中：

- $B$ 是转移矩阵（transition matrix），当 $e_{i j} \in E$ 有边相连，那么 $B_{i j}=1 / d_{i}$ ，否则 $B_{i j}=0$ 。
- $M_{i j}$ 表示 $\text{node}$ $i$ 和 $\text{node}$ $j$ 的 $t$ 阶内的拓扑相关性。如果 $\text{node}$ $i$ 和 $\text{node}$ $j$ 存在邻居关系（ $t$ 阶之内），那么 $M_{i j}>0$ 。

　　对节点 $i$ 的领域做标准化，采用 $\text{softmax function}$ ：

　　　　 ${\large \alpha_{i j}=\operatorname{softmax}_{j}\left(c_{i j}\right)=\frac{\exp \left(c_{i j}\right)}{\sum_{r \in N_{i}} \exp \left(c_{i r}\right)}} \quad \quad \quad(4)$

　　将 $\text{Eq.2}$ 中 $c_{ij}$ 及 $\text{Eq.3}$ 中的 $M_{ij}$ 带入 $\text{Eq.4}$ ，那么 $\text{attention}$ 系数可以表示为：

　　　　 ${\large \alpha_{i j}=\frac{\exp \left(\delta M_{i j}\left(\vec{a}^{T}\left[W x_{i} \| W x_{j}\right]\right)\right)}{\sum_{r \in N_{i}} \exp \left(\delta M_{i r}\left(\vec{a}^{T}\left[W x_{i} \| W x_{r}\right]\right)\right)}} \quad\quad\quad(5)$

　　其中，激活函数 $\delta$ 采用 $LeakyReLU$ ；

　　本文堆叠 $2$ 个 $\text{graph attention layers}$ ：

　　　　 $z_{i}^{(1)}=\sigma\left(\sum \limits _{j \in N_{i}} \alpha_{i j} W^{(0)} x_{j}\right)\quad \quad \quad (6)$

　　　　 $z_{i}^{(2)}=\sigma\left(\sum\limits _{j \in N_{i}} \alpha_{i j} W^{(1)} z_{j}^{(1)}\right)\quad \quad\quad(7)$

　　通过上述图注意力编码器，得到最终的 $z_{i}=z_{i}^{(2)}$ 。

2.1.2 Inner product decoder

　　解码器为 $\text{Inner product decoder}$ ，用于重构图：

{\hat{A}}_{i j} = sigmoid (z_{i}^{⊤} z_{j}) (8)

$\hat{A}_{i j}=\operatorname{sigmoid}\left(z_{i}{ }^{\top} z_{j}\right)\quad \quad \quad (8)$

　　其中：

- $\hat{A}$ 是重建后的图结构矩阵；

2.1.3 Reconstruction loss

　　最小化 $A$ 和 $\hat{A}$ 的重构错误：

　　　　 $L_{r}=\sum\limits _{i=1}^{n} \operatorname{loss}\left(A_{i, j}, \hat{A}_{i j}\right)\quad\quad \quad (9)$

2.2 Self-optimizing Embedding

　　除优化重构误差外，还将隐表示输入一个自优化聚类模块，该模块最小化以下目标：

　　　　 $L_{c}=K L(P \| Q)=\sum\limits_{i} \sum\limits _{u} p_{i u} \log \frac{p_{i u}}{q_{i u}}\quad\quad\quad(10)$

　　其中：

- $q_{iu}$ 度量隐表示 $z_{i}$ 和聚类中心 $\mu_{u}$ 之间的相似性，本文通过 Student's t-distribution 度量；
- $p_{iu}$ 代表目标分布；

　　　　 ${\large q_{i u}=\frac{\left(1+\left\|z_{i}-\mu_{u}\right\|^{2}\right)^{-1}}{\sum\limits _{k}\left(1+\left\|z_{i}-\mu_{k}\right\|^{2}\right)^{-1}}} \quad\quad\quad（11）$