论文信息

论文标题:Symmetric Graph Convolutional Autoencoder for Unsupervised Graph Representation Learning
论文作者:Jiwoong Park、Minsik Lee、H. Chang、Kyuewang Lee、J. Choi
论文来源:2019, ICCV
论文地址:download
论文代码:download


1  Introduction

  本文提出一个完全对称的自编码器,其中 

    • 解码器 基于 Laplacian sharpening  设计
    • 编码器 基于 Laplacian smoothing 设计。

2 Preliminaries

2.1 Basic notations on graphs

  • Unnormalized graph Laplacian  Δ  is defined by  Δ=DA
  • Symmetric graph Laplacian  L  is defined by  L=InD12AD12
  • Random walk graph Laplacian  Lrw is defined by Lrw=InD1A 
  • Δ, L  and  Lrw 均为半正定矩阵

2.2 Spectral convolution on graphs

  可以发现 2.2 节的内容在《第三代GCN》已经将的很清楚了,所以下面不再详细展开介绍。

  谱卷积模型:

    gθx=UgθUTx(1)

  其中:

    • U  是 symmetric graph Laplacian L   [ ps:L=UΛUT  ] 的特征向量矩阵,每一列代表着一个特征向量;
    • UTx 是输入信号 x 的图傅里叶变换;
    • gθ(Λ)L  的特征值函数,其中  ΛL 的特征值组成的对角矩阵;

  图卷积带来的问题:特征分解带来的计算复杂。

  解决办法:使用  K 阶切比雪夫多项式 (Kth order Chebyshev polynomials) 代替谱卷积核 gθ(Λ) 。

    gθxUk=0KθkTk(Λ~)UTx=k=0KθkTk(L~)x(2)

  其中

    • Tk() 代表切比雪夫多项式;
    • θ 代表着切比雪夫多项式的系数;
    • Λ~2λmaxΛIn,其中 λmax 代表 L 的最大特征值;  
    • L~=UΛ~UT=2λmaxLIn.  

  在 GCN 中,切比雪夫多项式近似设置  K=1λmax2θ=θ0=θ1。因此谱卷积可以简化为:

    gθxθ(In+D12AD12)x(3)

  然而,由于 In+D12AD12 会造成网络数值不稳定,这是因为 In+D12AD12 的谱半径为 2 ,所以我们考虑将切比雪夫多项式的谱半径设置为  1。优化小技巧如下:

    In+D12AD12D~12A~D~12(4)

  其中, A~=A+InD~ii=jA~ij。因为在节点上添加 selfloop 到亲和矩阵不会影响相应图拉普拉斯矩阵的谱半径,这样可以保证  In+D12AD12  的数值稳定,且保持它的意义:

    (In+D12AD12)ij={1i=jAij/DiiDjjij(5)

    (D~12A~D~12)ij={1/(Dii+1)i=jAij/(Dii+1)(Djj+1)ij(6)

  至此,GCN 前向传播可以表示为:

    H(m+1)=ξ(D~12A~D~12H(m)Θ(m))(7)

  其中:

    • H(m) 代表着第 m 层的 activation matrix ,H(0) 代表着节点的特征矩阵 X ;  
    • ξ()代表着非线性激活函数,通常是 ReLU()=max(0,) ;  
    • Θ(m) 是可训练的权重矩阵;

2.3 Laplacian smoothing

   Li et al. 等人证明 GCN 是 Laplacian smoothing 的一种特殊形式。

  Laplacian smoothing equation:

    xi(m+1)=(1γ)xi(m)+γjA~ijD~iixj(m)(8)

   其中:

    • A~=A+In
    • D~=D+In
    • γ(0<γ1) 是一个正则化参数,它控制自身与其邻居之间的重要性;

  重写上述 equation 得:

    X(m+1)=(1γ)X(m)+γD~1A~X(m)=X(m)γ(InD~1A~)X(m)=X(m)γL~rwX(m)(9)

  其中 L~rw 参考 Random walk normalized Laplacian

  本文设置  γ=1  并用 L~ 代替 L~rw,然后 Eq. 9 转化为:

    X(m+1)=D~12A~D~12X(m) 

  这个方程与 Eq.7 中谱卷积的重新归一化版本相同。 

3 Method

  GALA 模型的编码器起到 Laplacian smoothing,而解码器起到 Laplacian sharpening。

3.1 Laplacian sharpening

  编码器执行拉普拉斯平滑,使每个节点的潜在表示与其相邻节点的潜在表示相似。

  拉普拉斯锐化是一个使每个节点的重构特征远离其相邻节点的质心的过程,它加速了重构速度,并受重构成本的控制。

  Laplacian sharpening equation:

     xi(m+1)=(1+γ)xi(m)γjAijDiixj(m)(10)

   Eq.10 进一步化简 :

    X(m+1)=(1+γ)X(m)γD1AX(m)=X(m)+γ(InD1A)X(m)=X(m)+γLrwX(m)(11)

  设置  γ=1  而且用 L~ 代替 L~rw,然后 Eq. (10) 化简转化为:

     X(m+1)=(2InD12AD12)X(m)

  将 Laplacian sharpening 表达为切比雪夫多项式的形式,并设置参数:

    • K=1  
    • λmax2
    • θ=12θ0=θ1

  然后解码器层可表达为:

    H(m+1)=ξ((2InD12AD12)H(m)Θ(m))(12)

  2InD12AD12  的谱半径为 3 , 同样是数值不稳定的。 

       方阵的谱半径

  若 A=(aij) 是复数域上的 n 阶方阵,又 λ1,λ2,,λnA 的全部特征值,则

    ρ(A)=max1in|λi|

  From previous articles,we know that 

    D12AD12 的谱半径范围为  [1,1]

   所以我们需要找一个数值稳定的 Laplacian sharpening 。

3.2 Numerically stable Laplacian sharpening

  为寻找谱半径为 1 的拉普拉斯锐化的新表示。

  A signed graph is denoted by  Γ=(V,E,A^)  which is induced from the unsigned graph  G=(V,E,A) .

  Each element in  A^  has the same absolute value with  A , but its sign is changed into minus or keeps plus.

  The degree matrix D^ can be defined as D^ii=j|A^ij| .

  因此,我们可以构建

    • unnormalized graph Laplacian  Δ^=D^A^.
    • symmetric graph Laplacian  L^=InD^12A^D^12  of the signed graph.

  L^  的特征值范围为 [0,2],因此对于任意 A^ ,它的谱半径 D^12A^D^12  是 1

   利用上述结论,替换 Eq.12:

    H(m+1)=ξ(D^12A^D^12H(m)Θ(m))(13)

  其中:

    • A^=2InA  
    • D^=2In+D

  D^12A^D^12 计算方式如下:

    (D^12A^D^12)ij={2/(Dii+2)i=jAij/(Dii+2)(Djj+2)ij(14)

  Eq.14 和 Eq.15 有同样的意义:

    (2InD12AD12)ij={2i=jAij/DiiDjjij(15)

  这样做的目的:

    • 将谱半径变成 1
    • D^12A^D^12  保留了和  2InD12AD12  的性质。

   总结,GALA 数值稳定的 decoder layer 可以表达为:

    H(m+1)=ξ(D^12A^D^12H(m)Θ(m)),(m=M2,,M1)(16)

  其中

    • A^=2InA  
    • D^=2In+D

    GALA 的 encoder layer 表达为:

    H(m+1)=ξ(D~12A~D~12H(m)Θ(m)),(m=0,,M21)(17)

  其中

    • A~=In+A
    • D~=In+D

  在 Table 1, 通过实验证明了拉普拉斯平滑不适合在解码器使用,同样说明了 数值稳定的拉普拉斯锐化的优越性。

    

  GALA 的重构损失:

     minX¯12XX¯F2(18)

3.3. Subspace clustering cost for image clustering

  对于图像聚类任务,我们在所提出的方法中添加了子空间聚类元素。

    minX¯,H,AH12XX¯F2+λ2HHAHF2+μ2AHF2(19)

  其中

    • HRk×n  代表编码器的隐表示;
    • AHRn×n  表示亲和矩阵,它是子空间聚类的新潜在变量,

  Eq. 19 的第二项 针对子空间聚类的自我表达模型和 Eq. 19 的第三项用于正则化 AH

  如果我们只考虑最小化 AH,那么问题变为:

     minAHλ2HHAHF2+μ2AHF2(20)

  我们很容易得到分析结果:

    AH=(HTH+μλIn)1HTH

  通过使用这种解析解和奇异值分解,我们推导出计算效率高的子空间聚类成本函数,如下所示:

    minX¯,H12XX¯F2+μλ2tr((μIk+λHHT)1HHT)(21)

4. Experiments

数据集

  

节点聚类

  节点聚类结果如 Table 2:

  

  

图像聚类

  

消融实验

  

链接预测

  我们在 Citeseer 数据集上提供了一些关于链接预测任务的结果。

  对于链路预测任务,我们最小化了以下成本函数,将 GAE 的链路预测成本添加到重建成本中

     minX¯,H12XX¯F2+γEH[logp(A^H)]

  其中

    • H  代表潜在表示;
    • A^=sigmoid(HHT) 是重构的亲和矩阵;
    • γ  是正则化参数;

  The results are shown in Table 7

  

可视化

  

5  Conclusions

  提出了拉普拉斯锐化。

修改时间

2022-01-23 创建文章

2022-06-07 切换到中文版本

 

论文解读目录

 

posted @   别关注我了,私信我吧  阅读(1047)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~
Live2D
点击右上角即可分享
微信分享提示