论文信息
论文标题:Symmetric Graph Convolutional Autoencoder for Unsupervised Graph Representation Learning
论文作者:Jiwoong Park、Minsik Lee、H. Chang、Kyuewang Lee、J. Choi
论文来源:2019, ICCV
论文地址:download
论文代码:download
1 Introduction
本文提出一个完全对称的自编码器,其中
-
- 解码器 基于 Laplacian sharpening 设计 ;
- 编码器 基于 Laplacian smoothing 设计。
2 Preliminaries
2.1 Basic notations on graphs
- Unnormalized graph Laplacian is defined by
- Symmetric graph Laplacian is defined by
- Random walk graph Laplacian is defined by
- , and 均为半正定矩阵
2.2 Spectral convolution on graphs
可以发现 2.2 节的内容在《第三代GCN》已经将的很清楚了,所以下面不再详细展开介绍。
谱卷积模型:
其中:
-
- 是 symmetric graph Laplacian [ ps: ] 的特征向量矩阵,每一列代表着一个特征向量;
- 是输入信号 的图傅里叶变换;
- 是 的特征值函数,其中 是 的特征值组成的对角矩阵;
图卷积带来的问题:特征分解带来的计算复杂。
解决办法:使用 阶切比雪夫多项式 ( order Chebyshev polynomials) 代替谱卷积核 。
其中
-
- 代表切比雪夫多项式;
- 代表着切比雪夫多项式的系数;
- 即 ,其中 代表 的最大特征值;
- .
在 GCN 中,切比雪夫多项式近似设置 、 、 。因此谱卷积可以简化为:
然而,由于 会造成网络数值不稳定,这是因为 的谱半径为 ,所以我们考虑将切比雪夫多项式的谱半径设置为 。优化小技巧如下:
其中, , 。因为在节点上添加 selfloop 到亲和矩阵不会影响相应图拉普拉斯矩阵的谱半径,这样可以保证 的数值稳定,且保持它的意义:
至此,GCN 前向传播可以表示为:
其中:
-
- 代表着第 层的 activation matrix , 代表着节点的特征矩阵 ;
- 代表着非线性激活函数,通常是 ;
- 是可训练的权重矩阵;
2.3 Laplacian smoothing
Li et al. 等人证明 GCN 是 Laplacian smoothing 的一种特殊形式。
Laplacian smoothing equation:
其中:
-
- ;
- ;
- 是一个正则化参数,它控制自身与其邻居之间的重要性;
重写上述 equation 得:
其中 参考 Random walk normalized Laplacian 。
本文设置 并用 代替 ,然后 Eq. 9 转化为:
这个方程与 中谱卷积的重新归一化版本相同。
3 Method
GALA 模型的编码器起到 Laplacian smoothing,而解码器起到 Laplacian sharpening。
3.1 Laplacian sharpening
编码器执行拉普拉斯平滑,使每个节点的潜在表示与其相邻节点的潜在表示相似。
拉普拉斯锐化是一个使每个节点的重构特征远离其相邻节点的质心的过程,它加速了重构速度,并受重构成本的控制。
Laplacian sharpening equation:
Eq.10 进一步化简 :
设置 而且用 代替 ,然后 Eq. (10) 化简转化为:
将 Laplacian sharpening 表达为切比雪夫多项式的形式,并设置参数:
然后解码器层可表达为:
的谱半径为 3 , 同样是数值不稳定的。
若 是复数域上的 阶方阵,又 是 的全部特征值,则
From previous articles,we know that
的谱半径范围为
所以我们需要找一个数值稳定的 Laplacian sharpening 。
3.2 Numerically stable Laplacian sharpening
为寻找谱半径为 的拉普拉斯锐化的新表示。
A signed graph is denoted by which is induced from the unsigned graph .
Each element in has the same absolute value with , but its sign is changed into minus or keeps plus.
The degree matrix can be defined as .
因此,我们可以构建
-
- unnormalized graph Laplacian .
- symmetric graph Laplacian of the signed graph.
的特征值范围为 ,因此对于任意 ,它的谱半径 是 。
利用上述结论,替换 Eq.12:
其中:
计算方式如下:
Eq.14 和 Eq.15 有同样的意义:
这样做的目的:
-
- 将谱半径变成 。
- 保留了和 的性质。
总结,GALA 数值稳定的 decoder layer 可以表达为:
其中
GALA 的 encoder layer 表达为:
其中
在 Table 1, 通过实验证明了拉普拉斯平滑不适合在解码器使用,同样说明了 数值稳定的拉普拉斯锐化的优越性。
GALA 的重构损失:
3.3. Subspace clustering cost for image clustering
对于图像聚类任务,我们在所提出的方法中添加了子空间聚类元素。
其中
-
- 代表编码器的隐表示;
- 表示亲和矩阵,它是子空间聚类的新潜在变量,
Eq. 19 的第二项 针对子空间聚类的自我表达模型和 Eq. 19 的第三项用于正则化 。
如果我们只考虑最小化 ,那么问题变为:
我们很容易得到分析结果:
通过使用这种解析解和奇异值分解,我们推导出计算效率高的子空间聚类成本函数,如下所示:
4. Experiments
数据集
节点聚类
节点聚类结果如 Table 2:
图像聚类
消融实验
链接预测
我们在 Citeseer 数据集上提供了一些关于链接预测任务的结果。
对于链路预测任务,我们最小化了以下成本函数,将 GAE 的链路预测成本添加到重建成本中
其中
-
- 代表潜在表示;
- 是重构的亲和矩阵;
- 是正则化参数;
The results are shown in Table 7
可视化
5 Conclusions
提出了拉普拉斯锐化。
修改时间
2022-01-23 创建文章
2022-06-07 切换到中文版本
因上求缘,果上努力~~~~ 作者:别关注我了,私信我吧,转载请注明原文链接:https://www.cnblogs.com/BlairGrowing/p/15802478.html
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~