GraphMAE阅读笔记

GraphMAE阅读

引言

在摘要里，本论文提出了自监督学习有着巨大的潜力

自监督学习又分为对比学习和生成学习

目前比较成功的是对比学习，因为在对比学习中，有高质量的数据增强以及可以通过额外的策略来稳定训练过程

而对于生成式的自监督学习，它们旨在重建数据本身的特征和信息，对图来说，图自动编码器(Graph Autoencoder, GAE)可以重建图的结构信息或者节点特征，但是目前基于图自动编码器的发展远远落后于对比学习

所以，本文提出了GraphMAE，GraphMAE发现仅仅重建节点特征便能够使得模型学到充分的信息，从而有助于下游分类等任务。

GraphMAE的主要改进包括：

• 带掩码的节点特征重建
• 使用放缩余弦误差
• 带重掩码的解码过程

GraphMAE的结构

1.带有MASK的节点特征重建

​ 对于一个图$G=(V,\varepsilon,X)$

​ 从图中采样部分节点$\tilde{V}\subset V$，用一个掩码标识[MASK]来替换它们的输入节点特征，记经过mask之后的节点特征矩阵为$\tilde{X}$，那么

2.带重掩码的解码过程

​ 传统的decoder的表现力较差，导致encoder得到的节点表示H与输入特征几乎相同，所以GraphMAE采用了单层图神经网络作为decoder，GNN decoder可以根据一个节点周围的节点分布恢复其自身的输入特征，可以帮助解码器学习高层次的信息

​ GraphMAE采用一种新的重掩码的方式，用另一个掩码标识[DMASK]，再次替换最初采样到的节点的表示。即

这样就可以迫使从邻近的未遮盖的节点中重构它的输入特征

3.使用放缩余弦误差

​ 之前的图自动编码器大多数采用均方误差作为损失函数，但是均方误差在训练中最小化到接近零或者很难优化，不足以进行有意义的特征重建。所以GraphMAE采用了余弦误差，同时引入了放缩因子来进一步改进余弦误差。当放缩因子大于1时误差能够更快的衰减到0，从而能够调整难度不同样本的权重，放缩余弦误差的定义为：

放缩因子也是一个在不同数据集上可调整的超参数