GraphMAE2论文阅读笔记

Abstract

第一篇论文GraphMAE的想法是用自动编码器体系结构来重建被输入随机屏蔽的节点特征。但是掩蔽特征重构的性能依赖输入特征的可辩别性，容易受到特征的干扰。所以提出了一个掩蔽的自监督学习框架GraphMAE2，目的是克服这个问题，思想是对图自监督学习的特征重构进行正则化处理。具体的说，我们设计了多视图随机重掩码解码和潜在表示预测的策略来规范特征重构。多视图随机掩码是在特征空间的重构中引入随机性，而隐空间表示预测是在嵌入空间中强制重构。

Introduction

GraphMAE的主要思想是利用自动编码体系结构重构在编码前随机掩码的输入节点特征。它的技术贡献在于 1)掩码特征重构 2)固定的重掩码解码，其中先前掩码节点的编码嵌入在输入解码器之前再次被掩码。
尽管GraphMAE具有很好的性能，但是掩蔽特征的重构本质上依赖于输入节点特征的可区分性，即节点特征的可区分程度。在实践中，图中节点的特征通常是由于每个节点相关联的数据生成的，当使用较少区别的节点特征是，GraphMAE作为一种具有特征重构的生成式SSL框架，相对更容易受到特征的干扰。
在这项工作中，我们提出了GraphMAE2，目的是改进图SSL的特征重建。其思想是对目标重建进行正则化处理。为了实现这一点，我们引入了两种解码策略：多视图随机重掩码解码以减少对输入特征的过拟合，以及具有更多信息目标的潜在表示预测。
首先，我们提出在多视图随机重掩码解码的输入特征重构中引入随机性，而不是GraphMAE中使用固定的重掩码解码——重构掩码节点的编码嵌入。也就是说，编码的嵌入被随机重新掩码多次，并将其解码结果都强制恢复输入特征。其次，我们提出了潜在表示预测，它试图在嵌入空间中重构掩蔽特征，而不是在输入特征空间中重构。掩蔽节点的预测嵌入被约束以匹配它们直接从输入图生成的表示。这两种设计都很自然地作为生成图SSL中目标构造的正则化。

Method

我们首先回顾了图SSL的掩码自编码，并确定了其不足，即掩码特征重构的有效性易受输入节点特征的可区分性的影响。然后，我们提出了GraphMAE2，通过对特征解码进行正则化来克服这个问题。
模型的整体结构如下：

掩蔽特征重建中存在的问题：尽管性能优异，但由于节点特征的语义不准确，掩蔽节点特征重构仍存在潜在的问题。最近的一项研究表明，节点特征的可区分性会显著影响gnn在下游任务上的性能。在掩蔽特征重建中，较少的鉴别重建目标可能会导致误导和损害学习

GraphMAE2 Framework

我们提出GraphMAE2来克服上述问题。它遵循掩蔽预测范式，并进一步将正则化合并到解码阶段，以提高有效性。
为了改进特征重构，我们提出对编码的表示进行多次随机重掩码，并强制解码器从损坏的表示中重构输入特征。然后，为了最小化输入特征的直接影响，我们还强制执行该模型来预测在输入特征空间之外的嵌入空间中的掩蔽节点的表示。这两种策略都可以作为正则化的方法，以避免模型对输入特征的过拟合。此外，我们将GraphMAE2扩展到大型图，并建议对密集连接的子图进行采样，以适应GraphMAE2的训练。

多视图随机重新掩码解码

从输入特征重构的角度来看，我们在解码中引入了随机性，并要求解码器从不同的和部分观察到的嵌入中恢复输入𝑿
解码器将潜在码𝑯映射到输入特征空间，重构𝑿进行优化。使用GNN作为解码器比使用MLP具有更好的性能，GNN解码器在恢复高维和低语义特征时帮助编码器学习高级潜在代码。我们提出了一种多视图随机重掩码解码策略，而不是在GraphMAE中使用的固定重掩码解码策略。在编码的表示被输入解码器之前，它随机地重新掩码，这类似于半监督学习中的随机传播。
我们按照均匀分布重新采样节点\(\overline{\mathcal{V}}\subset\mathcal{V}\)的一个子集。\(\overline{\mathcal{V}}\)与输入掩蔽节点\(\tilde{\mathcal{V}}\)不同，无论节点之前是否被掩蔽，它们都同样被选择进行重新掩蔽。然后通过掩码来构建损坏的表示矩阵，解码器将从损坏的表示矩阵中重构输入𝑿。该过程重复多次，以生成𝐾个不同的重新掩蔽节点集和相应的损坏表示，每个视图在重新屏蔽后包含不同的信息，它们都被强制重构输入节点特征。解码的随机性作为正则化，防止网络记忆输入𝑿中的意外模式，因此训练对输入特征中的干扰不那么敏感。最后，我们使用放缩余弦误差来测量重建误差，并对𝐾视图的误差求和来进行训练：

\[\mathcal{L}_{input}=\frac{1}{|\widetilde{\mathcal{V}}|}\sum_{j=1}^{K}\sum_{v_i\in\widetilde{\mathcal{V}}}(1-\frac{x_i^\top z_i^{(j)}}{\|x_i\|\cdot\|z_i^{(j)}\|})^\gamma \]

这里解码器由一个单层的GAT构成

隐空间表示预测

根据掩模预测，这部分的重点是构建一个额外的信息预测目标，该目标受输入特征的直接影响的影响最小。为此，为了实现这一点，我们提出在输入特征空间之外的表示空间中进行预测。
考虑到神经网络本质上可以作为去噪编码器和编码高级语义，我们提出使用一个网络作为目标生成器，从未掩蔽的图中产生潜在的预测目标。我们使用GNN作为一个编码器。我们还定义了一个投影器，对应于输入特征重构中的解码器，将代码𝑯映射到表示空间进行预测。目标生成器网络与编码器和投影仪共享相同的架构，但使用不同的权重集。在预训练期间，未掩蔽图首先通过目标生成器来生成目标表示\(\overline{X}\)。然后将掩蔽图\(G(A,\tilde{X})\)的编码结果𝑯投影到表示空间，得到潜在预测的\(\overline{Z}\)：
\(\bar{Z}=g(H;\theta),~\bar{X}=g^{\prime}(f_E^{\prime}(A,X;\xi);\xi)\)
编码器和投影仪网络被训练以匹配掩蔽节点上的目标生成器的输出。特别有趣的是，鼓励未掩蔽节点的对应将给我们的框架带来轻微的好处。这可能归因于掩蔽操作隐式地作为一种特殊类型的增强。我们通过梯度下降最小化以下尺度余弦误差来学习编码器和投影器的参数𝜃
\(\mathcal{L}_{latent}=\frac1N\sum_i^N(1-\frac{\bar{z}_i^\top\bar{x}_i}{\|\bar{z}\|\cdot\|\bar{x}\|})^\gamma\)
利用权重衰减𝜏，通过𝜃的指数移动平均来更新目标生成器𝜉的参数：
\(\xi\leftarrow\tau\xi+(1-\tau)\theta\)
最终的损失函数为：
\(\mathcal{L}=\mathcal{L}_{input}+\lambda\mathcal{L}_{latent}\)