论文解读（CoCo）《CoCo: A Coupled Contrastive Framework for Unsupervised Domain Adaptive Graph Classification》

Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ]

论文信息

论文标题：CoCo: A Coupled Contrastive Framework for Unsupervised Domain Adaptive Graph Classification
论文作者：Xiao Shen、Quanyu Dai、Fu-lai Chung、Wei Lu、Kup-Sze Choi
论文来源：2023 aRxiv
论文地址：download 
论文代码：download
视屏讲解：click

1-摘要

　　虽然图神经网络（GNNs）在图分类方面取得了令人印象深刻的成就，但它们往往需要丰富的任务特定标签，而获取这些标签的代价可能会很高。一个可信的解决方案是探索额外的标记图来增强目标域上的无监督学习。然而，由于对图拓扑的探索不足和领域差异显著，如何将gnn应用于领域自适应仍未得到解决。在本文中，我们提出了耦合对比图表示学习（CoCo），它从耦合学习分支中提取拓扑信息，并通过耦合对比学习减少域差异。CoCo包含一个图卷积网络分支和一个层次图核网络分支，它们以隐式和显式的方式探索图的拓扑。此外，我们将耦合分支合并到一个整体的多视图对比学习框架中，该框架不仅整合了从互补视图中学习到的图表示，以增强理解，而且还鼓励了具有相同语义的跨域实例对之间的相似性。在流行数据集上的大量实验表明，我们的CoCo在不同的设置下通常优于这些竞争基线。

2-介绍

贡献

• 介绍了一种新的无监督域自适应图分类方法CoCo，该方法包含一个图卷积网络分支和一个层次图核网络分支，从不同的角度挖掘拓扑信息；
• 一方面，跨分支对比学习鼓励耦合模块的一致性来生成全面的图表示。另一方面，跨域对比学习减少了具有相同语义的跨域对之间的距离，从而实现了有效的域对齐。
• 在各种广泛使用的图分类基准数据集上进行的综合实验证明了所提出的CoCo的有效性。

3-方法

模型框架

　　

3.1 图卷积分支

　　GCN 通过消息传递隐式捕获结构信息 和 属性信息；

　　　　$\boldsymbol{h}_{v}^{(l)}=\operatorname{COM}_{\theta}^{(l)}\left(\boldsymbol{h}_{v}^{(l-1)}, \operatorname{AGG}_{\theta}^{(l)}\left(\left\{\boldsymbol{h}_{u}^{(l-1)}\right\}_{u \in \mathcal{N}(v)}\right)\right)$

　　图表示：

　　　　$g_{\theta}(G)=\operatorname{READOUT}\left(\left\{\boldsymbol{h}_{v}^{(L)}\right\}_{v \in V}\right)  \quad(1)$

3.2 层次结构图内核网络分支

　　hierarchical graph kernel network (HGKN) 显式 捕获图结构信息（高阶）

　　通常，在每个层次层上，它通过图核将每个r-hop子图与可学习的滤波器图进行比较，以更新节点表示，然后使用基于注意力的池化操作来压缩图。在经过多个层次结构层之后，可以以端到端的方式获得图级表示。

　　具体来说，对于每个图，我们首先使用它的 r-hop 子图提取每个节点的局部信息，该子图包含 r 个边内的中心节点到达的所有节点，以及这些所选节点之间的所有边。为了从这些子图中生成拓扑信息，我们生成了M个不同大小的无向可学习图作为过滤器 $\left\{\tilde{G}_{1}^{(k)}, \cdots, \tilde{G}_{M}^{(k)}\right\}$，每个滤波器图 $\tilde{G}_{m}^{(k)}$ 都有一个可训练的邻接矩阵，每个节点都有一个属性。我们期望这些可学习的过滤器能够提取高阶结构信息，以便于更好的图分类。然而，大多数图核通常伴随着离散节点属性。为了解决这个问题，我们引入了一个量化操作 $Q(\cdot)$，它在网络转发过程中使用聚类来离散节点属性。通过 $Q(\cdot)$，连续的属性被离散的聚类分配所取代。然后，我们使用图核来比较离散输入图和滤波器图。

　　　　$e_{v}^{(k)}(m)=\Phi\left(Q\left(S_{v}^{(k-1)}\right), \tilde{G}_{m}^{(k)}\right)  \quad(2)$

　　其中，$S_{v}^{(k-1)}$ 表示在前一层以 $v$ 为中心的子图，$ \Phi(\cdot, \cdot)$ 表示给定的图核。

　　然后，我们可以通过连接所有过滤器的输出来更新节点表示 $\boldsymbol{e}_{v}^{(k)} \in \mathbb{R}^{M}$，如下所示：

　　　　$\boldsymbol{e}_{v}^{(k)}=\left[e_{v}^{(k)}(1), \cdots, e_{M}^{(v)}(M)\right] \quad(3)$

　　最后，我们利用多层感知器（MLP）$\psi^{k}(\cdot)$ 将连接的核值投影到第 $k$ 层的节点表示中，即 $\boldsymbol{x}_{v}^{(k)}=\psi^{k}\left(\boldsymbol{e}_{v}^{(k)}\right)$。

3.3 多视角的对比性学习框架

3.3.1 跨分支对比学习

　　考虑到该模型从互补视图学习图语义，我们对两个分支的图表示进行对比，以相互交换知识，提高了标签稀缺条件下目标数据的识别能力

　　具体来说，对于源批 $\mathcal{B}^{s}$ 和目标批 $\mathcal{B}^{t}$ 中的每一个图 $G_{i}$，我们从耦合分支产生嵌入，即 $\boldsymbol{z}_{i}=g_{\theta}\left(G_{i}\right)$ 和 $\tilde{\boldsymbol{z}}_{i}=f_{\phi}\left(G_{i}\right)$   。然后，我们引入InfoNCE损失来增强交叉耦合分支的一致性。在配方中，

　　　　$\mathcal{L}^{C B}=\frac{1}{\left|\mathcal{B}^{s}\right|+\left|\mathcal{B}^{t}\right|} \sum_{G_{i} \in \mathcal{B}^{s} \cup \mathcal{B}^{t}}-\log \frac{\exp \left(\boldsymbol{z}_{i} * \tilde{\boldsymbol{z}}_{i} / \tau\right)}{\sum_{G_{i^{\prime}} \in \mathcal{B}^{t}} \exp \left(\boldsymbol{z}_{i} * \tilde{\boldsymbol{z}}_{i^{\prime}} / \tau\right)} \quad(6)$

　　其中，$\tau$ 表示温度参数，被设置为 0.5。

3.3.2 跨领域对比学习

　　然而，由于图空间中严重的域移，图表示对于下游分类仍然存在偏差和不可靠。直观地说，源（目标）样本的表示应该接近于具有相同语义的目标（源）样本。为了实现这一点，我们需要生成目标数据的伪标签作为初步的。鉴于由于标签的缺乏，学习分类器是次优的和有偏的，我们通过比较目标图和源图之间的相似性，以非参数的方式生成伪标签。在此基础上，我们进行了跨域对比学习，使具有相同语义的跨域实例对与具有不同语义的实例对之间的距离最小化。

　　目标域伪标签生成：

　　　　$\hat{p}_{j}^{t}=\sum_{\left(G_{i}^{s}, y_{i}^{s}\right) \in \mathcal{B}^{s}}\left(\frac{\zeta\left(\boldsymbol{z}_{j}, g_{\theta}\left(G_{i}^{s}\right)\right)}{\sum_{\left(G_{i}^{s}, y_{i}^{s}\right) \in \mathcal{B}^{s}} \zeta\left(\boldsymbol{z}_{j}, g_{\theta}\left(G_{i}^{s}\right)\right)}\right) \boldsymbol{y}_{i}^{s}$

　　　　$ \hat{y}_{j}^{t}=   \arg \max \left(\hat{p}_{j}^{t}\right)$

　　其中，$\zeta\left(\boldsymbol{z}_{j}, g_{\theta}\left(G_{i}^{s}\right)\right)=\exp \left(\boldsymbol{z}_{j} * g_{\theta}\left(G_{i}^{s}\right) / \tau\right)$。

　　跨域对比目标：

　　　　$\mathcal{L}^{C D}=\sum_{G_{j}^{t} \in \mathcal{B}^{t}} \frac{-1}{|\Pi(j)|} \sum_{i \in \Pi(j)} \log \frac{\exp \left(\boldsymbol{z}_{j}^{t} * \boldsymbol{z}_{i}^{s} / \tau\right)}{\sum_{G_{i^{\prime}}^{s} \in \mathcal{B}^{s}} \exp \left(\boldsymbol{z}_{j}^{t} * \boldsymbol{z}_{i^{\prime}}^{s} / \tau\right)}  \quad(8)$

　　我们的跨领域对比性学习目标有两个好处。一方面，考虑到每一项的分子惩罚了具有相同语义的源样本和目标样本之间的距离，我们的损失有助于生成域不变图表示。另一方面，由于对比学习取得了很好的结果，比较正对和负对的比较有助于开发鉴别图表示，在标签稀缺条件下进行有效的图分类。我们还在另一个分支中构造了对比学习目标，并将它们相加得到最终的损失。

3.3.3 训练目标

　　总体目标：

　　　　$\mathcal{L}=\mathcal{L}^{C B}+\mathcal{L}^{C D}+\mathcal{L}^{S}$

3.4 算法

　　

4 实验

4.1 消融实验

4.1.1 组件消融实验

　　

　　1) CoCo/CB: It removes the cross-branch contrastive learning module;

　　2) CoCo/CD: It removes the cross-domain contrastive learning module;

　　3) CoCo-GIN: It uses two distinct GINs to generate coupled graph representations;

　　4) CoCo-HGKN: It uses two distinct HGKN to generate coupled graph representations. 

　　5) CoCo-NP: It utilizes the non-parametric classifier instead of the MLP classifier for target domain prediction.

4.1.2 卷积消融实验

　　

4.1.3 图核消融实验