《Towards Deeper Graph Neural Networks》阅读笔记

Towards Deeper Graph Neural Networks

作者：Meng Liu，Hongyang Gao，Shuiwang Ji

Texas A&M University

KDD 2020

Abstract

本文对于GNN在使用更深的层时出现的准确率大大下降问题关键因素进行了探究，并且提出了对应的方法，使用了一种自适应深度的GNN。

创新点/贡献/优势：

• 提出了两种独立的操作进行transformation、propagation。
• 自适应的深度学习机制

Introduction

• 在GNN中使用多层的网络会出现过度平滑的问题（over-smoothing），过度平滑即是不同类的点特征趋近于相同，导致无法分类。
• 出现过度平滑的问题，主要是由于representation transformation 和 propagation的entanglement（纠缠）

Analysis of Deep GNNS

• 定量的分析节点特征的平滑值

• \(SMV_g\) 就是整张图的平滑度值，\(SMV_g\) 越大，平滑度就越小。

可以看到一开始精确值不断提高，但是后面精确值就波动很大，平均值也一直在下降，对于整个图的平滑定量值却略有下降，也就是图平滑度上升

• 一些观点认为过度平滑是由于多次迭代而导致的，但是本文作者提出质疑，他认为对于上图的结果，cora 数据集是很稀疏的，不会因为几次迭代就出现这样精度下降的情况，而且图的平滑度上升并不多。

• 提出关键原因转化和传播的纠缠极大地损害了深图神经网络的性能。

  • 特征表式和传播的纠缠使转换中的参数数量与传播中的接收场交织在一起。 传播需要变换函数，因此在考虑大的接收场时会导致大量的参数。 因此，可能很难训练具有大量参数的深层GNN。
  • 特征表式和传播应该式独立的，节点的类别可以通过其初始特征完全可预测，在连接的节点通常属于同一类的假设下，基于图结构的传播可以通过使同一类中的节点表示相似来帮助简化分类任务。 例如，直观上，文档的类别完全由其内容（即，通过单词嵌入来实现）确定，而不是与其他文档的引用关系。 利用其邻居的功能可以简化文档的分类。 因此，表示形式的转换和传播分别从特征和结构方面发挥各自的作用。

• 提出了两个decouple的特征表式和传播操作

Model

• 该模型使特征表示与传播decouples（解耦），从而可以应用较大的接收场而不会导致性能下降。
• 它利用一种自适应调整机制，该机制可以针对每个节点自适应地平衡来自本地和全局邻域的信息，从而导致更具区分性的节点表示形式。

其中s是一个训练的向量，用来调整对于每一层的特征的权重

Experiments

数据集

由于接收场的扩大，对于很少的训练数据情况下，可以比其他的网络有巨大的优势

对于边密集的数据集，在多次迭代后，还是会出现过度平滑的问题，因为同一个连通块的值最后会趋于相同。

Conclusion

在本文中，考虑了当前深图神经网络中存在的性能下降问题，并针对深图神经网络发展了新的见解。

先对此问题进行系统的分析，认为损害网络性能的关键因素是特征转换和传播的纠缠。

提出建议对这两个操作进行解耦，并表明没有这种纠缠的深度图神经网络可以利用较大的接受域而不会导致性能下降。

提出DAGNN进行节点表示学习，并具有从大型自适应适应场中捕获信息的能力，DAGNN的性能要比当前最先进的模块好得多，尤其是在训练样本有限的情况下，这证明了它的优越性