关于图神经网络基础学习笔记(一)

update: 2023.9.18


一、前言与图神经网络的应用场景

对于之前只接触过神经网络的我来讲,图神经网络能够使用在任意只要能构成图的数据当中,令我十分感兴趣。并且由于我导师的建议下,正在进行图神经网络与控制论的理论学习。

图神经网络(GNN)最主要是提供了图嵌入(Graph Embedding)这一可以用来进行图表征学习的技术,将传统的图分析引入,扩展了深度学习对于非欧几里得数据的处理能力,提供了对非规则数据提取特征的方法,它被广泛应用于社交网络,推荐系统,金融风控,物理系统,分子化学,生命科学,知识图谱,交通预测等领域。但对于非结构化数据(文本,图像),目前研究人员均有所尝试,但具体的应用成果比较少。

  • 商业推荐:Ying R, He R, Chen K, et al. Graph convolutional neural networks for web-scale recommender systems[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. ACM, 2018: 974-983.

  • 动作识别:Yan S, Xiong Y, Lin D. Spatial temporal graph convolutional networks for skeleton-based action recognition[C]//Thirty-Second AAAI Conference on Artificial Intelligence. 2018.

  • 语义分析:Marcheggiani D, Titov I. Encoding sentences with graph convolutional networks for semantic role labeling[J]. arXiv preprint arXiv:1703.04826, 2017.

  • 知识图谱:Dettmers T, Minervini P, Stenetorp P, et al. Convolutional 2d knowledge graph embeddings[C]//Thirty-Second AAAI Conference on Artificial Intelligence. 2018.

  • 路况预测:Yu B, Yin H, Zhu Z. Spatio-temporal graph convolutional networks: A deep learning framework for traffic forecasting[J]. arXiv preprint arXiv:1709.04875, 2017.

  • 基于会话推荐:Wu S, Tang Y, Zhu Y, et al. Session-based recommendation with graph neural networks[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2019, 33: 346-353.

  • 分子优化:Jin W, Yang K, Barzilay R, et al. Learning multimodal graph-to-graph translation for molecular optimization[J]. arXiv preprint arXiv:1812.01070, 2018.

(摘自知乎 图神经网络可以做哪些应用?

二、图与特征嵌入(embedding)

1. 独热编码与分布式表示

在做简单的NLP任务,例如文本聚类时,我们常常将文本去中心化、独热化再进行统计频率等等,进而做后续操作。我们可以假设,如果一篇文章中去中心化之后的词语有N个,那每一个词语的特征可以用N维独热向量表示,但如果N很大,这样构造的文章特征矩阵会变得极其稀疏并且会在演算过程中极其复杂。
image
image
image

三、图神经网络与传统神经网络区别与优势

传统的神经网络要求最严谨的格式是相同的(resize、固定格式),输入的个数也要相同(batch_size)。但例如道路交通、关系网络、人的社交网络、分子模式等不规定的格式则需要使用图神经网络(GNN)。

四、图神经网络的任务分类

image

  1. graph级别任务:分子是否有回路,这个分子是什么

image

  1. node和vertice级别任务:预测点是什么,点与点之间的关系是什么

五、如何更新各个节点

邻接矩阵过于稀疏(N * N),如果图中的节点数过多,迭代起来会很复杂,其实我们拿到的应该是2 * N的矩阵。

image

image

image

GNN、GCN

图神经网络可以适用于半监督任务

image
图卷积层数不会做的很深——小世界理论,你只需要认识6个人

\(D^{-1}AD^{-1}X\)
\(D^{-\frac{1}{2}}AD^{-\frac{1}{2}}X\)

GCN只需要三五层即可,多个图数据集中都发现多层GCN反而效果不好,原因是GCN层数多了,信息交换变多,特征会变得分散

posted @ 2023-09-17 11:05  ishineJJY  阅读(88)  评论(0编辑  收藏  举报