ICML 2022 | Graph Machine Learning 论文分享

ICML 2022 | Graph Machine Learning 论文分享

国际机器学习大会(International Conference on Machine Learning,简称ICML ) 是由国际机器学习学会(IMLS)主办的机器学习国际顶级会议 (CCF-A). ICML 2022 包含数百篇论文和许多专门针对图表的研讨会。在本篇推送中,我们将会分享分享 Graph ML 中最热门的研究领域的概述。

(Galkin, 2022)(Galkin, 2022)1400×778 151 KBSource:Graph Machine Learning @ ICML 2022 | by Michael Galkin | Jul, 2022 | Towards Data Science

图生成:去噪扩散就是你所需要的

去噪扩散概率模型( DDPM ) 将在 2022 年接管深度学习领域,几乎所有领域都具有惊人的生成质量和比 GAN 和 VAE 更好的理论特性,例如在图像生成(GLIDEDALL-E 2Imagen)、视频生成、文本生成(Diffusion-LM),甚至用于强化学习的扩散。从概念上讲,扩散模型逐渐向输入对象添加噪声(直到它是高斯噪声)并学习预测添加的噪声水平,以便我们可以从对象中减去它(去噪)

论文标题:*Equivariant Diffusion for Molecule Generation in 3D*
论文链接:https://arxiv.org/pdf/2203.17003.pdf 1
作者团队:Emiel Hoogeboom, Victor Garcia Satorras, Clement Vignac, Max Welling

论文标题:*SPECTRE: Spectral Conditioning Helps to Overcome the Expressivity Limits
of One-shot Graph Generators*

论文链接:https://arxiv.org/pdf/2204.01613.pdf
作者团队:Karolis Martinkus, Andreas Loukas, Nathanael Perraudin, Roger Wattenhofer

论文标题:*Score-based Generative Modeling of Graphs via
the System of Stochastic Differential Equations*

论文链接:https://arxiv.org/pdf/2202.02514.pdf
作者团队:Jaehyeong Jo,Seul Lee,Sung Ju Hwang

Graph Transformer

在今年的 ICML 上,有两篇关于改进 Graph Transformers 的论文。

论文标题:*Structure-Aware Transformer for Graph Representation Learning*
论文链接:https://arxiv.org/pdf/2202.03036.pdf
作者团队:Dexiong Chen, Leslie O’Bray,Karsten Borgwardt

论文标题:*From block-Toeplitz matrices to differential equations on graphs: towards a
general theory for scalable masked Transformers*

论文链接:https://arxiv.org/pdf/2107.07999.pdf
作者团队:Krzysztof Choromanski, Han Lin,Haoxian Chen,Tianyi Zhang,Arijit Sehanobish

图增强:超越边缘丢失

ICML 2022还带来了一些改善 GNN 自我监督能力的工作,这些工作超越了节点/边缘丢失等随机边缘索引扰动。
论文标题:*G-Mixup: Graph Data Augmentation for Graph Classification*
论文链接:https://arxiv.org/pdf/2202.07179.pdf
作者团队:Xiaotian Han,Zhimeng Jian,Ninghao Liu,Xia Hu

论文标题:*Local Augmentation for Graph Neural Networks*
论文链接:https://arxiv.org/pdf/2109.03856.pdf
作者团队:Songtao Liu, Rex Ying,Hanze Dong,Lanqing Li,Tingyang Xu

论文标题:*GraphFM: Improving Large-Scale GNN Training via Feature Momentum*
论文链接:https://arxiv.org/pdf/2206.07161.pdf
作者团队:Haiyang Yu,Limei Wang,Bokun Wang,Meng Liu

算法推理和图算法

论文标题:*The CLRS Algorithmic Reasoning Benchmark*
论文链接:https://arxiv.org/pdf/2205.15659.pdf
作者团队:Petar Velickovi ,Adria Puigdom,David Budden,Razvan Pascanu

论文标题:*The Algebraic Path Problem for Graph Metrics*
论文链接:https://proceedings.mlr.press/v162/sanmarti-n22a/sanmarti-n22a.pdf
作者团队:Enrique Fita Sanmart´ın,Sebastian Damrich

知识图推理

知识图推理长期以来一直是 GraphML 方法的游乐场。在今年的 ICML 上,关于这个主题的论文也不少。作为今年的趋势,我们看到了从嵌入方法(TransEComplExRotatEHAKE)到 GNN 和逻辑规则(实际上,GNN 也与逻辑规则相关)的显着迁移。

论文标题:*Knowledge Base Question Answering by Case-based Reasoning over Subgraphs*
论文链接:https://proceedings.mlr.press/v162/das22a/das22a.pdf
作者团队:Rajarshi Das,Ameya Godbole ,Ankita Naik

论文标题:*Neuro-Symbolic Hierarchical Rule Induction*
论文链接:https://proceedings.mlr.press/v162/glanois22a/glanois22a.pdf
作者团队:Claire Glanois, Zhaohui Jiang, Xuening Feng

论文标题:*Neural-Symbolic Models for Logical Queries on Knowledge Graphs*
论文链接:https://proceedings.mlr.press/v162/zhu22c/zhu22c.pdf
作者团队:Zhaocheng Zhu,Mikhail Galkin,Zuobai Zhang

计算生物学:分子连接、蛋白质结合、性质预测

一般来说,comp bio 在 ICML 上的表现非常好。在这里,我们将了解分子连接蛋白质结合 、构象异构体生成和分子特性预测的新方法。

分子连接 是设计蛋白水解靶向嵌合体 (PROTAC)药物的关键部分。对我们来说,仅仅是没有生物学背景的 GNN 研究人员,这意味着给定两个分子,我们想要生成一个有效的连接 分子,它将两个片段 分子连接到一个分子中,同时保留原始片段分子的所有特性。

论文标题:*Neural-Symbolic Models for Logical Queries on Knowledge Graphs*
论文链接:https://arxiv.org/pdf/2205.07309.pdf
作者团队:Yinan Huang,Xingang Peng,Jianzhu Ma, Muhan Zhang

论文标题:*Molecular Representation Learning via Heterogeneous Motif Graph Neural
Networks*

论文链接:https://proceedings.mlr.press/v162/yu22a/yu22a.pdf
作者团队:Zhaoning Yu,Hongyang Gao

论文标题:*3D Infomax improves GNNs for Molecular Property Prediction*
论文链接:https://proceedings.mlr.press/v162/stark22a/stark22a.pdf
作者团队:Hannes Stark, Dominique Beaini,Gabriele Corso

理论和表达性 GNN

现在的GNN 社区仍然致力于研究突破 1-WL 表达能力的天花板并保持至少多项式时间复杂度的方法。同时,每当引入新的 GNN 变体时,相应的理论分析通常表明它比 1-WL 更强大,有时还会将其与经典的 k-WL 层次结构进行比较,我们能否找到更有意义的方法来衡量 GNN 的表达能力扩展?

论文标题:*SpeqNets: Sparsity-aware Permutation-equivariant Graph Networks*
论文链接:https://proceedings.mlr.press/v162/morris22a/morris22a.pdf
作者团队:Christopher Morris,Gaurav Rattan,Sandra Kiefer,Siamak Ravanbkash

论文标题:*A Theoretical Comparison of Graph Neural Network Extensions*
论文链接:https://proceedings.mlr.press/v162/papp22a/papp22a.pdf
作者团队:Pal Andr ´,Roger Wattenhofer

论文标题:*Going Deeper into Permutation-Sensitive Graph Neural Networks*
论文链接:https://proceedings.mlr.press/v162/huang22l/huang22l.pdf
作者团队:Zhongyu Huang,Yingheng Wang,Chaozhuo Li,Huiguang He

可解释的 GNN

由于大多数 GNN 模型都是黑盒子,因此解释 GNN 对关键领域应用的预测非常重要。我们总结了ICML 2022在这个方向上两篇优秀的论文

论文标题:*Interpretable and Generalizable Graph Learning via Stochastic Attention Mechanism*
论文链接:https://proceedings.mlr.press/v162/miao22a/miao22a.pdf
作者团队:Siqi Miao,Miaoyuan Liu,Pan Li

论文标题:*Efficient Higher-order Subgraph Attribution via Message Passing*
论文链接:https://proceedings.mlr.press/v162/xiong22a/xiong22a.pdf
作者团队:Ping Xiong,Thomas Schnake,Gregoire Montavon,Klaus-Robert Mulle

有趣的图应用

1.交通预测
论文标题:*DSTAGNN: Dynamic Spatial-Temporal Aware Graph Neural Network for
Traffic Flow Forecasting*

论文链接:https://proceedings.mlr.press/v162/lan22a/lan22a.pdf
作者团队:Shiyong Lan,Yitong Ma,Weikang Huang, Wenwu Wang

2.图排名
论文标题:*GNNRank: Learning Global Rankings from Pairwise Comparisons via
Directed Graph Neural Networks*

论文链接:https://arxiv.org/pdf/2202.00211.pdf
作者团队:Yixuan He,Quan Gan,David Wipf,Gesine Reinert

3.物理模拟
论文标题:*Constraint-based Graph Network Simulator*
论文链接:https://proceedings.mlr.press/v162/rubanova22a/rubanova22a.pdf
作者团队:Yulia Rubanova,Alvaro Sanchez-Gonzalez,Tobias Pfaff

Reference

Galkin, M., 2022. Graph Machine Learning @ ICML 2022 . [online] Medium. Available at: https://towardsdatascience.com/graph-machine-learning-icml-2022-252f39865c70#7cf5 [Accessed 31 August 2022]

posted @ 2022-09-03 14:30  Xu_Lin  阅读(1012)  评论(0编辑  收藏  举报