ICLR 2023 | Specformer: Spectral GNNs Meet Transformers

前言本文将为大家介绍北邮 GAMMA Lab在ICLR 2023上的最新中稿论文。该工作提出了一种新的图神经网络架构，称为"Specformer"，可以在处理图结构数据时结合频谱滤波器和Transformer模型的优势。

本文转载自北邮 GAMMA Lab

作者 | 薄德瑜

仅用于学术分享，若侵权请联系删除

欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。

CV各大方向专栏与各个部署框架最全教程整理

计算机视觉入门1v3辅导班

论文名称: Specformer: Spectral Graph Neural Networks Meet Transformers

发表会议: ICLR 2023

论文地址: https://openreview.net/pdf?id=0pdSt3oyJa1

1 摘要

图神经网络已经在机器学习领域取得了巨大的成功。根据图信号的处理方式，图神经网络可以大致分为两类，即空域图神经网络和谱域图神经网络。空域图神经网络通常采用消息传递的框架，在节点域通过传播图上的局部信息来学习有用的图表示；谱域图神经网络则通过图滤波器在频谱域对特征进行滤波，通常能够学习到非局部的信息。一个更详细的讨论可以见论文“A Survey on Spectral Graph Neural Networks”。虽然空域图神经网络已经在许多领域取得了令人印象深刻的表现，但是谱域图神经网络仍然没有被充分研究。

谱域图神经网络未能赶上的原因有两个。首先，大多数现有的图滤波器本质上是标量到标量的函数。特别地，它们把一个单一的特征值作为输入，并对所有特征值应用相同的滤波函数。这种滤波机制可能忽略了嵌入在频谱中的丰富信息，即特征值的集合属性。例如，从谱图理论中我们知道，特征值0的代数重数代表着图中连通分量的数量。然而，这样的信息不能被标量到标量的滤波器所捕获。第二，频谱滤波器通常是通过固定（或截断）的正交基近似的，例如切比雪夫多项式和图小波，避免了昂贵的谱分解。虽然正交性是一个很好的属性，但这种截断的近似方法的表现力较差，可能会严重限制图表示学习。

为了提升谱域图神经网络，一个自然的问题是我们如何构建能够有效利用频谱信息且富有表现力的频谱滤波器？，为了回答这个问题，我们首先注意到图拉普拉斯算子的特征值表示频率，即相应特征向量的总变差（total variation）。因此，频率的幅值传达了丰富的信息。此外，两个特征值之间的相对差异也反映了重要的信息，即谱间隙（spectral gap）。为了学习到频率的幅值和频率的相对大小，我们提出了一种基于Transformer的集合到集合图谱滤波器，称为Specformer。它首先通过位置嵌入对特征值进行编码，然后利用自注意力机制从特征值集合中学习相关信息。依靠学习到的特征值表示，我们还设计了一个带有一组可学习基的解码器。最后，通过组合这些基，Specformer可以构造一个置换等变和非局部图卷积。