Structure-Aware Transformer for Graph Representation Learning

Chen D., O'Bray L. and Borgwardt K. Structure-aware transformer for graph representation learning. ICML, 2022.

Graph + Transformer + 修改 attention 机制.

SAT

  • Transformer 最重要的就是 attention 机制:

    Attn(xv)=vVκexp(xv,xu)wVκexp(xv,xw)f(xu),vV,

    其中

    κexp(x,x):=exp(WQx,WKx/dout).

  • 作者希望让 attention 的计算是 structure-aware 的:

    SA-attn(v):=vVκgraph(SG(v),SG(u))wVκgraph(SG(v),SG(w))f(xu)

    这里 SG(u) 表示以 u 为中心的 k-hop 子图, κgraph 是衡量两个图相似度的 kernel, 可以通过过往的图实现.

  • 最后, 在完成 attention 后, skip connection:

    xv=xv+1/dvSA-attn(v).

    这里 dv 是结点 v 的度数, 为了避免度数高的结点占据主导.

代码

[official-code]

posted @   馒头and花卷  阅读(39)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
历史上的今天:
2020-06-17 AT-GAN: A Generative Attack Model for Adversarial Transferring on Generative Adversarial Nets
点击右上角即可分享
微信分享提示