Chen D., O'Bray L. and Borgwardt K. Structure-aware transformer for graph representation learning. ICML, 2022.
概
Graph + Transformer + 修改 attention 机制.
SAT

-
Transformer 最重要的就是 attention 机制:
Attn(xv)=∑v∈Vκexp(xv,xu)∑w∈Vκexp(xv,xw)f(xu),∀v∈V,
其中
κexp(x,x′):=exp(⟨WQx,WKx′⟩/√dout).
-
作者希望让 attention 的计算是 structure-aware 的:
SA-attn(v):=∑v∈Vκgraph(SG(v),SG(u))∑w∈Vκgraph(SG(v),SG(w))f(xu)
这里 SG(u) 表示以 u 为中心的 k-hop 子图, κgraph 是衡量两个图相似度的 kernel, 可以通过过往的图实现.
-
最后, 在完成 attention 后, skip connection:
x′v=xv+1/√dvSA-attn(v).
这里 dv 是结点 v 的度数, 为了避免度数高的结点占据主导.
代码
[official-code]
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
2020-06-17 AT-GAN: A Generative Attack Model for Adversarial Transferring on Generative Adversarial Nets