2024年5月2日
Gradformer: 通过图结构归纳偏差提升自注意力机制的图Transformer
摘要： 这是4月刚刚发布在arxiv上的论文，介绍了一种名为“Gradformer”的新型图Transformer，它在自注意力机制中引入了指数衰减掩码。以下是主要创新点： 指数衰减掩码： Gradformer在其自注意力模块中集成了衰减掩码。该掩码随着图结构中节点之间的距离减小而呈指数递减。这种设计使模型 阅读全文
posted @ 2024-05-02 09:48 deephub 阅读(40) 评论(0) 推荐(0) 编辑