Fork me on GitHub
2020年11月18日
transformer多头注意力的不同框架实现（tensorflow+pytorch）
摘要： 多头注意力可以用以下一张图描述： 1、使用pytorch自带的库的实现 torch.nn.MultiheadAttention(embed_dim, num_heads, dropout=0.0, bias=True, add_bias_kv=False, add_zero_attn=False, 阅读全文
posted @ 2020-11-18 21:10 西西嘛呦 阅读(8052) 评论(0) 推荐(7) 编辑