会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
西西嘛呦
从自己能做到的开始,一件件来,缓慢而坚定地前进,尽力而为
博客园
首页
新随笔
联系
管理
2020年11月18日
transformer多头注意力的不同框架实现(tensorflow+pytorch)
摘要: 多头注意力可以用以下一张图描述: 1、使用pytorch自带的库的实现 torch.nn.MultiheadAttention(embed_dim, num_heads, dropout=0.0, bias=True, add_bias_kv=False, add_zero_attn=False,
阅读全文
posted @ 2020-11-18 21:10 西西嘛呦
阅读(8052)
评论(0)
推荐(7)
编辑
公告