会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
deephub
overfit深度学习
博客园
首页
新随笔
联系
订阅
管理
2023年7月13日
注意力机制中的掩码详解
摘要: 注意力机制的掩码允许我们发送不同长度的批次数据一次性的发送到transformer中。在代码中是通过将所有序列填充到相同的长度,然后使用“attention_mask”张量来识别哪些令牌是填充的来做到这一点,本文将详细介绍这个掩码的原理和机制。 我们先介绍下如果不使用掩码,是如何运行的。这里用GPT
阅读全文
posted @ 2023-07-13 10:08 deephub
阅读(364)
评论(0)
推荐(0)
编辑
公告