Fork me on GitHub
2022年4月24日
位置编码
摘要： 为什么需要位置编码 在transformer中使用了位置编码，为什么需要位置编码。因为对于transformer中的注意力机制而言，交换两个单词，并不会影响注意力的计算，也就是说这里的注意力是对单词位置不敏感的，而单词之间的位置信息往往是很重要的，因此考虑使用位置编码。 绝对位置编码 三角函数位置编 阅读全文
posted @ 2022-04-24 17:35 西西嘛呦 阅读(1170) 评论(0) 推荐(2) 编辑