打赏
2019年7月14日
[NLP] 相对位置编码(一) Relative Position Representatitons (RPR) - Transformer
摘要： 对于Transformer模型的positional encoding，最初在Attention is all you need的文章中提出的是进行绝对位置编码，之后Shaw在2018年的文章中提出了相对位置编码，就是本篇blog所介绍的算法RPR；2019年的Transformer-XL针对其se 阅读全文
posted @ 2019-07-14 20:49 listenviolet 阅读(12190) 评论(0) 推荐(4) 编辑