王冰冰

摘要： 当前版本为本文的尝鲜版，稳定版尚未发布： 位置编码： https://zhuanlan.zhihu.com/p/454482273 transformer的sin位置编码本身已经包含了相对位置信息，本身就是一种包含相对信息的绝对位置编码。因为它符合一种形式： \[PE_{t+k}=f(k)\cdot 阅读全文