Transformer中高级位置编码的介绍和比较：Linear Rope、NTK、YaRN、CoPE

在处理诸如文本之类的序列时，排序信息显然是至关重要的。为了结合排序信息而不是将序列视为集合，对位置信息进行编码是至关重要的。位置编码通过为每个位置分配嵌入向量并将其添加到相应的标记表示来实现这一点。绝对和相对位置编码是最常见的两种位置编码方式，但是本文将要比较更高级的位置编码方法：

1、RoPE 位置编码及其变体

2、CoPE

 

https://avoid.overfit.cn/post/91fd4283a7944bebabb6017f5ee285e9