摘要： 最近我在刷知乎的时候关注到了Meta的一个新工作CoPE（Contextual Position Encoding，上下文位置编码），在了解了其中的核心理念和实现后，我不自觉地联想到了Deformable attention，然后尝试将两者的相似点进行了一点整理。 为什么需要CoPE？ 在处理文本序 阅读全文