会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
王冰冰
博客园
首页
新随笔
联系
订阅
管理
2024年3月25日
浅谈位置编码(RoPE)(未完待续...)
摘要: 当前版本为本文的尝鲜版,稳定版尚未发布: 位置编码: https://zhuanlan.zhihu.com/p/454482273 transformer的sin位置编码本身已经包含了相对位置信息,本身就是一种包含相对信息的绝对位置编码。因为它符合一种形式: \[PE_{t+k}=f(k)\cdot
阅读全文
posted @ 2024-03-25 21:06 王冰冰
阅读(438)
评论(6)
推荐(1)
编辑
公告