会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
浪矢\n
博客园
首页
新随笔
联系
订阅
管理
2023年8月1日
AI-10 注意力机制
摘要: 10.1. 注意力提示 考虑一个相对简单的状况, 即只使用非自主性提示。 要想将选择偏向于感官输入, 则可以简单地使用参数化的全连接层, 甚至是非参数化的最大汇聚层或平均汇聚层。 在注意力机制的背景下,自主性提示被称为查询(query)。 给定任何查询,注意力机制通过注意力汇聚(attention
阅读全文
posted @ 2023-08-01 09:46 浪矢-CL
阅读(260)
评论(0)
推荐(0)
编辑
公告