2023年8月1日
AI-10 注意力机制
摘要： 10.1. 注意力提示 考虑一个相对简单的状况， 即只使用非自主性提示。 要想将选择偏向于感官输入， 则可以简单地使用参数化的全连接层， 甚至是非参数化的最大汇聚层或平均汇聚层。 在注意力机制的背景下，自主性提示被称为查询（query）。 给定任何查询，注意力机制通过注意力汇聚（attention 阅读全文
posted @ 2023-08-01 09:46 浪矢-CL 阅读(304) 评论(0) 推荐(0) 编辑