2024年9月23日
自注意力机制(2)-多头自注意层
摘要： 多头自注意层 上一篇描述了单头多注意层，但在实际应用中，通常使用的是多头自注意层，多头自注意层是由多个单头的组合。 1. 数学形式 输入：\(X=\{x_1, x_2,...,x_m\}\)，\(x_i\)是\(d_{in}\times1\)的向量。 参数：每个单头自注意层都有三个参数矩阵，\(W_ 阅读全文
posted @ 2024-09-23 17:23 吃瓜的哲学 阅读(51) 评论(0) 推荐(0) 编辑