2023年6月16日
transformer 和conformer的attention原理学习-课程笔记
摘要： 1. attention层计算过程： 相似度函数fatt计算输入X和查询向量q之间的相似度e； 相似度e经过softmax计算得到权重 a。 向量e和a的长度与输入X的第一个维度相同。 权重a与输入X相乘，得到输出y。 相似度计算可使用 点积dot prodecut，由于输入X的维度通常较高，q.X 阅读全文
posted @ 2023-06-16 17:27 wieneralan 阅读(72) 评论(0) 推荐(0) 编辑