2019年4月22日
从attention到self-attention
摘要： attention的本质 通过计算Query和一组Key的相似度（或者叫相关性/注意力分布），来给一组Value赋上权重，一般地还会求出这一组Value的加权和。 一个典型的soft attention如下公式所示： 先用Query求出分别和一组Key计算相似度，计算相似度的方法有很多种，常用的有点 阅读全文
posted @ 2019-04-22 16:14 sbj123456789 阅读(3357) 评论(0) 推荐(0) 编辑