189 自注意力机制

假设现在有一个句子：Jane visited Afica last September.
那么到底是将Afica当做一个大洲处理还是当做一个度假胜地处理呢？这个是要就要去考察上下文了。普通的RNN是没办法考虑下文的，双向RNN又只能一个词一个词的计算，而自注意力机制就可以并行计算，如下

自注意力要计算每一个词元的注意力值，我们记第$i$个词的注意力值为$A^{⟨i⟩}$；为了计算$A^{⟨i⟩}$，我们需要将每个词元与三个向量连接起来，这三个向量分别是查询$q^{⟨i⟩}$，键$k^{⟨i⟩}$和值$v^{⟨i⟩}$；我们设置三个可学习的参数$W^Q，W^K$和$W^V$，设词元的词嵌入表示为$x^{⟨i⟩}$，那么有$q^{⟨i⟩}=W^Q{x}^{⟨i⟩},k^{⟨i⟩}=W^K{x}^{⟨i⟩},v^{⟨i⟩}=W^V{x}^{⟨i⟩}$
查询和键的作用就是用来计算各个权重的，如下

假设我们现在要推测Afica到底是什么，那么无疑visited这个词的作用非常大，所以我们就可以发现第二个权重的值比其他值大得多（这样就方便在后续让visit这个词的值占很大比例）
然后再$\text{Softmax}$后乘以值，如下

最后相加就可以得出注意力值
自注意力机制就让Afica不再是固定的词嵌入表示，而有了更灵活的操作方法
将所有词元的计算过程合并在一起，写成矩阵如下