Attention 2015-今

现在attention的热度已经过去了，基本上所有的attention都是transformer的kqv形式的，甚至只要说道attention，默认就是transformer的attention。
为避免遗忘历史，我这里做一个小总结。繁杂的att我就不去了解了，只了解下经典的。

以下以$h_i$代表想要att聚合的各个向量，以$s_0$表示当前向量。

鼻祖Bahdanau Attention

2015，Bengio组。文章https://arxiv.org/pdf/1409.0473.pdf。

att的获得

${\alpha }_i=func(h_i,s_0)$.
$alpha$是att权重（加权平均的weight系数）。

att的使用

即加权平均：

$$h_{before}$$

$$h_{after}=\sum _{i\in N}{\alpha }_i\ast h_i$$

其中$N$为$h$的（可能包括自己的）邻域。

func的形式

也就是att系数的获得方式。

形式1

$$\alpha =v^{T}tanh(W_i{h}_i+U{s}_0)$$

其中$V$、$W$都是可学习参数.
可参考实现：https://github.com/mhauskn/pytorch_attention/blob/main/model.py

形式2

$\alpha =V\ast tanh(W\ast (h_i||s_0))$，

然后对各个$\alpha$ softamx即可。

出自视频：https://www.bilibili.com/video/BV1YA411G7Ep
可参考实现：https://github.com/lukysummer/Bahdanau-Attention-in-Pytorch/blob/master/Attention.py

形式3

$k=W_K\ast h_i$
$q=W_Q\ast s_0$
$\alpha =k^{T}q$
然后softmax。
其中$W_K$, $W_Q$是学习参数。

注：此Transformer模式本质上与此方式一致。
不同的是，Transformer直接把$h_i$和$s_0$直接变成了一个训练参数$V$，组成了$K,Q,V$三者。

参考

参考视频：https://www.bilibili.com/video/BV1YA411G7Ep