transformer

用decoder的输入做Query（y_i），用encoder的输出去做key和value(X)

1. 引入

抛弃RNN，只用attention

2. Transformer ：Attention is All You Need

你不需要RNN，你只需要attention就可以参数化语言模型
还是有encoder+decoder（基于self-Attention）

3. Self-Attention

Softmax、加权平均（见上图）

Self-attention得到什么，能有什么好处：不用额外引入变量
在nlp中的缺点：x的位置改变的时候，会带来顺序问题（后续在引入self-attention的到transformer的时候，会引入位置编码）（可以尝试拼接加上自己x的向量，但是输出的y会变长，在cuda中计算也会更加困难）

3.1 尝试区分Query Key Value

在不同的模型中query、key、value可能相同可能不同

先做线性变换，再做self-attention

3.2 transformer 中的trick：Scaling the Dot Attention

求q、k、v的w_{ij}的时候用的softmax，softmax很大就会很敏感（梯度消失），解决办法：

4. Multi-Head Attention

把输入的向量分为多个头（等长的几份）

5. Position Embedding（后面也会有改进）

为什么要做position Embedding呢？
因为在做self-attention的时候，顺序是无关的，因此加多一个position

6. Transformer

Self-attention == multi-head Self-attention
Norm = 正则化
MLP：单层神经网络（relu激活）
蓝色：残差连接（训练更快+更稳定<--阻止梯度消失）

7. Application

Mark：加权平均的时候不带入后面的数据x进行计算attention（防止偷窥）

https://lilianweng.github.io/lil-log/2018/06/24/attention-attention.html