self-attention Transformer

1. 首先我们的目标函数是 最大似然估计，需要计算的是P（Y|X），即为给定vector x 的情况下，输出vector为Y的概率

　　1） 根据下图公式，我们可以看出，例如输入为 'we'，输出为汉字的情况下，我们需要穷举计算所有汉字计算分母，是不可能的

　　2）所以将其优化为RNN的概率连乘

 

 

 

2. 最简单的self-attention

　　1）在之前的seq2seq中的attention机制，我们是用Xi乘以querySj，得到Wij，再softmax得到权重Wi的，再用权重Wi点乘Xi再相加的

　　　　那么这里面的 Query : Sj  Key: Xi  Value: Xi

　　2） 在self-attention中

　　　　1- 不再使用seq2seq中的RNN（时序）结构，允许并行计算

　　　　2- Query从Sj变为Xi，将Query Key Value三者全变成Xi

 

 

 

 

 

3.  带参数的self-attention

　　1）高阶self-attention，由于Query , Key , Value 都是Xi，可以将其做线性变换进行区分

　　2）在做softmax时，可以除以根号下dk，来减少softmax对极大值的敏感

 

 

 

 

 

 

 

 

 

4. multi-head attention , 这边就讲的不清楚了

　　1） 对输入序列Xi，将其维度等分成dk（自定义参数）份，对于每份都计算其self-attention的输出，再拼接起来

　　2） 比如X为三维输入 （123，212，432），然后对每维度单独多维映射成query,key,value再计算其输出，最后拼接起来。

 

 

 

 

 

 

5. Transformer 细节也讲的不清楚