自注意力机制self-attention

 

self-attention步骤：

 

（1）得到Q、K、V    

 

 

 

扩展到多头注意力机制：

 

 

 self-attention存在缺点：缺少位置信息

为每一个输入设置一个positional vector ei