self-attention&Transformer

参考链接：https://zhuanlan.zhihu.com/p/47282410

在attention机制中有三种向量：Value vector（V，值向量），Key vector（K，键值向量），Query vector（Q，问题向量），self-attention中V和Q相同，都是自身，即建立输入的序列中每个元素和其他元素的关系（长度均为1），获得全局信息（Q、K、V来自于同一个目标）。在问答系统中，则Q来自于Question，V表示上下文，上下文的K和Q相乘再映射到V上进行解码（K、V来自于上下文，Q来自于question，不是来自于同一个目标）