摘要：
使用注意力机制的seq2seq attention机制是在RNN中经常被使用到的一个机制。 对于attention这样一个机制，为什么会出现呢？主要就是我们采用传统的encoder-decoder来搭建RNN模型的时候，通常会存在一些问题。 问题一：无论输入的序列有多长，都会被编码成一个固定的向量表 阅读全文
摘要：
想做深度学习研究的从这讲开始看就行了说实话... 注意力机制 随意：跟随意志 注意力机制是没有心理学背景的，但是可以从心理学的角度进行解释。 卷积、全连接、池化层都只考虑不随意线索 就像是池化也只是把其中最大那一块提取出来，其实也不知道要干什么，就看过去。 注意力机制则显示的对随意线索进行建模（主动 阅读全文
摘要：
注意力分数 刚刚的注意力权重，如何设计使得和我们现在的东西比较相像？里面一个东西叫做注意力分数。 可以看看之前的使用过了高斯核的注意力。 上图有一堆key-value pair（训练时候的x和y），输入一个query（推理时候的x），然后query和每一个key做一个计算，得到一个注意力分数a，然后 阅读全文