Soft & Hard Attention

2019-10-24 20:18:43

问题描述：Soft Attention和Hard Attention的区别是什么。

问题求解：

Soft Attention是通常使用的Attention机制，其选择的信息是所有输入信息在注意力分布下的期望。

Hard Attention是只关注到某一个位置上的信息。硬性注意力有两种实现方式：（1）一种是选取最高概率的输入信息；（2）另一种硬性注意力可以通过在注意力分布式上随机采样的方式实现。

硬性注意力模型的缺点：基于最大采样或随机采样的方式来选择信息。因此最终的损失函数与注意力分布之间的函数关系不可导，因此无法使用在反向传播算法进行训练。为了使用反向传播算法，一般使用软性注意力来代替硬性注意力。硬性注意力需要通过强化学习来进行训练。