注意力机制模型（类型，分类）
「注意力机制」更像是一种方法论。没有严格的数学定义，而是根据具体任务目标，对关注的方向和加权模型进行调整。
简单的理解就是，在神经网络的隐藏层，增加「注意力机制」的加权，使不符合注意力模型的内容弱化或者遗忘。
从Attention的作用角度出发，我们就可以从两个角度来分类Attention种类：Spatial Attention 空间注意力和Temporal Attention 时间注意力。
更具实际的应用，也可以将Attention分为Soft Attention和Hard Attention。
Soft Attention是所有的数据都会注意，都会计算出相应的注意力权值，不会设置筛选条件。
Hard Attention会在生成注意力权重后筛选掉一部分不符合条件的注意力，让它的注意力权值为0，即可以理解为不再注意这些不符合条件的部分。
注意力模型的分类
按注意力的可微性，可分为：
- Hard-Attention，就是0/1问题，某个区域要么被关注，要么不关注，这是一个不可微的注意力；
- Soft-Attention，[0,1]间连续分布问题，用0到1的不同分值表示每个区域被关注的程度高低，这是一个可微的注意力。
按注意力的关注域，可分为：
- 空间域(spatial domain)
- 通道域(channel domain)
- 层域(layer domain)
- 混合域(mixed domain)
- 时间域(time domain)
ref
https://blog.csdn.net/weixin_43485035/article/details/110530017
https://my.oschina.net/u/876354/blog/3061863
https://www.zhihu.com/question/304499365/answer/551952825
