attention 门 cat add caption field

attention就是一个门，sigmoid是if elif 几很多门，能进去的也有很多门，而softmax类似于switch　 for，即很多门里面只能进入一个门

决定通路与闭路，一张图片１０＊１０，可能关注的点就是中间的一部分和左下角的一部分，那么中间的一部分就是通路，sigmoid输出尽量为１，左下角也是sigmoid为１，其余都是０，所以不会通过，这也就是热力图。

具体得到这个featuremap无所谓，但是最后要么sigmoid,要么softmax

attention就是一个门，但是得到这个门，可以有多种方式，也可以有多种形态，比如这个门最简单就是可以是一个列向量，然后与一个列向量相乘，也可以是一个featuremap,前提是只有一个值，也可以是类似senet,即每个channel认为是门，即有些channel认为是通路，有些认为是闭路，反正就是一个加权的东西，然后与原来的进行加权和。 

 

 

cat add 是针对不同感受野的问题，可能针对检测或者多任务分类，最后是针对不同大小的物体进行输出，所以，

越往后感受野越大，也就是感受区域大，小的可能关注不了