SENet



\(\bf F_{tr}\) 为标准卷积操作
\(\bf F_{sq}\) 为 Global Average Pooling
\(\bf F_{ex}\) 为两层全连接网络(可以看做两个1×1卷积操作, 先降维, 后升维), 生成向量 \(\bf s\), 为对之前每一层进行重标定的系数

\[\bf{s} = F_{ex}(z, W)=\rm{Sigmoid} \left(W_2 \cdot ReLU(W_1z) \right) \]

\(\bf F_{scale} = u·s\)

下面通过 SE-Inception 模块具体了解