随笔分类 -  DL---深度学习

摘要：NIPS2018的一篇文章，探究Batch Normalization起作用的背后原因。作者的结论是BN对缓解ICS问题作用非常微弱，BN的作用在于使得优化过程的landscape更光滑，其他的一些归一化方法也可以达到这样的效果。 Batch Normalization通过增加额外的层，控制层输入的 阅读全文

摘要：CNN的一个问题是他不具备空间不变性。所谓空间不变性就是对input进行shift变换，得到的结果也是经过了相同shift变换的。某个可以识别出某个特征的filter，如果input放大实际上这个filter是无法识别出这个特征的。CNN网络可以识别出放大后的某个类别仅仅是因为训练集数据中包含了放大 阅读全文

摘要：提出了利用channel信息的SE(squeeze and excitation)模块，可以很大程度地提升表现而增加极少的计算消耗。 SE block 输入$X$经过了卷积操作$F_{tr}$后得到了特征图$U$。$u_c=v_c*X=\sum_{s=1}^{C'}v_c^s*x^s$，特征图中的值 阅读全文