【转载】 【caffe转向pytorch】caffe的BN层+scale层=pytorch的BN层
原文地址:
https://blog.csdn.net/u011668104/article/details/81532592
---------------------------------------------------------------------------------------
caffe里面用BN层的时候通常后面接一下scale层,原因如下:
caffe 中为什么bn层要和scale层一起使用
这个问题首先你要理解batchnormal是做什么的。它其实做了两件事。
1)输入归一化 x_norm = (x-u)/std, 其中u和std是个累计计算的均值和方差。
2)y=alpha×x_norm + beta,对归一化后的x进行比例缩放和位移。其中alpha和beta是通过迭代学习的。
那么caffe中的bn层其实只做了第一件事。scale层做了第二件事。
这样你也就理解了scale层里为什么要设置bias_term=True,这个偏置就对应2)件事里的beta。
而在pytorch中,我们可以看一下代码注释说明
其中红框这部分,我们可以看一下这个公式是
本身同时完成两件事情。
因此,caffe的BN层+scale层 与 pytorch的BN层 等价
---------------------------------------------------------------------------------------------
本博客是博主个人学习时的一些记录,不保证是为原创,个别文章加入了转载的源地址,还有个别文章是汇总网上多份资料所成,在这之中也必有疏漏未加标注处,如有侵权请与博主联系。
如果未特殊标注则为原创,遵循 CC 4.0 BY-SA 版权协议。
posted on 2019-03-28 13:40 Angry_Panda 阅读(624) 评论(0) 编辑 收藏 举报