CNN-批归一化 BN batch normalization

1.批归一化的作用

参看权值初始化那篇的内容，批归一化的主要意图和权值初始化是一样的，是要解决梯度的前向传播和反向传播过程中，梯度弥散，梯度消失的问题

2.批归一化的流程

这里注意一点，BN层一般放在激活层前面

3.算法流程

算法比较简单，解决问题的主要宗旨和权重初始化一样，尽量能勾勒出一个0均值，1方差的分布
BN算法也就是直接对输出值进行归一化操作，很简单
注意点，并不是普通的归一化就完了，有两个学习参数$\gamma,\beta$,起到了平移，缩放的效果
老师两个问题的的回答
回答1:根据对分类的贡献自行决定数据分布的均值和方差
回答2:来自于训练中,累加训练时每个批次的均值和方差,最后进行平均,用平均后的结果作为预测时的均值和方差

4.pytorch实现