Normalization的作用,LN,BN,WN
一般使用bn的话,对于模型的初始化要求没那么高,但是最终的结果可能没那么好。
1.原始数据需要whitening的原因:
让数据尽可能的保持独立同分布。
1.数据已经正则了为什么还需要各种Normalization
深层训练困难因为数据在过了某些层之后,如果不进行正则的话,每一层更新后上层参数获得的输入分布会再一次变化,高层的数据分布变化的会很厉害,所以参数更新策略很重要。如果每一层的结果都能够进行normalization的话分布相对统一,可以避免每层接收分布不同产生的影响。