批量正则化(Batch Normalization)
论文:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
论文地址:http://arxiv.org/abs/1502.03167
简介:
Batch Normalization作为近年来deep learning的重要成果,已经广泛被证明其有效性和重要性。
机器学习领域有个很重要的假设:
独立同分布假设,就是假设训练数据和测试数据是满足相同分布的。这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。那BN的作用是什么呢?
BN就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。
解决的问题:随着网络深度加深,训练起来越困难,收敛越来越慢?