【机器学习与深度学习理论要点】25.什么是归一化，为什么要进行归一化？

1）归一化是指归纳同意样本的统计分布性，归一化在0-1之间是统计概率分布，归一化在-1----+1之间是统计的坐标分布。

2）归一化处理的目的

• 为了后面数据处理方便，归一化可以避免一些不必要的数值问题。
• 为了程序运行时收敛加快。
• 统一量纲。样本数据的评价标准不一样，需要对其量纲化，统一评价标准。

3）什么是批量归一化，其优点是什么？

批量归一化是指在神经网络中间层也进行归一化处理，使训练效果更好的得到更好

优点：

• 减少了人为选择性参数。在某些情况下可以取消dropout和L2正则项参数，或者采取更小的L2正则项约束参数
• 减少了对学习率的要求。可以使用初始很大的学习率或者选择了较小的学习率，算法也能够快速训练收敛
• 可以不再使用局部影响归一化
• 破坏原来数据分布，一定程度上缓解过拟合
• 减少梯度消失，加快收敛速度，提高训练精度