【机器学习与深度学习理论要点】25.什么是归一化，为什么要进行归一化？

目录

1）归一化是指归纳同意样本的统计分布性，归一化在0-1之间是统计概率分布，归一化在-1----+1之间是统计的坐标分布。

2）归一化处理的目的

• 为了后面数据处理方便，归一化可以避免一些不必要的数值问题。
• 为了程序运行时收敛加快。
• 统一量纲。样本数据的评价标准不一样，需要对其量纲化，统一评价标准。

3）什么是批量归一化，其优点是什么？

批量归一化是指在神经网络中间层也进行归一化处理，使训练效果更好的得到更好

优点：

• 减少了人为选择性参数。在某些情况下可以取消dropout和L2正则项参数，或者采取更小的L2正则项约束参数
• 减少了对学习率的要求。可以使用初始很大的学习率或者选择了较小的学习率，算法也能够快速训练收敛
• 可以不再使用局部影响归一化
• 破坏原来数据分布，一定程度上缓解过拟合
• 减少梯度消失，加快收敛速度，提高训练精度

作者：野哥李
微信公众号：AI算法学习社
欢迎任何形式的转载，但请务必注明出处。
限于本人水平，如果文章和代码有表述不当之处，还请不吝赐教。
本文章不做任何商业用途，仅作为自学所用，文章后面会有参考链接，我可能会复制原作者的话，如果介意，我会修改或者删除。