归一化和批归一化

归一化和批归一化

归一化

归一化： 使数据映射成均值为0，方差为1 的正态分布

类型

• min-max归一化： x' = (x -min) / (max - min)
• z-score归一化： x' = (x - μ) / σ μ是均值 σ是方差
• mean归一化: x' = (x -μ) / (max - min)

跟标准化有什么关系

小朋友是不是很有很多问号？ 标准化，归一化傻傻分不清楚。
很多博客，将上面这些数据的映射起来各种名字，搞得大家晕头转向。
这些不就是对数据做预处理嘛，搞这么复杂，分这么多名字干什么

有的人把standardization 翻译成标准化，实际上他就是z-score归一化
很多人嘴里说的 normalization 就是 min-max归一化。

都说归一化它不好记么，搞事情。 对初学者一点都不友好。

批归一化

批归一化： 根据归一化的思想，在网络中任意一层的输出上进行归一化处理，从而提高网络的效果。

作用

批归一化可以缓解梯度消失。
因为批归一化可以使每一层的输出变得更加规整，从而使导数的计算更加准确。

为什么有效

首先，这两个方法都是要对数据做映射。
数据对于模型的意义就像是奶粉之于婴儿，规整的数据能使模型收敛的更快，效果更好

如上图，每条线上的目标函数值是一样的。