为什么需要做归一化或者标准化

为什么需要做归一化或者标准化

一句话解释就是为了让我们求解loss最低值的过程中更加的平稳和缓,容易收敛。
具体解释可以看这里:
特征工程中的「归一化」有什么作用? - 忆臻的回答 - 知乎
https://www.zhihu.com/question/20455227/answer/197897298

用我自己的话总结就是:损失函数对某个权重求梯度的时候,会用到这个权重之前的变量,如果这个白能量过大,会导致梯度过大,也就是这个权重在收敛的过程中每次变化量会很大,就不容易收敛。

这就要求我们在收敛过程中使用不同的学习率,对于梯度变化多大的使用小一点的学习率,梯度变化大的方向使用大一点的学习率,这就比较麻烦了。

posted @ 2019-06-04 11:56  DUDUDA  阅读(1234)  评论(0编辑  收藏  举报