梯度归一化简介

梯度归一化是一种解决深度神经网络中梯度消失/爆炸问题的技术。梯度消失/爆炸是指当神经网络比较深时，梯度的大小可能变得非常小或非常大，从而导致学习率变慢或者无法学习。

梯度归一化是通过限制权重更新的最大步长来解决这个问题的。具体而言，当更新权重时，梯度归一化会将梯度的大小限制在一个合理的范围内，从而保证学习的稳定性。

梯度归一化可以使用许多不同的方法实现，例如累积梯度，梯度剪枝等。总体而言，梯度归一化可以有效地改善深度神经网络的学习效果，因此在训练深度神经网络时是一个很有用的技术。