摘要：
神经网络的权重初始化（ Weight Initialization for Deep NetworksVanishing / Exploding gradients） 理想的权重矩阵既不会增长过快，也不会太快下降到 0，从而训练出一个权重或梯度不会增长或消失过快的深度网络。 有一个神经元的情况 ： 阅读全文
摘要：
梯度消失/梯度爆炸（ Vanishing / Exploding gradients） 训练神经网络，尤其是深度神经所面临的一个问题就是梯度消失或梯度爆炸，也就是你训练神经网络的时候，导数或坡度有时会变得非常大，或者非常小，甚至于以指数方式变小，这加大了训练的难度。 假设你正在训练这样一个极深的神经 阅读全文