2024年1月2日
神经网络优化篇：详解梯度消失/梯度爆炸（Vanishing / Exploding gradients）
摘要： 梯度消失/梯度爆炸 训练神经网络，尤其是深度神经所面临的一个问题就是梯度消失或梯度爆炸，也就是训练神经网络的时候，导数或坡度有时会变得非常大，或者非常小，甚至于以指数方式变小，这加大了训练的难度。 接下来，将会了解梯度消失或梯度爆炸的真正含义，以及如何更明智地选择随机初始化权重，从而避免这个问题。 阅读全文
posted @ 2024-01-02 09:57 Oten 阅读(226) 评论(0) 推荐(0) 编辑