摘要：
背景 了解深度学习中的梯度爆炸与消失的原因，及如何处理梯度爆炸与消失。 梯度消失 梯度消失是激活函数和权重矩阵初始化值，这两个因素决定的。 sigmoid函数，求导的最大值为0.25 根据链式求导法则：导数小于0.25，如果初始化的W值，再小于1，这样逐个相乘后，会导致偏差为0，最终导致网路中的参数 阅读全文
摘要：
所有代码折叠： ctrl + shift + - 所有代码展开：ctrl + shift + + 折叠某一点：ctrl + - 展开某一层：ctrl + + 阅读全文