2018年10月16日
深度学习基础系列（六）| 权重初始化的选择
摘要： 深层网络需要一个优良的权重初始化方案，目的是降低发生梯度爆炸和梯度消失的风险。先解释下梯度爆炸和梯度消失的原因，假设我们有如下前向传播路径： a1 = w1x + b1 z1 = σ(a1) a2 = w2z1 + b2 z2 = σ(a2) ... an = wnzn-1 + bn zn = σ( 阅读全文
posted @ 2018-10-16 11:54 可可心心 阅读(6975) 评论(3) 推荐(0) 编辑