2018年12月25日
深度学习中的激活函数
摘要： 一、梯度消失与梯度爆炸 1、在DNN学习（二）反向传播中，观察公式三（3），为了求隐藏层参数的其中一步。根据链式法则，有 重新复习一下，J为损失函数。o为神经元的值，也是输入通过激励函数之后的值，z为上一层的神经元的线性变换的值。 2、那么下面上面式子中的这一步就是对激励函数的求导： 3、如果隐藏层 阅读全文
posted @ 2018-12-25 11:50 ylxn 阅读(830) 评论(0) 推荐(0) 编辑