2017年9月5日
梯度弥散与梯度爆炸
摘要： 问题描述 先来看看问题描述。 当我们使用sigmoid funciton 作为激活函数时，随着神经网络hidden layer层数的增加，训练误差反而加大了，如上图所示。 下面以2层隐藏层神经网络为例，进行说明。 结点中的柱状图表示每个神经元参数的更新速率(梯度)大小，有图中可以看出，layer2整 阅读全文
posted @ 2017-09-05 11:30 Peter-Young 阅读(40342) 评论(1) 推荐(4) 编辑