改进神经网络的学习方法
摘要：
防止输出层梯度饱和 1.sigmoid+交叉熵 均方误差做代价函数时，输出层反向传播的误差$$\delta ^{L} = (a-y)*{\sigma}'$$ 当sigmoid函数饱和时，即使a与y相差很大，传播误差也很小，造成前期训练速度很慢。 因此上一篇随笔中采用了交叉熵作为输出层代价函数。 2. 阅读全文
posted @ 2016-11-28 20:21 1357 阅读(776) 评论(0) 推荐(0) 编辑
