摘要：
http://blog.csdn.net/luzonghao1/article/details/50998622 导读：这是《神经网络和深度学习简史》第二部分，这一部分我们会了解BP算法发展之后一些取得迅猛发展的研究，稍后我们会看到深度学习的关键性基础。还没有看过第一部分的读者可以 戳这里 。（←点 阅读全文
摘要：
神经网络和深度学习简史（一） “深度学习这一朵浪花在计算机语言学的海上已经被研究了多年，但2015年似乎有一股海啸般的力量把自然语言处理（NLP）推到了世人面前” Dr. Christopher D. Manning, Dec 2015 [1] 科研某一个领域的所有已知方法被一种突如其来新发现而完全 阅读全文
摘要：
递归神经网络引入了时序的反馈机制，在语音、音乐等时序信号的分析上有重要的意义。 Hochreiter(应该是Schmidhuber的弟子)在1991年分析了bptt带来的梯度爆炸和消失问题，给学习算法带来了梯度 震荡和学习困难等问题； Hochreater和Schmidhuber在1997年提出了L 阅读全文
摘要：
（1）梯度不稳定问题： 什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。 原因：前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸。 （2）梯度消失（vanishing gradient prob 阅读全文
摘要：
作者：维吉特伯链接：https://www.zhihu.com/question/49812013/answer/148825073来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 简单地说，根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话（ 阅读全文
摘要：
随着神经网络层数的增加，会出现梯度消失或者梯度爆炸的问题，下面细说下问什么会出现： 起初的学习率固定。 下面来看几组通过增加隐藏层层数后的学习率变化图： 阅读全文
摘要：
http://www.jianshu.com/p/f3bde26febed/ 这篇是 The Unreasonable Effectiveness of Recurrent Neural Networks（by Andrej Karpathy，Stanford的Li Fei-Fei的博士生。文章介绍 阅读全文