梯度消失和爆炸，RNN，LSTM

一句话总结为什么RNN会梯度消失和LSTM为什么可以防止梯度消失：RNN会梯度消失是因为后一个状态对前一个状态的梯度连乘。在LSTM中，后一个cell对前一个cell的导数结果可以由几个门控制，这几个门的值是可学习的，网络可以自适应的学习相应的值，控制梯度消失或不消失。

=========================================================================

目录

一. 全连接网络的梯度消失与爆炸问题

二. 普通RNN网络是梯度消失和梯度爆炸问题

三. 为什么LSTM能解决梯度问题？

=========================================================================

一. 全连接网络的梯度消失与爆炸问题                                       

(本小节摘自知乎：https://zhuanlan.zhihu.com/p/44163528)

 

二. 普通RNN网络的梯度消失和梯度爆炸问题                                          

(本小节摘自知乎：https://zhuanlan.zhihu.com/p/44163528)

 

三. 为什么LSTM能解决梯度问题？                                                 

(本小节摘自：https://weberna.github.io/blog/2017/11/15/LSTM-Vanishing-Gradients.html)