摘要：
1：nn.LSTM [注]h_size=c_size 2：nn.LSTMCell 阅读全文
摘要：
1：LSTM记忆单元 2:LSTM记忆单元的3道门 （2.1）遗忘门 [注]f_t是遗忘门（可以理解为记忆单元的保留门）的开度由于经过了sigmoid函数取值在[0,1]之间。σ为sigmoid函数 【注】为记忆单元（注：记忆单元不再是h_t） (2.2)输入门 【注】i_t为输入门的开度，取值在【 阅读全文
摘要：
1：RNN训练难题：梯度爆炸以及梯度弥散 （1.1）原因 [注]由于W**k的存在导致梯度出现爆炸或者弥散 2：解决办法 （2.1）梯度爆炸的解决办法：梯度压缩 [注]可以通过对w的梯度进行压缩：(w.grad/||w.gard||)*threashold解决梯度爆炸的问题 【注】norm()函数可 阅读全文