摘要： 在训练rnn模型时,很可能会遇到一段时间后,无论怎么训练,损失函数都不变化的情况.仿佛时间静止了一样.这时候很可能是大多数参数都不变了.也就是遇到了梯度消失的问题. 原理 令 $$ \begin{equation } \sigma(x)=\frac{1}{1+e^{ x}} \end{equatio 阅读全文