RNN循环神经网络

　　看这个https://zhuanlan.zhihu.com/p/30844905

　　

　　循环神经网络诞生的原因，就是神经网络的输入不是分散的，可能输入之间也有联系。

　　主要算法流程如下图：

 

 　　解释一下。

　　输入层x，数据被输入层权值矩阵U处理过后，输入到了隐藏层中。

　　隐藏层的输出为S，但是S不是整个RNN网络最终的输出O。最终的输出O是隐藏层输出S和隐藏层输出权值矩阵V共同作用之后的结果。

　　但是隐藏层的输出S也不是输入层单独作用的结果，而是隐藏层有一个额外的权值矩阵W。隐藏层的输出S是 （X和U），（上一个S和W），这两者综合作用结果。

　　

 

 

　　加上这张图就很形象了。上一次输入Xt-1执行的结果会影响到下一次输入Xt的执行。