一、为什么选循环神经网络

  传统神经网络,不能解决序列问题,即输入和输出不等长的序列,并且传统神经网络针对的样本间是独立的。

  二、循环神经网络

 

 

  如上图所示,循环神经网络工作过程,X为输入序列,a为输出状态,y为输出序列,循环神经网络能解决输入样本不独立的问题,因为循环神经网络有记忆功能,每次输出会有a这个状态,a会作为下一层神经网络的输入,由此,便实现了循环神经网络的记忆功能。

  

  

  RNN存在梯度消失问题