RNN最适合的领域是自然语言处理。
只要能走通的路,梯度就要传播下去。
链太长了,可能存在梯度消失情况。
并非所有输的信息都影响后面的信息,让网络有选择的忘记一些信息,或者说,有选择地利用一部分信息就可以了。
因此,对递归神经网络进行升级就很有必要了。