那抹阳光1994

摘要： Andrej Karpathy blog 转自：http://karpathy.github.io/2015/05/21/rnn-effectiveness/ Karpathy 关于RNN的博客 The Unreasonable Effectiveness of Recurrent Neural N 阅读全文

摘要： 传统的Feedforward和CNN只能做到向量到向量的 one-to-one mapping RNN可以做到序列到序列的映射 sequence-to-sequence mapping 因此，采用RNN处理序列数据具有很好的灵活性。 传统的NN 图像标注（一到多） 情感分析（多到一） 机器翻译（多到 阅读全文

摘要： ▌短时记忆 RNN 会受到短时记忆的影响。如果一条序列足够长，那它们将很难将信息从较早的时间步传送到后面的时间步。 因此，如果你正在尝试处理一段文本进行预测，RNN 可能从一开始就会遗漏重要信息。 在反向传播期间，RNN 会面临梯度消失的问题。 梯度是用于更新神经网络的权重值，消失的梯度问题是当梯度 阅读全文