RNN自学理解(一)
RNN对具有序列特性的数据非常有效,它能挖掘数据中的时序信息以及语义信息,利用了RNN的这种能力,使深度学习模型在解决语音识别、语言模型、机器翻译以及时序分析等NLP领域的问题时有所突破。
参考文献1:史上最详细循环神经网络讲解(RNN/LSTM/GRU) - 知乎 (zhihu.com)
序列特性就是符合时间顺序,逻辑顺序,或者其他顺序
一个简单的例子告诉我们序列(Sequence)是很重要的:
第一句话:I like eating apple!(我喜欢吃苹果!)
第二句话:The Apple is a great company!(苹果真是一家很棒的公司!)
我们都知道前一个apple是苹果,后一个apple是品牌,那我们是如何知道的呢,显然是通过前后文知道的。如此我们想要判断一个句子中词语的含义就不能只输入这个词语,而是要输入这个句子。\(X_i\)是我们真正的x,相应的在RNN
我们可以人为设计输出的序列,这也说明我们要明确自己需要的\(Y\)和\(X\)的对应关系
接下来我们来解析一下整个循环神经网络运行的流程:
接下来我们来解析一下整个循环神经网络计算过程: