RNN学习

# 写于文前：本文内容参考《keras深度学习实战》（安东尼奥.古利著）

一、RNN概述

1、定义

RNN（recurrent neural network）： 利用了输入数据的序列化特性的神经网络。

序列化输入可以是文本、语音、时间序列或任意其元素的出现依赖于它之前元素的序列。

例如，句子“the dog ......”中的下一个词更可能是barks而非 car。

2、应用

语音识别、语言建模、机器翻译、情感分析、图片说明等。

二、SimpleRNN

RNN单元用隐藏状态或记忆引入这种依赖，以保存当前的关键信息。

任一时刻的隐藏状态值是前一时间步中隐藏状态值和当前时间步中输入值的函数，即： h_t   =  φ（h_t-1,  x_t）.