七月算法12月机器学习在线班---第二十次课笔记---深度学习--RNN
七月算法12月机器学习在线班---第二十次课笔记---深度学习--RNN
七月算法（julyedu.com）12月机器学习在线班学习笔记http://www.julyedu.com
1，循环神经网络
复习之前的知识点：
全连接前向网络： 学习出来的是函数
卷积网络：卷积操作，部分链接，共享操作，逐层提取原始图像的特征（语音，NLP）
学习出来的特征
局部相关性
浅层宽网络很难做成神经网络
1.1状态和模型
1, ID数据
·分类问题，回归问题，特征表达
2, 大部分数据都不满足ID
·大部分数据都不满ID
·序列分析(Tagging, Annotation)
·序列生成，如语言翻译，自动文本生成
·内容提取(Content Extraction)，如图像描)
需要将之前的状态加入当前层
1.2 序列样本
1，输入和输出的映射关系(序列的应用)
a, 一对一：普通的神经网络，不带循环
b. 一对多，看图说话
c. 多对一：情感判断
d: 多对多：语言翻译
e: 序列到序列 L/R/U/D
·RNN不仅仅能够处理序列输出，也能得到序列输出，这里序列指的是向量的序列。
. RNN学习出来的是程序，不是函数
1.3 序列预测
·输入的是时间变化向量序列：
. 在t时刻通过模型来估计：
·问题:
·对内部状态难以建模和观察
·对长时间范围的场景(Context)难以建模和观察
·解决方案: 引入内部隐含状态变量
内部的状态，对应的是位置
1.4 序列预测模型
·输入离散列序列
·在时间t的更新计算
上面两幅图等价， 上一次t-1时刻的的H和当前的当前的时刻，一同作用输出。
·预测计算
1,整个计算过程中，W保持不变
2,H在0时刻初始化
1.4 RNN训练(1)
1, 前向计算，相同的W矩阵需要乘以多次
2, 多步之前的输入X，会影响当前的输出
3, 在后向计算的时候，同样相同的矩阵也会乘以多次
1.4.1 B PTT算法一BackProp Through Time
1，RNN前向计算
2，计算W的偏导，需要把所有Time Step加起来, 每一步的损失函数一样
3， 应用链式规则
1.4.2 BPTT算法:计算实现
链式规则求目标，使用向量的微分
计算目标是求和，
序列要是16的话，W转置要乘以16次，产生一个爆炸现象，按时间展开，容易发生，出现了连乘，，普通的网络，W有大有小，梯度消失，不会很严重，每一层的W都不一样
BPTT算法 梯度vanishing/ exploding现象分析
1.4.3 BPTT算法的解决的方案
1, clipping
2, W初始化为1，将激活函数使用Relu替换成Tanh
2 LSTM (Long Short Term Memory) Cell 长时间记忆能力
通过结构的方法解决，梯度离散和梯度爆炸的现象，避免了一个W从头到尾连乘，具备了一定的常识记忆的能力
应用最为广泛、成功的RNN
2.1 cell state (单元状态)
1, 可以长期保存某个状态, cell state值通过forget gat(图中的乘)控制实现保留多少"老"的状态，
2, Layer把输入维度X变成输出维度h
2.2 Forget /input unit
值域是[0，1]，b是偏移量
2.3 Update cell
2.4 output
下图为总结，四个矩阵Wf ,Wi,Wc,Wo
