吴恩达深度学习第五课-序列模型
第一周 循环序列模型
1.1 为什么选择序列模型
1.2 数学符号
1.3 循环神经网络
- 不能使用标准网络
- 0时刻的伪激活值
- 只有前一个单词的信息
1.4 通过时间的方向传播
- 交叉熵损失函数
1.5 不同类型的循环神经网络
1.6 语言模型和序列生成
- 条件概率相乘得到整个句子概率
1.7 对新序列的采样
- 看看模型学到了什么，随机生成一个句子
1.8 带有神经网络的梯度消失
- RNN不适合处理长期依赖问题
- 深层神经网络的问题:梯度消失与梯度爆炸
1.9 GRU单元
- 解决梯度消失问题
RNN Unit
1.10 长短期记忆LSTM
1.11 双向神经网络
1.12 深层循环神经网络
