吴恩达深度学习第五课-序列模型

视频

第一周 循环序列模型

1.1 为什么选择序列模型

1.2 数学符号

1.3 循环神经网络

• 不能使用标准网络
  
• 0时刻的伪激活值
• 只有前一个单词的信息
  
  

1.4 通过时间的方向传播

• 交叉熵损失函数
  

1.5 不同类型的循环神经网络

1.6 语言模型和序列生成

• 条件概率相乘得到整个句子概率
  

1.7 对新序列的采样

• 看看模型学到了什么，随机生成一个句子
  

1.8 带有神经网络的梯度消失

• RNN不适合处理长期依赖问题
• 深层神经网络的问题:梯度消失与梯度爆炸
  

1.9 GRU单元

• 解决梯度消失问题
  RNN Unit
  
  
  

1.10 长短期记忆LSTM

1.11 双向神经网络

1.12 深层循环神经网络