有趣的机器学习视频-第二章.人工神经网络

2.2 什么是神经网络
RNN
LSTM RNN
2.6 自编码autocoder
2.7 GAN
2.8
2.10 站在巨人的肩膀上，迁移学习

TOC

2.2 什么是神经网络

长宽减少，高度增加

常见结构：

RNN

解决输入数据之间有前后关联的——记住之前发生的东西

RNN有很多形式
应用：描述照片，翻译，作曲等等

LSTM RNN

长短期记忆
传统的RNN的弊端：梯度消失或者梯度爆炸

LSTM：多了三个控制器：输入控制器（判断输入的重要性）；输出控制器（）；忘记控制器

2.6 自编码autocoder

可以像pca一样降维

2.7 GAN

随机数来生成有意义的作品

2.8

神经网络可以看做是一个黑盒
但是其实黑盒里面就是对输入的不断抽象，可以看做是一个新的输入的表示

## 2.9 神经网络：梯度下降
梯度下降来自优化问题
但是有可能陷入局部最优

2.10 站在巨人的肩膀上，迁移学习

借鉴已有的资源，不是所有人都有大量的计算资源
借鉴已经训练的神经网络
替换最后一层，前面的神经层不再训练
不是所有时候都要用到迁移学习，如果神经网络简单，就不需要迁移学习，不然反而可能会造成一定的干扰