第六节课-（第七节课）训练神经网络-2

 

 

 

 

2017-08-18

备注：1-5节课看的是2016年冬季的课程，6开始看的是2017春季的课程。因为按照2016的内容安排，第六节课在2017就是第七节课了。所以这里是从第七节课开始。

上次内容： 神经网络训练的第一部分内容，主要是激活函数的优缺点介绍，数据的预处理，包括PCA数据降维，数据的规范化；以及权重的初始化等等。

这次的主要内容是训练的第二个部分。

在有了初始化的模型之后，我们要做的就是参数的更新方法，也就是最优化算法，然后是数据正则化的集中策略，最后介绍了在数据量很小的时候，利用迁移学习来利用训练好的模型为己用。

一、优化算法

SGD：

 

主要的缺点一个是零梯度的问题，另一个是不同维度上的参数之间差别太大，更新的时候导致容易跑偏；

 

SGD + momentum

AdaGrad and RMSProp：

最后是效果最好的Adam方法：

二、正则化方法：

 

三、迁移学习