CS231n 2016 通关 第五章 Training NN Part1

在上一次总结中，总结了NN的基本结构。

接下来的几次课，对一些具体细节进行讲解。

比如激活函数、参数初始化、参数更新等等。

=========================================================================================

首先，课程做 一个小插曲：

　　经常使用已经训练好的模型》》Finetune network

　　具体例子：

　　

　　　　使用现成模型，修改部分层，使用现成的参数做初始参数。

　　以caffe为例，其提供了很多现成的模型：

　　　　https://github.com/BVLC/caffe/wiki/Model-Zoo

　　使用Finetune 主要是计算资源有限。

其次是上节课主要内容的简单回顾：　　

　　概括了NN的主要流程： 得到数据 ---》前向传播 ---》反向传播 ---》更新参数

另外便是链式法则：

　　实例：

 

NN的结构特点：

　　加入非线性：

　　与神经系统比较：

　　多层NN结构：

　　注意： 有些资料把输入层也算在NN的层数里。

=========================================================================================

本章的内容如下：

一些历史回顾

　　简单的字母识别系统：

　　当时就使用了伪梯度下降。其实不是严格可导。

　　之后形成了网络结构，并使用电路实现：

　　进一步形成了多层网络：

　　反向传播算法开始流行起来。

　　Deep Learning ：

　　使用了非监督学习进行预处理，然后将得到的结果放到back propagation中。如今不需要这样做了。

　　技术革新：

　　2012年的图像分类结果最优。从此DL火起来了。

技术内容总览：

=========================================================================================

1、激活函数

　　激活函数的作用：

　　常用激活函数：

　　Sigmoid：特点以及缺陷

　　　　

　　比较左侧s输入值与经过f后的输出值，会导致梯度消失、数值溢出。

　　　　

　　当输入为正时，偏导均为正或均为负。　

　　tanh:

　　

　　仍然会有梯度消失的后果。

　　ReLU （Rectified Linear Unit）：

 

　　其不会有溢出，计算更快。当x<0时，梯度为0.

　　缺点：出现死亡状态。

　　

　　为负值输入时，不能更新参数。一般是学习率过高导致。另外使用合适的初始化，比如加入小的bias。

　　Leaky ReLU :解决负值不能更新参数。

　　ELU：

　　Maxout：

　　总结：

=========================================================================================

2、数据预处理

　　减均值与规则化：

　　减去均值，使得数据以0点为中心。规则化使得数据范围变成-1到1之间。

　　PCA 与 Whitening　　

　　

　　PCA能将数据降为表示。白化降低数据的相关性。

　　具体的细节可以参考课程配套笔记。

　　效果比较：

　　实践经验：在图像处理中减均值用的较多，归一化也比会使用。

=========================================================================================

3、权重参数初始化

　　问题：

　　方案一：

　　可能导致的结果：

　　可能由于scale太小造成，使得后面隐藏层的输入变为了0。改进：

　　方案二：　　

　　方案三：

　　一些参考：具体的细节需要分析论文。

=========================================================================================

4、Batch Normalization

　　结构：　　　

　　　　

　　在全连接或者卷积层后、在非线性激活函数之前使用。

　　可以参考此博文进行了解。

　　计算细节：

　　

　　BN的优点： 可使用高的学习率更快收敛。dropout与正则化需求降低。

　　训练阶段与测试阶段不同的处理：

　　主要均值与方差的计算。测试阶段不再对数据计算均值与方差，而是使用train阶段得到的值。

=========================================================================================

5、实现流程

　　(1) 对数据预处理

　　(2) 选择合适的网络结构。

　　(3) 验证loss 是否合理。

　　 

　  (4) 开始训练

　　　　

　　选择不同的正则强度系数和学习率，观察loss是否在下降：

　　　　

　　不同的选择：

=========================================================================================

6、超参数选取

　　选择策略：

　　实例：正则化强度系数与学习率选取

　　调整：

　　原因是学习率太高了。

　　选取参数的策略：

　　

　　大神的经验：将不同的选取方式做总结并代码实现，方便调试不同的模型。快速有效：

　　一些例子：

　　

　　右图的初始化存在问题，在很长时间里，loss并没有下降。

　　一些loss 图：

　　关于accuracy以及参数更新：

　　

　　对更新参数进行评估。

=========================================================================================

总结：

本章是相对而言比较难，并且及其重要的一章。需要多参考对应的note对细节进行学习。

附：通关CS231n企鹅群：578975100 validation：DL-CS231n