第五节课-神经网络2

2017-08-15

 

这节课个人感觉没有怎么听懂，大概主要讲了一下几个点：

神经网络的历史、激活函数之间的优缺点对比、数据的预处理、权重的初始化注意事项、正则化、学习过程种的监督（学习率）、超参数的优化

 

1.历史：

从最早的二元分类器感知机，到后面的多层感知机，神将网络，再到后面的改个名字深度学习。2012Hinton的CNN在ImageNet获得第一名，深度学习又一次火了起来；

 

2.激活函数：

主要有 Sigmoid, tanh, ReLu, leak-ReLu, ELu

各有各的优缺点，现在一般用ReLu比较好，不用Sigmoid因为他的题都消失问题，阻碍了梯度再网络中的传播，还有输出不是以0为中心，为什么不好我也不知道；

tanh就是再sigmoid函数的基础上变化过来的，除了输出以0为中心，其他的缺点他也有；

ReLu收敛速度快， f(x) = max(0, x) 但是也不输出不是以0为中心；

 

3.数据预处理：

这里对于图片而言，主要是抽取平均值；

 

3.权重初始化：

不能初始化为0，这样所有的神经元会产生相同的输出，使得不能发挥它们的各自的作用；要用其他的方法打破这种对称型；

 

4.正则化：

一般是L1正则化，L2正则化；

 

5.学习率：

主要体现再学习率太低，loss几乎不变，太高的话loss为nan

 

6.没看懂再干啥；