3-5 激活函数
激活函数（ Activation functions）
常用激活函数：
依次为：
Sigmoid函数
tanh函数或双曲正切函数
tanh可以看做是sigmoid函数向下平移和伸缩的结果，对它变形之后，穿过了(0,0)点，并且阈值介于-1和+1之间。
在隐藏层上使用tanh函数效果优于sigmoid，因为函数值域在-1和+1的激活函数，其均值更接近于0，这样会使下一层的学习变得简单。
Sigmoid函数和tanh函数两者共同的缺点是，在z特别大或者特别小的情况下，导数梯度或者函数的斜率会变得小，最后接近于0，导致梯度下降的速度降低。
Relu函数
即修正线性单元函数：
只要z是正值，导数恒等于1，当z是负数的时候，导数恒等于0，从实际来讲，z=0的导数是没有定义的，但在编程时可以将z=0时的导数设置为1或者0不会对结果有影响。
Leaky Relu
这是另一个版本的Relu：
当z为负值时，这个函数的值不等于0，而是稍微的倾斜。
这个函数的效果比Relu激活函数好，尽管在实际使用的并不多。
Relu进入负半区后，梯度为0，神经元不会训练，产生所谓的稀疏性，而Leaky Relu不会。
激活函数选用准则
相比于Sigmoid、tanh函数，Relu、LeakyRelu的优点有：
- Sigmoid、tanh函数的计算涉及浮点四则运算，在神经网络训练的过程中，使用Relu、Leaky Relu函数学习更快。
- Sigmoid函数、tanh函数的导数在正负饱和区的梯度都会接近于0，这会造成梯度弥散，而Relu、Leaky Relu大于0的部分导数都是常数，不会出现梯度弥散。
Sigmoid函数，除了输出层是一个二分类问题外基本不会使用。
tanh激活函数：非常优秀的激活函数，几乎适合所有场合。
Relu激活函数，最常用的默认函数，如果不确定使用哪个激活函数，就使用Relu或者Leaky Relu函数。
在不同的神经网络层中，激活函数可以不同，为了表示不同的激活函数，使用${g^{[m]}}$表示，m表示不同的层。
为什么要使用非线性激活函数
假如使用线性激活函数：
从而：
进一步可以简化为：
上面的式子表明，如果使用线性激活函数或者叫恒等激励函数，那么神经网络只是把输入线性组合再输出。
在这种情况下，不管隐藏层有多少层，本质上在做就是计算线性函数，不如直接把隐藏层全部去掉。比如，如果在隐藏层使用线性激活函数，在输出层使用sigmoid函数，那么这个模型的复杂度和没有使用任何隐藏层的标准logistic回归是一样的。
只有一个地方可能会使用线性激活函数，就是在输出层，例如使用机器学习预测房价，输出可能是0到正无穷的任意实数，此时在输出层使用线性激活函数也许可行。
