激活函数学习

常用的激活函数：

1.sigmoid

$f\left( z \right)=1/ \left( 1+e^{-z} \right)$.

将输入的连续实值变换为(0,1)，缺点在于深度网络时，梯度反向传递时导致梯度爆炸和梯度消失，梯度消失概率较大，爆炸概率较低。例如，如果初始化的权值是[0,1]之间的值，梯度反向传播时，每传递一次，梯度值都会变为原来的0-1/4倍，如果层数特别多，梯度就会非常接近0，就会梯度消失。当权值初始化为$\left(1,+\infinity \right)$之间，就容易梯度爆炸。  缺点2，不是0均值，那么在反向传播中，w的局部梯度（即x）都为正或负，那么有个捆绑效果，那么收敛会慢。缺点3，有幂运算，耗时。

sigmoid函数也算一个鲁棒估计子。

2.tanh

tanh(x)=[e^x-e^(-x)]/[e^x+e^(-x)]

解决了sigmoid函数不是0均值的问题，但是梯度消失和幂运算仍然存在。

 

3.Relu    (Rectified Linear Unit, 修正线性单元)

f(x)=max(0,x);

有点是解决梯度消失问题，不过是在正区间内。速度快，收敛速度远快于sigmoid和tanh.特点在于强制了稀疏性；缺点在于没有对上界进行限制；同时，如果去掉过多的特征，导致模型的有效性变低，称作神经元“坏死”；在一个，结果只有正数，没有负数。

同时，不是以0为中心的。还有个问题是某些神经元可能永远不会被激活，导致相应的参数永远不会被更新（Dead Relu Problem）.

这叫单侧抑制。尤其在CNN里，当模型为N层，Relu神经元的激活率降低2^N倍。

4.Leaky Relu

f(x)=max(ax,x)，为了避免当x<0时特征坏死的情况；a一般取作0.01

5. Parametric Relu (PReLu)

上面的a是学习到参数。

2,3的有点在于不会过拟合，计算简单有效，比sigmoid,tanh收敛快。

6.ELU(Exponential Linear Units)

f(x)=x, if x>0; f(x)=a(e^x-1)，otherwise.

为了解决Relu的问题而提出，有点在于1.不会有Dead Relu问题；2.均值接近于0.

缺点在于计算量稍大。（理论上是好于Relu，实际上并没有证据优于）

 

7.maxout函数？？

$h_i \left(x\right)=$