ReLU函数
Rectifier(neural networks)
在人工神经网络中,rectfier(整流器,校正器)是一个激活函数,它的定义是:参数中为正的部分。
,
其中,x是神经元的输入。这也被称为ramp function(斜坡函数),类似于电气工程中半波整流。
由来:
2000年由Hahnloser et al等人首次将该激活函数引入动态网络中,具有强烈的生物学动机和数学理论。
此激活函数在 convolutional networks中被广泛应用,比logistic sigmoid更有效和实用。
rectfier是2017年深度神经网络中最流行的激活函数。
ReLU:
采用rectifier的单元被称为rectfier linear unit(ReLU)
rectifier的平滑近似是analytic function:
被称为softplus function。它的偏导数是 即逻辑函数
Rectified linear units在computer vision,speech recognition 等深度神经网络中有广泛应用。
Plot of the rectifier (blue) and softplus (green) functions near x = 0
Variants:
Noisy ReLUs
Rectfier linear units可以被扩展成包含Gaussian noise,
, with
Noisy ReLUs成功应用在一些计算机视觉任务上。
Leaky ReLUs
Leaky ReLUs allow a small, non-zero gradient when the unit is not active.
Parametric ReLUs将coefficient of leakage(泄露系数)转化为与其它神经网络参数一起学习的参数
注意,如果a<=1,那么它等价于
就与maxout networks有关
ELUs:
Exponential linear units try to make the mean activations closer to zero which speeds up learning. It has been shown that ELUs can obtain higher classification accuracy than ReLUs
a是需要调的参数,且a>=0
Advantages
请参考
https://en.wikipedia.org/wiki/Rectifier_(neural_networks)
Potential problems
请参考
https://en.wikipedia.org/wiki/Rectifier_(neural_networks)